Tijdens de laatste jaren waarin de Whettnalls eigenaars waren (tot 1922), wordt het kasteel van de meeste kostbaarheden ontdaan en beginnen De Zelemnaren te wanhopen over het toenemende verval van het klooster, zoals beschreven door priester Auguste Cuppens in een publicatie uit 1921:
Wij moesten toen, 't heel jaar [1920] door bijna, den grauwen mantel van den reus zien schenden, pand na pand en stuk op stuk ervan zien afrukken; er kwamen grootere en grootere grauwe plekken van zijn lijf bloot, in schamel naaktheid. (...) Duizenden bomen werden geveld en weggesleept.

Eind 1920 wordt op initiatief van enkele notabelen het kasteel ingericht als weeshuis en vakschool voor de weesjongens en voor de lokale jeugd. Hiervoor wordt de vzw Jeugdopleiding opgericht, die in 1922 eigenaar wordt van het kloostercomplex. Voor het leiden van de school en het weeshuis wordt vanaf 11 augustus 192 een beroep gedaan op de Broeders van Onze-Lieve-Vrouw van Barmhartigheid, de zgn. "Broeders van Scheppers". Verschillende zelfstandigen uit de streek leren hier hun stiel (schrijnwerkers, schoen- en kleermakers, leerlooiers, etc.). Alles lijkt goed te gaan wanneer in 1923 de gouverneur en een aantal hoogwaardigheidsbekleders een "onverwacht" een bezoek brengen aan de school. Op 30 juni 1924 moeten echter de broeders hun onderwijstaak opgeven omwille van (vermoedelijke) misbruiken. Toch zal de school nog vier voortbestaan tot 1928, wanneer een moord op een leerling de definitieve aanleiding geeft voor de sluiting van de school.