In 1895 vestigde de jonge congregatie Paters van de H. Familie zich in een voormalige kazerne in Grave. De aanwas van studenten was fors en in 1912 werd het gebouw te klein. Alphons de Kanter, een leerlooier uit Kaatsheuvel, bood de congregatie grond aan voor de bouw van een kleinseminarie in Kaatsheuvel. Het eerste gebouw van het noviciaat kwam achter het huis van P. van Dongen te staan en in 1914 kwam de huiskapel gereed. Het complex kreeg een eigen drukkerij, slagerij, bakkerij, boerderij, tuinderij en ook een begraafplaats.