In 1951 geeft directeur Moors “last” aan provisor Nabben voor nieuwbouw buiten de stad. Beiden werken harmonieus samen. Moors is een krachtige leider. De chemie tussen directeur en provisor is noodzakelijk voor succes, omdat de provisor rechtstreeks wordt benoemd door de bisschop en naast de directeur staat.

Nabben gaat onder directeur Moors voortvarend van start. De opbrengsten van internaat, de afgestane salarissen van de priesterleraren en schenkingen van zijn uitgebreide relaties bieden hem een solide basis voor zijn plannen. Hij koopt boerderijen en grond. Er worden sportvelden aangelegd, de boerderijen in exploitatie genomen en aangevuld met een tuinderij. Deze moeten de kosten van het internaat laag houden. Het aankoopbeleid en de intensieve exploitatie van de boerderijen leiden tot grote irritatie bij de boeren. De schaalvergroting is intussen op gang gekomen. De bedrijfsvoering moet professioneler. De exploitatie is nauwelijks dekkend. Ook het beheer van nieuwe voorzieningen vergt meer kosten. Uiteindelijk komt de exploitatie van de school en het internaat zelf in gevaar.

De tijd zit tegen. Er dreigt een priestertekort. Het steeds kleiner wordende aantal priesterdocenten draagt minder salaris af. De zusters die de huishoudelijke dienst van het internaat vormen, hebben te kampen met een teruggang van het aantal roepingen.

In 1957 wordt Moors bisschop en Coenen directeur. De vriendelijke, integere en literaire Coenen is niet opgewassen tegen de fanatieke visionair en handige zakenman , die overal contacten heeft. Het bestuur functioneert op afstand en biedt geen tegenwicht. Nabben doet aankopen, gaat leningen aan en geeft bouwopdrachten zonder inspraak van de directeur. De druk van schoolleiding en docenten neemt echter toe. Er ontstaan financiële tekorten. Ten gevolge van inhoudelijke conflicten worden mensen ontslagen..

Nabben roeit tegen de stroom op en trekt zich steeds minder aan van de schoolleiding. Dit leidt tot een reeks van conflicten met directeur Coenen, die zich gesteund weet door het docentencorps. .

Op 6 november 1962 wordt de nieuwe school in gebruik genomen. Het pendelen van leraren en leerlingen tussen de scholen in het centrum en de Kazernelaan blijkt erg bezwaarlijk te zijn. Op 9 november zegt Coenen het vertrouwen in Nabben op en eist zijn ontslag. In de nacht van 14 november brandt een gedeelte van de school in het centrum af. Al snel komt Nabben met de plannen voor een nieuwe vleugel aan de Kazernelaan, die dienst zal doen als nieuw internaat. Hij werpt zichzelf op als nieuwe directeur van het internaat en bewerkt het bestuur om Coenen tot ontslag te dwingen. Coenen laat zich niet afzetten en wendt zich tot bisschop Moors. Hij weet de docenten achter zich te krijgen maar niet het bestuur. Bisschop Moors blijft Nabben beschermen. Er verandert niets. Pensioenregelingen voor de priesterleraren en hogere salarissen voor de zusters worden wederom niet geregeld wegens de financiële tekorten. Nabben zet door en koopt het beeld: “de speerwerper” van Arthur Spronken.

Voor de eerste maal protesteert het bestuur. Op 23 juli 1964 biedt de conrector van het gymnasium, de heer J. van den Berk zijn ontslag aan omdat hij niet meer kan samenwerken met Nabben als onderdirecteur van de H.B.S. Tijdens dit conflict komt naar buiten dat Nabben zijn leraarschap door anderen laat invullen terwijl hij wel het salaris ontvangt. De mening van alle docenten en de schoolleiding wordt vertolkt door J. Verstraelen en H. Martens, die zelf tot het bouwteam van de Lichtenberg behoorde en de initiator van vele kunstwerken is: “Nabben heeft niets met het onderwijs”. Het bestuur kiest weer voor de zwakste weg en op 11 september 1964 worden zowel van de Berk als Nabben ontslagen als conrector en onderdirecteur. Van den Berk vertrekt en Nabben blijft leraar en lid van de bouwcommissie voor de tweede vleugel. Er ontstaat tweespalt tussen het bestuur en de gefrustreerde schoolgemeenschap. Er komt behoefte aan een docentenraad. Het bestuur heeft de kiem gelegd voor een jarenlange juridische strijd tussen de Vereniging van het College die beschikt over alle eigendommen, en de stichting die de school en het internaat moet beheren. Nabben bruuskeert nogmaals door zonder toestemming een overkapping voor de manege aan te schaffen.

In 1967 wordt afgezien van de overplaatsing van het internaat van Rolduc naar Weert. Het eigen internaat wordt opgeheven. De priesterleraren gaan extern wonen en dragen geen salaris meer af. Het financiële fundament voor de sportaccomodaties als de Lichtenberg en de Tranchée zijn weggevallen.

Directeur Coenen overlijdt in 1969. De dienstbetrekking van Nabben wordt in 1970 beëindigd. In 1984 komt er een scheiding tussen de vereniging Bisschoppelijk College St. Jozef die de erfgoederen gaat beheren, en de stichting Bisschoppelijk College Weert die de schoolgemeenschap beheert. In 1986/87 wordt de vereniging omgezet in een stichting. Het Bisschoppelijk College als onderwijsinstituut heeft geen enkele invloed meer op reserves die zij zelf heeft opgebouwd.