C'est sous l'épiscopat de mgr Baillès en 1850 que se décide la construction d'un collège catholique à l'usage de toute la Vendée. En 1850, son emplacement se trouve hors de la ville qui débute son expansion industrielle et territoriale grâce à la rénovation de son port. La réalisation de ce projet est confiée à l'architecte diocésain Émile Boeswilwald.
L'établissement ouvre ses portes en 1856, est agrandi vers le nord en 1869 et la chapelle qui délimite la « cour Richelieu » est achevée en 1882.
À la suite à la séparation des Églises et de l'État en 1905, le collège est transféré à La Roche-sur-Yon et les locaux accueillent le grand séminaire diocésain.
Pendant la Première Guerre mondiale l'établissement a accueilli un hôpital militaire, le séminaire cesse son activité en 1972.
Propriété privée, il ne se visite actuellement pas.
Source : DATAtourisme
— Office de Tourisme de la Vendée du Sud