Au cœur de la bastide se trouvait le couvent des Augustins construit à partir de 1401 par le seigneur de Castelnau, qui voulait y installer les sépultures de membres de sa famille. Il abritait une communauté de moines Augustins, qui veillaient sur les tombeaux. Les protestants saccagèrent le couvent en 1569, mais l’église fut à cette époque épargnée car les Castelnau avaient embrassé la foi protestante au moment de la Réforme.
Cet édifice remarquable mesurait 52 m de long sur 13 m de large. Il ne reste que la tour-clocher de 25 m de haut, classée MH, les pieds-droits de l'immense portail de l'église, quelques vestiges : arc, culot...et le portail du jardin médiéval.
Au XIXe s. un prêtre racheta des vestiges du couvent et y installa l'école.
Pour des raisons de sécurité, le site n'est pas ouvert à la visite.