La ville doit son nom à Gaultier, abbé de Lesterps qui y fonda un prieuré.
L’église a été bâtie à la fin du XIe siècle.
C’est un édifice de style roman qui, par ses piliers carrés et sa coupole, rappelle les édifices du Limousin.
Son portail, sans tympan, est de style roman-poitevin.
L’intérieur est d’une grande sobriété.
Les voûtes en berceau reposent sur des piliers surmontés de chapiteaux ornés de figures allégoriques.
Le chœur est sans doute la partie architecturale la plus soignée.
Dans le transept droit, présence d’une iconostase de rite oriental destinée à faire connaître la spiritualité de l’Orient chrétien.
Le prieuré est devenu en 1740 un collège puis, trente ans plus tard, un petit séminaire.
C’est aujourd’hui un collège mixte.
Jolie vue sur le site depuis le pont sur la Creuse.