La confrérie des pénitents blancs est créée en 1584.
Ce type de confréries apparaît en pleine réforme catholique. Elles naissent des besoins de certains laïcs de prier ensemble, d’exercer la charité à l’égard des pauvres et des nécessiteux. Elles s’occupent de secours mutuel entre pénitents, de l’organisation des bonnes œuvres qui tendent au soulagement de l’humanité. Les pénitents organisent des processions et participent à celles de la paroisse (Assomption…).
La chapelle du même nom est attestée dès 1642. Les pénitents perdront la chapelle sous la révolution (vendue comme bien national) et la rachèteront en 1831. Le dernier pénitent disparaît dans les années 1930. Un temps cinéma paroissial (1959), elle abrite le musée municipal, à partir de 1974. Les traces de l’ancien chœur et les sculptures de la porte monumentale rappellent l’origine du lieu.
Le fronton est inscrit aux Monuments historiques.
En 2015 la toiture a bénéficié d’une restauration et celle du fronton est en cours d’instruction.