Le culte de Notre Dame du Mont est lié à la légende de François de la Palud (XVe). Ce dernier, prisonnier en terre infidèle a été miraculeusement libéré après avoir invoqué Notre Dame. En signe de reconnaissance, il a offert une statue de la Vierge à Saint-Hippolyte.
Au XVIe siècle, une chapelle est construite pour abriter cette Vierge. La petite esplanade au devant de la chapelle offre un joli point de vue sur Saint-Hippolyte.