Afin de leur servir de forteresse, ce château fut construit aux XIIIe et XIVe siècles par les Barons du Pont, devenus de puissants seigneurs.
En 1675, lors de la révolte des "Bonnets rouges" (ou "révolte du papier timbré"), les paysans protestant contre les nouvelles impositions, dévastèrent le château et l’incendièrent. Au début du XVIIIe siècle, le corps de logis, qui abrite aujourd'hui la Mairie de Pont-l'Abbé, fut reconstruit sur les anciennes caves. Durant la Révolution, il servit également de prison. Depuis 1955, ce château, fièrement dressé au pied de la rivière, abrite également dans son donjon le Musée Bigouden.