Ce château du XIIIème siècle, restauré par Odon IV et rendu célèbre par l'évasion rocambolesque du Prince Louis Napoléon Bonaparte, fut détruit le 19 mars 1917 par les troupes allemandes.
Son architecture évoluera au XVème siècle avec la puissante famille de Luxembourg.
Au XVIIème siècle, Vauban effectua des changements dans l'architecture du château, devenu la propriété de la couronne royale sous Henri IV.
Devenu prison d'État, il accueillit le futur Napoléon III, qui y fut détenu pendant 6 ans.
Ce dernier s'évada le 25 mai 1846 en se faisant passer pour un maçon.
Depuis 1965, les vestiges du château de Ham sont inscrits à l'inventaire des Monuments Historiques et sont valorisés par l'association des amis du château de Ham.