Vendu au 19e siècle (1825) à un entrepreneur qui y établit une fabrique de céruse et de chicorée, l’édifice devint, en 1837, la propriété de l’ardoisière du Moulin Saint-Anne.
Il devait le rester jusqu’à la liquidation de la société en 1946.
Le bâtiment est acheté par la Ville de Fumay en 1951.
Le château des Comtes de Bryas a été inscrit à l’inventaire supplémentaire des monuments historiques en1972.
Un chemin appelé le Jourdain est accessible en descendant les marches sur la droite de ce bâtiment, il permettait aux mineurs d'accéder à l'ardoisière du Moulin Ste Anne.
En longeant celui-ci, on aperçoit de l'autre côté de la Meuse, les murs de soutènement de l'ardoisière Belle Rose.