Edifié au XII° siècle par Hugues de Chalon, comte de Bourgogne, sur la rive gauche du Doubs, le château de Clerval permettait de surveiller les passages dans la cluse que la rivière emprunte à travers le massif du Lomont. Le château a ensuite donné naissance au bourg qui attirait les populations environnantes en organisant les échanges commerciaux. Diverses activités s’installèrent alors : fours, moulins, tuilerie… Dès le 13° siècle le château fait partie de l’enceinte urbaine  qui protégeait le bourg castral. Il connait ensuite diverses fortunes au cours des siècles qui suivent (incendies, démolitions…). Plus ou moins bien entretenu, ses pierres sont utilisées pour construire  plusieurs autres bâtiments comme le couvent des Ursulines. Remanié à diverses époques, il sera réhabilité par la municipalité en 1987 et abrite maintenant le Musée de la Mémoire et de la Paix, une école de musique, l’harmonie fanfare ainsi qu’une salle de convivialité. On peut encore y découvrir quelques vestiges de son passé : cheminée monumentale, poêle, meurtrières, escaliers ainsi qu’un graffiti  sauvé de la destruction lors des derniers travaux et qui est conservé par l’association Mémoire et Patrimoine du Pays Clervalois.