Le site répond aux deux grandes inquiétudes du moyen âge : se défendre et se nourrir, c’est pourquoi des hommes décident de s’y installer. La colline est le lieu idéal pour édifier un château, elle offre une vue imprenable sur la vallée tandis que les rivières alimentent récoltes et animaux. Le premier seigneur connu, apparaît en 1226 et se nomme Arnuphle de Monestoy. Epinac porte d’ailleurs le nom de Monestoy jusqu’au XVII° siècle. Le dernier des Monestoy, Hugues, part en 1395 avec le Duc de Nevers (futur Jean sans Peur, Duc de Bourgogne) dans son expédition contre les Turcs, mais il meurt à Nicopolis (en Bulgarie actuelle). Le château est alors acquis par Nicolas Rolin, Chancelier de Bourgogne, le 27 février 1429.
 Il affectionne singulièrement  les lieux, et fait exécuter de  nombreux travaux. Le tour de la  porte est rehaussé, un escalier  en pierre est posé dans la Tour  des Chevaliers, et la Tour de  Notre-Dame est reconstruite à  neuf.

Le nom d’Epinac apparaît  quand le château revient à  Madeleine Chambellan  (héritière des Monestoy),  femme de Jean Marechal,  Seigneur d’Epinac (famille originaire de la paroisse d’Epinac dans la Loire).
En 1583, le fief passe aux mains de Gaspard d’Epinac.

L’antique château, sur sa robuste base, est resté debout comme un roc du Caucase Et par-dessus les rails de la route du fer, ses imposantes tours ont encore grand air, En regardant passer du haut de leur montagne, les files de wagons qu’un nuage accompagne…
 En 1650, le château est donné  à Louis de Pernes, avec la  condition d’adopter le nom et  les armes de la maison  d’Epinac. En 1656, une lettre  patente du roi Louis XIV crée le  « comté d’Epinac ». Les de  Pernes étant mort sans  descendance, c’est Gabrielle de  Pernes qui apporte le comté  d’Epinac à la famille de  Clermont-Tonnerre. En 1735, le  château revient à Gaspard de Clermont-Tonnerre qui entreprend les premières recherches fructueuses de houille...