Le château est signalé comme « forteresse » ou « château fort » dès le XIIIe siècle, il s'agit d'un bien de la famille de Mellet (ou Méallet). Remanié plusieurs fois aux XIVe et XVIe siècles, il est finalement abattu sur ordre du Seigneur de Fargues, Joseph de Meallet, évêque de Saint-Claude, en lieu et place il fit édifier un sorte de U, un grand corps de logis flanqué de deux ailes dans le style Louis XV tel que nous le voyons encore aujourd’hui. Une tour carrée enchâssée dans les constructions appartenait à l'ancien château et renferme l’escalier.
Pendant les temps troublés de la Révolution Française, le Comte Méallet de Fargues, seigneur de Fargues, faisait partie des 4 meneurs cantaliens du mouvement contrerévolutionnaire installé à Lyon et à Turin en 1790. Cause ou conséquence, le château et son domaine sont alors vendus au profit de la nation. puis attaqué et détruit par les «Jacques» en mars 1792.
C’est donc un château en fort mauvais état qui revient quelques années plus tard dans le giron des Mellet après son rachat par le Marquis de Miramon, époux d’Olympe de Méallet de Fargues. Le château connait alors une période faste, il est restauré, aménagé, agrémenté d’un parc paysagé de 17 hectares (canaux, bassins, essences rares), oeuvre de M. Le Breton, dont l’entretien est confié aux Vitracois, on y reçoit beaucoup.
Même cette période a eu une fin … Racheté au milieu du XXe siècle par l’Evêché de Poitiers, le château devient un centre de vacances pour enfants … et personnes âgées.
Les éléments du parc – étang, terrasse, bassin, jeu d’au et lac de jardin – ont fait l’objet d’un inventaire au titre des jardins remarquables en 1992 (versé à l’inventaire général du patrimoine culturel le 6 mai 2003).
En 2013, le château a brièvement été ouvert au public par son nouveau propriétaire qui avait trouvé là l'écrin idéal pour abriter ses importantes collections personnelles (minéraux, fossiles, etc). Malheureusement, le mercredi 29 janvier 2014, la digue d’un étang d’un hectare situé sur le domaine du château a cédé, l’eau contenue s’est déversée dans un cours d’eau existant, fort heureusement sans faire de blessés mais détruisant un pont communal. Cet évenement signa la fin de la carrière muséale du château. Courant 2015, tout le contenu du musée a été déménagé à Condat (Musée Servaire). Le château a été racheté par une personne privée, il ne se visite pas.
