Sis dans la partie nord-ouest du village, l’édifice est adossé à la mairie de la commune et à la muraille médiévale qui s'y dresse encore. Il est formé d'une élévation sur cour-jardin de deux ailes en équerre, orientées sud et est, bâties en 1567, dont les façades et la toiture sont inscrites monuments historiques depuis 1990.
Les deux façades Renaissance, entièrement restaurées au 20e s. pour les relever de l'état de ruines où elles se trouvaient, sont ornées de sculptures dont les volutes contrastent avec l’austérité des fortifications environnantes encore visibles, parmi lesquelles figure la base d'un donjon médiéval, daté du 12e s.
Entre les 13e et 14e s., les La Fare édifièrent en effet au pied du donjon une maison forte transformée en château résidentiel dès le 15e s. Incendiée au moment des guerres de Religion, particulièrement destructrices en ces terres huguenotes, la demeure fut rebâtie dans sa forme actuelle "jusque a la mesme aulteur que cy devant estoyt" .
Les façades très ouvragées comportaient alors six fenêtres croisières avec leurs trois ordres, dorique, ionique et corinthien ; elles ont retrouvé leur noble allure grâce à deux campagnes de réhabilitation menées au 20e s., qui restent à achever.
À nouveau ravagée au 18e s. par un incendie, l’aile sud resta en ruine jusque dans les années 1950 où elle fut entièrement relevée avec clos et couvert.
Pour le reste de l’édifice, les La Fare ayant décidé de rejoindre la Cour de Versailles quelques années avant la Révolution, il passa aux mains du voisin, Scipion de Nicolaï, propriétaire de l'autre château du village qui précipita la ruine de sa nouvelle acquisition, non sans une certaine délectation. C’est la famille des occupants actuels qui sauvèrent le château de La Fare après l'avoir racheté en 1919.
Le château connut dès lors toutes sortes d'usages et hébergea tour à tour la fanfare du village, des cours de catéchisme, puis un perruquier, qui y posa poudres et fers à friser. Au gré de ces usages disparates, l’intérieur a été sculpté de façon tout à fait surprenante par rapport à l'aspect de ses façades, dans un joyeux désordre structurel.

Le château

Riche de ses neuf siècles d’histoire, le château est élevé de trois étages sur rez-de-chaussée. Perceptibles de l’intérieur uniquement, plusieurs semi-niveaux encastrés, accessibles par un dédale d’escaliers digne des dessins du Piranèse, totalisent avec les quatre niveaux une superficie habitable d'environ 700 m².
Trois accès desservent aujourd’hui la demeure : l’entrée principale, au levant, constituée d’un portail en bois à deux vantaux reliant directement la grande rue du village à la cour-jardin ; deux autres accès, plus anciens, ouvrent l’édifice sur l’ancien chemin de ronde villageois, l’un directement au couchant, l'autre au nord, à l’extrémité d’un passage couvert.
La cour devenue jardin, agrémentée d’une fontaine et d’un puits, forme un clos, bordé par les façades en équerre.
L’escalier d’honneur, par lequel l’intérieur était autrefois accessible, a subi de graves dommages mais a conservé ses portes romanes à impostes. Sa reconstruction fait partie des campagnes de travaux qu'il reste à mener.
L’ancien donjon assure aujourd’hui la jonction entre les deux ailes grâce à un escalier en vis datant du 15e s, aux remarquables dimensions avec ses 4 m de diamètre. L’aile sud, dont la réhabilitation de la façade a été achevée en 2011, et l’aile est, terminée en 2015, sont ainsi desservies sur toute leur hauteur, de façon assez labyrinthique, par soixante-dix marches conduisant à une terrasse ronde qui domine village et campagne alentour.
Le château compte vingt-deux pièces dont dix chambres, sept salles de bain ou d'eau, un atelier, une cuisine, plusieurs salles de réception et une chapelle consacrée, perchée au troisième étage.

Le rez-de-chaussée
Dès l’entrée, l’atmosphère médiévale est omniprésente : voûtes en tunnel ou voûtes quadripartites avec blasons familiaux posés en clefs, plafond tant-plein-que-vide, lourdes portes en chêne sculptées en pointes de diamants, et épaisses murailles intérieures dont la noblesse des appareils parle d’elle-même.
Courant tout le long du niveau, le sol est couvert d'un assemblage de dalles disparates dont les plus récentes ne sont pas postérieures au 15e s. De l’époque médiévale subsiste un réduit attenant à la salle des gardes et comportant une canonnière percée à même les murs pour défendre, avec force mousquets et canons, les remparts villageois. S'aperçoit aussi encore une « patouille », sorte de cuisine aménagée à gauche de la grande cheminée de la salle des gardes qui pourvoyait à l’ordinaire de la soldatesque.
Cinq pièces voûtées et un atelier sur le même modèle architectural de maison forte se répartissent à la fois en rez-de-chaussée et en rez-de-jardin.
Enfin, l’escalier d’honneur au nord-est, qui donnait jadis accès au château, est actuellement impraticable. Les portes romanes à impostes qui le bordent encore devaient constituer, avec l'escalier, un ensemble architectural de grande qualité. La restauration de celui-ci fait partie des travaux à projeter.

Le premier étage
L‘envolée remarquablement cadencée de l’escalier en vis, taillé dans une pierre calcaire lumineuse à la jonction entre les deux corps de logis, dessert l’étage noble, non sans avoir auparavant rattrapé par quelques diversions latérales en semi-étages, les différences de niveaux entre les deux corps de logis.
À gauche, au sortir du premier dégagement, se tient un grand salon à éclairage traversant avec une poutraison solidement fournie soutenant un plafond à la française et un sol recouvert de parefeuilles rectangulaires anciens. Toutes les huisseries des fenêtres à meneaux ont été doublées de volets intérieurs lambrissés. Une cheminée en bois sombre, posée au 18e s., donne à ce salon un arrondi qui le soustrait à l’austérité médiévale.
À droite de l’escalier, une salle à manger, une cuisine et son cellier décalé de quelques marches, constituent une incursion visible du 20e s. en pleine strate architecturale Renaissance. L’incursion se prolonge par les deux bureaux et l’unique chambre à coucher de l'étage, largement réaménagés dans les années 60-70 et restés intacts depuis lors.

Le deuxième étage
Très peu ou plus du tout de traces des époques médiévale et Renaissance à ce niveau, si ce ne sont les murs porteurs eux-mêmes et les fenêtres à meneaux. La reconstruction datant du 20e s. est lisible aux deux demi-niveaux – bas et haut – de l’étage où ont été aménagées trois chambres à coucher, trois salles de bains, des rangements et de nombreux dégagements. Les sols recouverts de parefeuilles modernes laissent quelquefois percer à la jonction entre niveaux des éléments plus anciens. Les plafonds recouverts de plâtre cachent sans doute une poutraison ancienne, le béton – très en faveur dans les années 1950 – ayant été volontairement évité lors de la reconstruction des logis. Les cheminées de marbre gris à manteaux droits dans décor sont du modèle courant au 19e s. pour les appartements des domestiques.

Le troisième étage
Il est celui qui comporte le plus d’escaliers dérobés, avec un système de rattrapage de niveaux d'où émergent des aspects architecturaux étonnants comme ces toilettes exigües accessibles après la descente d'une bonne dizaine de marches.
L'assemblage de niveaux qui marque l’étage est occupé par de nombreux dégagements, trois grandes chambres avec salle d’eau, une grande pièce à usages multiples et surtout une chapelle consacrée installée dans l’une des pièces, avec sol de parefeuilles et sans aucun ornement, encore utilisée comme lieu de dévotion aujourd'hui. Les revêtements des sols des pièces du niveau sont assez divers : carreaux de terre cuite anciens, carrelage récent et parquet moderne.
À l‘extrémité de l’escalier en vis dont les marches sont limées par le temps, une volée d'escalier très pentue en pierre calcaire rejoint une terrasse ronde, habilement aménagée à l'intérieur de ce qu’il restait du donjon. La vue sur toute la région alentour y est spectaculaire avec le pic Saint-Loup et les contreforts des Cévennes au loin.