L'accès à la propriété se fait par un chemin étroit qui longe l'édifice castral. La bâtisse en U, adossée à l'abbaye, domine la vallée de l'Hers. Lieu de paix au cœur d'une Occitanie rebelle, le château à l'allure de forteresse, héritier d'une longue histoire monastique, constitue un dense mélange d'histoire médiévale et d'architecture bénédictine.
La présence de l'abbaye est attestée pour la première fois dans un acte datant de 923, suivant la règle de saint Benoît. Le lieu aurait été choisi par Charlemagne en 778, à son retour d'une campagne contre les Sarrasins, pour l'édification d'un monastère et d'une église.
Le 18 juin 1279, la rupture du barrage naturel qui retenait le lac de Puivert détruit l'ensemble des villages de la vallée. Reconstruit entre 1280 et 1316 à l’image des forteresses royales françaises avec ses archères en sifflet, le monastère est abandonné par les moines pendant la guerre de Cent Ans. Puis, en 1502, s'engage une reconstruction des bâtiments aujourd'hui visibles, à l'initiative de Philippe de Lévis, évêque de Mirepoix, qui donnera au prieuré alors fortifié une allure majestueuse et austère. Il fera aménager ses appartements dans la tour rectangulaire que comprend encore le château. À partir de cette époque et notamment à travers sa deuxième restauration au 18e s, celui-ci ne cessera d'être embelli par des éléments décoratifs d'une grande richesse, traduction du rayonnement de l'abbaye.
La bâtisse comporte trois corps de bâtiments, avec toitures en tuile canal à deux ou quatre pans bordées de génoises à trois rangs. Le premier, massif et étiré, élevé de trois niveaux et flanqué d'une tour surélevée, arbore des façades rythmées par de nombreuses baies régulières, droites ou cintrées. Les deux autres, construits contre l'église, forment un cloître autour d'une cour-jardin : le corps ouest à trois niveaux et le corps est à deux niveaux, transformé récemment en gîte.
Devant la façade principale, orientée au sud, des jardins en terrasse mènent à un parc qui compte, parmi ses plus beaux sujets, un magnolia centenaire.

Le château

Le rez-de-chaussée
L'entrée située au centre de la façade sud, une double porte-fenêtre à petits bois surmontée d'une imposte hémicirculaire vitrée, débouche sur un vestibule au sol de tomettes en mosaïque, aux murs peints en bleu et au plafond mouluré. L'accès principal est assuré, à travers la façade est, par une double porte en bois cintrée et peinte en blanc, avec clef de voûte sculptée d'une tête d'homme et de feuilles d'acanthe.
À sa suite, dans le corps de logis principal, un immense couloir voûté et traversant, éclairé par de larges baies, distribue les pièces de réception du château : une enfilade de salons restaurés et aménagés au 18e s., avec de grandes baies qui ouvrent sur la terrasse au sud, en surplomb du jardin, du parc et du paysage vallonné au lointain. Le salon d'apparat, classé par les monuments historiques, est couvert de toiles peintes en camaïeu de bleus attribuées à l’école de Boucher, qui représentent les quatre saisons ; le sol est couvert de carreaux anciens en terre cuite et le plafond mouluré. Dans le salon attenant, les murs et le plafond, également moulurés, sont ornés de dorures ; le sol est à caissons de tomettes anciennes en terre cuite avec navettes en chêne. Au centre de chacune de ces deux pièces, trône une cheminée à trumeau en bois sculpté et en plâtre. Enfin, figure un petit salon, plus sobre, avec sol de carreaux anciens en terre cuite, murs peints en bleu avec moulures à motifs végétaux, cheminée à trumeau en plâtre et plafond mouluré.
À l'autre extrémité du corridor, se trouve une ancienne cuisine avec une cheminée monumentale, de grands chaudrons et les anciens fourneaux en pierre. Attenante, une cuisine professionnelle permet la préparation de repas pour de nombreux hôtes, au besoin. Enfin, en communication avec cette dernière pièce, un bureau ouvre à travers une baie vitrée sur un jardinet clos de murs, arboré et gravillonné.
Le corps de bâtiment situé à l'ouest donne accès au cloître, avec sol en calade, murs de pierres et de briques jointoyées au mortier, et plafond peint à la française. Ses colonnes du 14e s., bien conservées, bornent l'actuelle cour, qu'une pelouse et des arbustes font verdoyer toute l'année. Deux pièces en bénéficient à travers un accès direct : un cellier transformé en bar et l'ancien réfectoire des moines, aux plafonds voûtés et au sol en mosaïque de tomettes. Les volumes des multiples pièces du niveau sont généreux et pour l'essentiel très lumineux.
Le premier étage
Un imposant escalier en vis dessert les deux étages du château. Au second niveau, une immense galerie, avec sol couvert de dalles anciennes en terre cuite et plafond à la française, divisée en son milieu par une arche, mène à une petite chapelle avec parquet en pin à lames fines. L'ancien oratoire des moines donne à voir des fresques du 16e s., bien conservées et éclairées par une haute baie.
Les six chambres à coucher du niveau, avec sols en tomettes anciennes et murs soigneusement tendus de tissus fleuris ou unis, sont grandes et confortables. Toutes sont actuellement utilisées pour l'activité hôtelière des lieux. Chaque chambre dispose d'une cheminée, d'une salle de bains ou d'une salle d'eau et d'une vue au loin sur la campagne environnante.
Dans le corps ouest de bâtiment, se trouve l'ancien réfectoire qui, avec l'oratoire et l'ancienne cuisine, témoigne d'une activité monastique au sein de la bâtisse. Percées dans les murs en pierre, les diverses baies sont issues de l'agrandissement des anciennes archères. Figure également à cet étage la partie privative des occupants actuels, un appartement d'environ 230 m². S'y trouve un grand salon au sol couvert de tomettes d'époque, avec de larges baies et un balcon surplombant l'ancienne rue médiévale qui jouxte le château. Il débouche sur un deuxième salon, de petite surface, puis sur une cuisine familiale avec parquet à lames larges et sur un petit escalier en bois, qui mène aux chambres du niveau supérieur.

Le deuxième étage
Les chambres de l'appartement, situé dans l'aile ouest, sont au nombre de trois : deux, petites et sobres, avec une salle d'eau attenante, et une grande, formée par un ancien grenier d’environ 40 m² avec salle de bains privative de 26 m² environ. Les sols sont couverts de planchers à lames larges peints en blanc et la charpente en bois brut est apparente.
Par ailleurs, dans la tour, l'escalier en vis érigé sous l'égide de Philippe de Lévis mène, à ce même niveau, à ses anciens appartements aux sols couverts de dalles anciennes, une grande chambre et une salle de bains dont les plafonds à caissons ont été récemment restaurés. Ces pièces sont surmontées d'un grenier éclairé par deux baies.
Au même étage, dans le corps principal de bâtiment, se trouvent deux chambres à coucher supplémentaires avec parquet à lames fines et salle d'eau privative. Enfin, au bout du couloir, à l'est, un autre appartement comprend trois chambres à coucher avec parquet en chêne à lames larges et une pièce à vivre avec salon, salle à manger et cuisine ouverte, au sol couvert de tomettes anciennes. Le style est sobre, rustique, sans élément médiéval.
À ce niveau, les baies sont droites, plus nombreuses et de taille plus réduite que celles des niveaux inférieurs. Deux fenêtres à meneaux se distinguent de l'ensemble, à l'ouest du corps principal, dont l'une, dans la façade sud de la tour, s'impose par sa taille. L'étage domine le village sur lequel il offre des vues plongeantes avec, au loin, un aperçu sur les Pyrénées.