Le château a été construit à l'emplacement du domaine seigneurial de Martres-de-Rivière, par le vicomte de Sainte-Gème en 1867. Œuvre de l'architecte Alfonse Azibert, il se dévoile à l'arrivée devant un vigoureux portail en fer forgé, placé à bonne distance de la bâtisse et ouvrant sur l'allée circulaire qui mène à l'édifice, bordant de part et d'autre le parc, qu'agrémentent de nombreuses essences. Clos de murs, ce dernier recèle une chapelle privée à droite du portail, édifiée en 1840 et dédiée à Notre-Dame.
La demeure castrale se compose d'un corps central à sept travées et à trois niveaux sous combles, cantonné à chaque angle, du côté de la façade principale, par une échauguette hexagonale, bâtie en brique rouge comme le bandeau filant qui sépare les deux principaux niveaux. La façade sud, pour l'essentiel en pierre de taille enduite, présente une symétrie parfaite, enrichie en son centre par une porte d'entrée massive en bois à panneaux, cloutée et peinte en vert foncé, desservie par un perron à garde-corps en pierre ajourée et sculptée. Surmontée d'une imposte vitrée en éventail et en plein cintre, encadrée par ailleurs de deux petites fenêtres à un battant, cette dernière est également rehaussée par un couronnement de pierre blonde sculptée des plus élaborés, représentant les armoiries du vicomte de Sainte-Gème avec couronne, lions et volutes. Les baies, droites et régulières, sont encadrées de pierre de taille. Les lucarnes à meneaux sont surmontées de frontons, brisés ou sans base, aux riches décors sculptés, en creux ou en relief, de volutes, de pinacles, de fleurons et autres ornements à motifs végétaux ainsi que d'une tête et d'une couronne au-dessus de la baie centrale. Entièrement rénovée, la toiture du corps central, à quatre pans en ardoise, est surmontée d'une frise et de deux épis de faitage, en zinc ; les tourelles sont coiffées de toits en poivrière.
La parfaite symétrie de la façade nord est quant à elle magnifiée par une tour en son centre, haute de trois niveaux sous combles et à toiture hexagonale, en brique et pierre de taille. Elle est percée de six baies de fenêtres, rectangulaires, à chaque niveau – sans compter celles de la tour – et surmontée d'autant de lucarnes à meneaux et à fronton, identiques à celles de la façade sud.

Le château

Le rez-de-chaussée
Dans le hall d'entrée, le sol est couvert d'un carrelage à cabochons en marbre et schiste, le plafond peint de fleurs est bordé d'une corniche à modillons, les murs sont recouverts de boiseries de hauteur ornées de peintures florales dans des médaillons ovales.
À gauche, par une porte cintrée Napoléon III surmontée d'un fronton brisé à fleurs, il s'ouvre sur le salon d'apparat, éclairé par trois grandes fenêtres, avec parquet à bâtons rompus, cheminée en marbre blanc sculptée et moulurée, surmontée d'un trumeau doré, plafond à décor stuqué et peint que borde une corniche soulignée de dorures ainsi que de sculptures florales et de consoles. Tous les ornements honorent la monarchie française : fleurs de lys, feuilles d'acanthes, armoiries des bâtisseurs, grandes armes de France sous couronne royale encadrées par les portraits de Louis XVI et de Marie-Antoinette en médaillons, sur le trumeau de la cheminée.
À droite du hall, une salle à manger, plus sobre, présente divers éléments décoratifs tels qu'un parquet en chêne à bâtons rompus, un plafond mouluré avec stucs polychromes Napoléon III, une cheminée en marbre sculptée de pattes de lion, ainsi que des soubassements muraux en bois typiques de la seconde moitié du 19e s.
Deux autres portes du hall mènent, d'un côté, à un salon de lecture au même parquet, adorné d'un papier peint mural à motifs, de moulures de plafond et d'une cheminée en marbre blanc, ainsi qu'à un bureau attenant ; et, de l'autre côté, à une chambre décorée d'un parquet, d'une cheminée en bois, de soubassements muraux et de moulures de plafond, accompagnée d'une salle de bain avec toilettes. Dans la salle à manger, une porte ouvre sur un couloir qui accède à une cuisine aménagée au sol couvert de carreaux en terre cuite, aux équipements de qualité et aux placards en chêne, avec une grande cheminée en pierre, brique et bois, un accès indépendant ainsi qu'un cellier attenant.

Le premier étage
L'accès au deuxième niveau s'effectue par un élégant escalier aux marches en pierre puis en chêne avec garde-corps en fer forgé et main courante en bois. Le vaste vestibule, d'environ 40 m², sur lequel il débouche, avec lambris d'appui, parquet en chêne du 19e s. et moulures polychromes, éclairés par des vitraux, dessert cinq chambres à coucher dont quatre avec salles de bain. Parquets en chêne, cheminées en marbre et hauteur importante sous plafonds ornés de corniches moulurées constituent les éléments essentiels de toutes les pièces de nuit.

Le deuxième étage
Une pièce palière sur laquelle l'escalier débouche distribue de part et d'autre cinq chambres à coucher, une salle de billard et une bibliothèque, auxquelles s'ajoute une chambre au sommet de la tour. La décoration y est plus sobre et, quoique tout à fait confortables, les pièces du niveau n'ont pas l'apparat de celles du premier étage. Deux d'entre elles bénéficient de salles de bain attenantes.

Les combles
D'une superficie notable de 230 m² environ, l'espace sous toiture pourrait faire l'objet d'un aménagement de qualité, dans sa totalité, au vu de l'intérêt esthétique et de la forme de sa charpente, bien conservée, ainsi que de sa grande hauteur.