La première mention d'un seigneur de Vitry-la-Ville remonte au 13ème siècle.
La construction actuelle, probablement édifiée à l'emplacement d'un logis seigneurial fortifié, date du 17ème siècle.
Depuis la petite route départementale qui traverse le village, une allée de tilleuls précède un terre-plein rectangulaire entouré de douves en eau où s'élève le château. Le pont-levis a été remplacé par un pont maçonné et une grille d'entrée, remarquable, est encadrée par deux colombiers.
Un jardin à la française, créé dans ses grandes lignes au 17ème siècle et qui demeura jusqu'aux années 1960 l'un des plus beaux de la région est en cours de réaménagement avec notamment une aire de stationnement pouvant accueillir 350 véhicules à côté d'une vaste prairie. Deux terrasses successives permettent d'accéder aux parterres bordés de charmilles, aux deux miroirs d'eau où se reflètent l'édifice, à l'étang, et au canal transversal alimenté par la Guenelle qui longe le bois.

Le château

Elevé de trois niveaux en craie soulignés par des cordons en pierre sous une couverture en ardoise, la façade d'arrivée est encadrée par deux larges pavillons en brique et pierre coiffés de hauts combles qui se prolongent en retour d'équerre par deux ailes plus basses en craie. Les fenêtres en bois sont en double vitrage.

Le rez-de-chaussée
Le hall d'honneur traversant, pavé en pierre de Champagne à cabochons d'ardoise, s'ouvre sur la cour d'honneur et sur le parc. Un escalier à double révolution en chêne avec rampes en fer forgé s'y déploie en deux courbes élégantes. L'aile gauche comprend trois salons de réception en enfilade habillés de boiseries encadrant des cheminées du 18ème siècle sous des plafonds à la française et au sol des parquets en points-de-Hongrie et en panneaux de type Versailles. Ils se prolongent en retour d'équerre par un vestibule avec des toilettes donnant accès à une terrasse couverte en arcades et à une cuisine professionnelle. L'aile droite comprend un salon de télévision avec des boiseries d'appui posées sur un parquet à bâtons rompus et une cheminée en marbre Louis XV surmontée par un trumeau en bois peint. Il précède une salle à manger accompagnée de son office, dont les panneaux de boiseries encadrent une cheminée en marbre du 18ème siècle surmontée d'un miroir. Il communique avec un salon de musique au parquet de chêne en points-de-Hongrie qui a conservé son alcôve et sa cheminée Louis XV avec son trumeau à décor rocaille. En retour d'équerre, un vestibule avec des toilettes, pavé de tomettes octogonales rejoint la cuisine familiale et son arrière-cuisine.
Le premier étage
Trois escaliers mènent à ce niveau, l'escalier central à double révolution et deux escaliers de service qui prennent naissance dans les vestibules latéraux. Ils distribuent une bibliothèque et sept chambres accompagnées de leurs salles de douches avec toilettes. Les parquets en chêne sont posés à l'anglaise ou à points-de-Hongrie avec des cheminées en marbre des 18ème et 19ème siècles. Un appartement indépendant comprend trois chambres et une salle de bain.
Le deuxième étage
Il comprend un palier en fer à cheval prolongé par un couloir qui distribue neuf chambres et cinq salles de douches ainsi que des combles aménageables.