Edifice militaire de plan carré construit fin XIVème pendant la guerre de Cent ans, sur une frontière franco-anglaise, flanqué de six tours crénelées, entouré de douves profondes - toujours en eau - et agrémenté d'un pont levis encore actionné tous les jours, le château dégage l'impression d'une sévère forteresse médiévale. 

Jean d'Estouteville, de retour des guerres d'Italie, y apporte le goût de la Renaissance : ouverture des fenêtres à meneaux et aménagement de la cour intérieure, construction de la chapelle. Au XVIIème, Sully dessine le parc autour des pièces d'eau, des canaux et du colombier. Des perspectives boisées à la française mènent à la statue de Diane. Depuis le XVIIIème, le parc accueille une harde de daimsAu XIXème, construction de l'orangerie et des écuries en harmonie avec l'ensemble ancestral.

Depuis 600 ans, le château a reçu de nombreux chefs d'état : Charles VI, Charles VII, Louis XI, François Ier, Henri IV, Stanislas Leczinski, Paul Deschanel,  le Général de Gaulle et Valéry Giscard d'Estaing.

Villebon ne fut vendu que deux fois depuis sa construction. Il fût la propriété de quatre familles, les d'Estouteville, les Béthune Sully - le grand Sully s'y éteint en 1641, les Pontoi Pontcarré et les La Raudière qui l'ouvrent à la visite en 1994.

"Du côté de Guermantes" : dans son premier manuscrit, Proust - originaire d'Illiers-Combray - titrait "du côté de Villebon".  

Propriété privée, habitée familialement, le château et la chapelle sont classés monuments historiques (MH) depuis 1927, le colombier inscrit depuis 1981.