En 1477, Yves de l’Isle, seigneur d’Andrésy, Courdimanche et Puiseux, possédait, entre autres biens, le château situé à l’emplacement actuel de l’Espace Saint-Exupéry. Barthélémy, Claude et Joachim lui succédèrent. Cette noble famille était originaire de l’Isle Adam, à 20 km en amont au bord de l’Oise. A la suite de graves ennuis financiers, ils durent vendre leurs domaines. Le marquis de Louvois, ministre de Louis XIV et le Chapitre de Paris, vont alors s’allier pour l’acheter en commun. Il appartint plus tard à la Comtesse de Marsan, gouvernante des Enfants de France qui y demeuraient parfois.
Elle y donna le 8 juin 1762 une grande fête en l'honneur de Monseigneur le dauphin, la dauphine et deux de leurs enfants, les futurs Louis XVI et Louis XVIII.

Les jardins s’étendaient jusqu’au talus de l’actuelle voie ferrée. L’île en face était aménagée en jardin à la française comme en témoigne un tableau de Van Blarenberghe datant de 1774.

Ce vieux château a été presque entièrement démoli vers la fin du XVIIIe siècle. Il fut partiellement réédifié vers 1820 et servit d’abord de maison de campagne puis de manufacture d’articles de Paris. Enfin, en 1873, la commune d’Andrésy l’acquit et y installa ses services communaux : mairie, école de garçons, puis l’école de filles en 1888. À cette époque, on y voyait encore la pièce lambrissée qui avait été la chambre de Mme de Marsan...

Le bâtiment regroupe aujourd’hui l’Espace culturel «Saint-Exupéry» et l’école de musique et de danse «Ivry-Gitlis».