C'est le 9 juin 1934, que de Gaulle, alors commandant, et son épouse Yvonne achetèrent en viager cette gentilhommière de quatorze pièces entourée d'un vaste terrain. Elle s'appelait déjà "la Boisserie", déformation du nom « Brasserie » parce que la brasserie de village y fut fondée en 1843. Le couple désirait que leur benjamine Anne, trisomique gravement handicapée, bénéficie du grand air de la campagne champenoise dans cette maison de vacances et soit protégée de l'indiscrétion du public. Anne de Gaulle aima d'ailleurs particulièrement les séjours à La Boisserie, jusqu'à sa mort en février 1948. De plus, la résidence était proche de l'affectation du colonel de Gaulle au 507e régiment de chars de combat, cantonné à Metz de juillet 1937 à septembre 1939.
Au moment de l'acquisition, La Boisserie n'était pas une habitation luxueuse : elle n'était raccordée ni au réseau d'eau, ni au réseau téléphonique. Au lendemain de la seconde Guerre mondiale, après avoir été pillée et partiellement incendiée en 1944, les principales améliorations furent apportées, comme l'eau chaude et le chauffage central, et de Gaulle fit construire la tour hexagonale en moellons coiffée de vieilles tuiles du pays, au rez-de-chaussée de laquelle il installa son cabinet de travail d'où, d'un regard, il pouvait embrasser le paysage immense et sauvage.
De Gaulle aimait venir se reposer dans ce qu'il considérait comme sa vraie et sa seule demeure. Il s'y réfugiait pour prendre les décisions importantes, dans le calme et la solitude. Même élu président de la République française, au départ il refusa de séjourner à l'Élysée, contrairement au protocole. Il finit par habiter le palais présidentiel, mais continua de passer beaucoup de temps et tous ses week-end en famille à Colombey. En 1969, de Gaulle démissionna et se retira dans sa maison avec son épouse. Il y mourut le 9 novembre 1970.
Yvonne de Gaulle résida à la Boisserie jusqu'en 1978, date à laquelle elle la quitta définitivement pour Paris, où elle entra à la maison de retraite des sœurs de l'Immaculée Conception. Elle mourut un an plus tard à l'hôpital du Val-de-Grâce, à l'âge de 79 ans, le 8 novembre 1979, veille du 9e anniversaire de la mort de son mari.
La maison et son parc, y compris la clôture donnant sur la rue, ont été inscrits aux monuments historiques par un arrêté du 6 septembre 20041.