La chapelle est construite sur les ruines d'un sanctuaire datant du Moyen Âge, définitivement détruit par des bombardements en septembre 1944, bien qu'il eût subi au cours des siècles de nombreux dégâts causés par les orages et les guerres. Ce sanctuaire chrétien connaît chaque 8 septembre un important pèlerinage pour célébrer la nativité de la sainte Vierge.
Après la fin de la guerre, les habitants de la région de Ronchamp et la Commission d'art sacré de Besançon, décidèrent de la reconstruction de la chapelle et firent appel au célèbre architecte Le Corbusier, architecte franco-suisse, alors plutôt connu pour être l'inventeur de l'Unité d'habitation, comme solution aux problèmes de logements de l'après-guerre.

À 63 ans, Le Corbusier se lance cependant dans l'aventure de la reconstruction de la chapelle Notre-Dame-du-Haut à Ronchamp. C'était son premier projet d'un bâtiment cultuel. Lyrique sur la beauté du site, il a dit : « Je n'avais rien fait de religieux, mais quand je me suis trouvé devant ces quatre horizons, je n'ai pu hésiter ».
De plus, l'édifice se veut en harmonie avec le paysage vallonné des Vosges : les courbes de la chapelle répondent aux collines environnantes. La possibilité d'organiser de grandes messes en plein air participe de cette communion avec la nature. Les courbes sont également présentes à l'intérieur : le sol est incurvé, tout comme le couvrement.