Michel Legrand étudie le piano au Conservatoire de Paris de 1942 à 1949, dans la classe de Nadia Boulanger. Tout comme sa sœur aînée Christiane Legrand, qui sera successivement membre de groupes de jazz vocal tels que les Blue Stars, les Double Six et les Swingle Singers, il se prend de passion pour le jazz après avoir assisté en 1947 à un concert de Dizzy Gillespie (avec qui il collaborera quelques années plus tard, écrivant en 1952 les arrangements pour l'orchestre à cordes qui accompagne le trompettiste dans ses concerts européens).