Le temple bâti par Salomon fut brûlé par Nabuzardan (Nabuchodonosor), roi de Babylone, en 586 avant J.-C., 420 ans après sa dédicace. On jeta les fondements d'un nouveau temple, le Temple de Zorobabel, sur les fondements de l'ancien, en 521; mais il fut loin d'avoir la splendeur du premier.
Le roi Hérode fit rétablir le Temple avec la plus grande magnificence, quelque temps avant la naissance de Jésus, et la construction en était à peine achevée lorsqu'il fut détruit pour toujours en 70, par Titus, fils de l'empereur Vespasien. C'est en vain que Julien l'Apostat permit aux Juifs de le rétablir pour donner un démenti à la prophétie de Jésus. Une légende destinée à servir la propagande chrétienne raconte que des flammes sorties des fondations renversèrent les travaux commencés et mirent en fuite les travailleurs.