Le cœur des collections est constitué de l'héritage Aldobrandini, partagé entre Gianbattista Pamphilj et Gianbattista Borghese (cette partie de l'héritage alimente la Galerie Borghèse), les deux enfants d'Olimpia Aldobrandini. Il a été complété par les œuvres achetées par le prince Camillo et ses successeurs, en particulier son fils le cardinal Benedetto Pamphilj. Les collections sont protégées par deux fidéicommis interdisant la dispersion des biens : le premier, d'Innocent X en 1651 ; le second, du côté Aldobrandini.
La Galerie Doria-Pamphilj est un musée privé de Rome appartenant à la famille Doria Pamphilj Landi.