Il Palazzo fu costruito durante il pontificato di Martino V ma la gran parte della struttura risale al XVIII secolo. Il palazzo ospita la famosa Galleria, costruita da Antonio del Grande, nel quale è possibile ammirare la ricca collezione di Lorenzo Onofrio Colonna.