Fu costruito nel XV secolo da Giralamo Riario. Due secoli più tardi, quando il palazzo passò sotto il possesso degli Altemps, fu restaurato da Martino Longhi, il Vecchio. Dal 1997 esso costituisce una sezione separata del Museo Nazionale Romano.