Fue mandado construir como residencia familiar por García de Barrantes-Cervantes, miembro del Consejo Real de Felipe III y sobrino de Gaspar Cervantes de Gaete, cardenal y gran coleccionista de arte del Renacimiento.

Las obras estuvieron a cargo del maestro cantero García Carrasco, autor de trabajos tan destacados como el Palacio de Santa Marta en el propio Trujillo o la iglesia de Santa Clara en Mérida.

Su realización marcó el final del esplendor de la arquitectura trujillana del siglo XVI, época en que la ciudad se enriqueció con extraordinarios edificios nobiliarios y religiosos. Así, en 1618 las obras se daban por concluidas. No obstante, el ambicioso proyecto que las animó no llegó a culminarse, lo que le confirió su peculiar aspecto inacabado.

En 1674 Gregorio Bejarano de Orellana y Cervantes, propietario del edificio y heredero de García Barrantes-Cervantes, contrajo matrimonio con Juana María Jirón y Núñez Vela, quinta marquesa de Sofraga, por lo que también es conocido como Palacio de los Marqueses de Sofraga. De esta época se conservan documentos que dan testimonio de la gran colección de muebles de taracea, vajillas, tapices y obras de arte que decoraban sus dependencias.

Su vida de residencia nobiliaria alcanzó la primera mitad del siglo XX, época en la que sufrió alteraciones interiores que permitieron alojar una imprenta en su planta baja mientras el resto fue destinado a viviendas en alquiler. En esta disposición entró en el último cuarto del siglo para, después de dos décadas de abandono, ser adquirido por la Fundación “Obra Pía de los Pizarro” con ánimo de convertirlo en sede de su proyecto social y cultural para el siglo XXI.