Fue mandado construir por el obispo Don Manuel Murillo y Argaiz para ser Palacio Residencial de los obispos. De esta manera estarían más cerca de su diocesis y dejaban el Palacio de El Burgo para su descanso estival.

En sus inicios su fachada principal era el remate sur de la plaza. Desde su balcón se podía divisar el castillo, la feria y la vida de la localidad. Poco a poco se fueron haciendo construcciones adyacentes, quedando incluso en un lateral el escudo del obispo que aún se puede ver en la fachada.