Fue mandado construir por Fernando Álvarez de Toledo durante el siglo XV una vez que Jarandilla fue integrada dentro del condado de Oropesa.
El emperador Carlos V se alojó en sus dependencias en 1556 mientras aguardaba a la finalización de la construcción de su residencia junto al monasterio de Yuste.
Resultó muy dañado tras el saqueo que sufrió por parte de tropas francesas en 1808 en el contexto de la Guerra de la Independencia.
Tras varias reformas, en 1966 se convirtió en Parador Nacional de Turismo por lo que en la actualidad se encuentra en un gran estado de conservación. El edificio se encuentra bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español.
