Granadilla el pueblo fantasma. Su nombre original fue Granada, los Reyes Católicos tras conquistar la actual Granada en 1492, cambiaron su nombre a Granadilla.
Antiguo paso obligado por la Vía de la Plata, fue fundada por los musulmanes en el siglo IX.
El castillo se construyó entre 1473 y 1478 por orden de Álvarez de Toledo y Carrillo de Toledo Duque de Alba.
El 15 de junio de 1960 notificaron a los habitantes que las fincas y el pueblo pasaban a ser propiedad de la Administración del Estado, debido a la construcción del embalse de Gabriel y Galán.
Los trabajos de rehabilitación comenzaron en 1980, tras la muerte de Franco y la villa fue declarada Conjunto histórico artístico.