No parece haber una explicación lógica para la construcción de este castillo, mas que la de servir de sostén a un largo cerco contra Piedrabuena durante la Reconquista, de la cual se encuentra a 2 km.

Sus características constructivas parecen indicar la reconquista cristiana del siglo XII; a corta distancia de él, existe el llamado "Puente de los Moros" o del Contadero, de análogas características, del cual informan ya en 1848 que su fabrica es la misma que la del castillo, y al estar los dos muy próximos se cree que se construyeron a la vez.

No fue construido como puente, sino como muro de contención que embalsaba las aguas del arroyo de la Peralosa, pudiendo así la guarnición del castillo servirse de ellas.

Con el tiempo se abrió un boquete por donde actualmente pasa el agua, de ahí que se le nombre como "El Puente de los Moros".

Se sabe que el Castillo en 1212 ya existía, y que en 1572, cuando Piedrabuena se desmembró de la orden de Calatrava, estaba como ahora.