La fortaleza fue edificada hacia la primera mitad del siglo XIV aunque se tiene constancia de alguna edificación anterior ya en 1284. Parece que fue utilizado en la Reconquista por las tropas reales como punto de partida para la conquista de Albarracín.

Se asienta sobre una prolongación rocosa de rodeno fuertemente escarpada, que pertenece a la terminacion sur de Sierra Menera, junto al cerro de San Ginés, Está conformada por tres recintos concéntricos  de areniscas rojas (micáceas del buntsandstein), quedando en su conjunto totalmente integrado en el paisaje. Fueron parcialmente picados y modificados para mejorar la defensa. Precisamente esta arenisca (rodeno), en forma de megalitos, mampuestos y sillares asentados con morteros de cal o yeso, es el material principalmente utilizado en la construcción de los muros de esta fortaleza. La madera se empleó en menor medida y siempre en vigas y almojayas.Su carácter de atalaya privilegiada permite enlaces ópticos en enclaves próximos como Monreal del Campo, Bueña, Aguatón, Singra y cerro de San Ginés.Un aspecto singular del castillo es su sistema de captación de aguas pluviales, formado a base de canaliflos ejecutados en la roca natural, que conducen las aguas recogidas a cisternas y aljibes excavados en la roca (uno de ellos de más de cinco metros de profundidad), y que se encuentran situados en los dos recintos interiores.Otras de sus singularidades es el hallazgo de los restos de una cantera en el interior del recinto exterior, utilizada para la extracción de «obleas circulares» de piedra de rodeno, que eran utilizadas, como piedras de molino.

Al pie de la fortaleza se han hallado los restos del asentamiento primitivo, consistente en 14 viviendas y la antigua ermita de la Virgen de la Villeta.

Su cota media es de 1.365 metros sobre el nivel del mar y sus coordenadas son: latitud, 40° 38′ 30″; longitud, 02° 13′ 05″ (meridiano de Madrid).