Poco queda de la «Fortaleza de Segura», una pequeña aldea de algo más de 170 habitantes llena de encanto, situada justo sobre la frontera con España, controlando uno de los pocos pasos del río Erjas. Pertenece al municipio de Idanha-a-Nova, aunque entre 1510 y 1836 fue villa con su propio Ayuntamiento. Desde España se llega por la que fue frontera de Piedras Albas, atravesando el río Erges (o Erjas) por un puente que en origen fue romano, tras pasar previamente por Alcántara y su espectacular puente romano sobre el Tajo.
Aunque suele ser admitida la existencia previa de una fortificación romana, lo cierto es que no existen referencias precisas al castillo de Segura hasta después de que la aldea pasara de forma definitiva a la corona portuguesa en 1282. En concreto esta primera referencia al castillo data del reinado de D. Dinis, cuando en 1299 el soberano exonera a los habitantes de Segura de pagar los impuestos a Salvaterra do Extremo, con la condición de que construyeran un castillo en dos años.
Esto no deja de provocar a una cierta extrañeza porque es bastante más tardío que la donación de estos territorios a los Templarios. Lo que parece indicar que Segura no jugó un papel relevante en los primeros momentos de la formación del reino de Portugal, entrando a formar parte de la estrategia miliar de la corona ya en una etapa avanzada, a finales del siglo XIII o incluso a comienzos del XIV.
De aquella primitiva fortificación gótica es muy poco lo que ha llegado hasta nuestros días, pues el conjunto fue desmantelado.
En 1509, Duarte de Armas dibujó el castillo en dos vistas y planta. En estos dibujos se aprecia su configuración: tenía perímetro oval, con dos cercas, foso y barbacana. Aparecen seis torres, además de la del homenaje, que se adhiere al circuito de las murallas siguiendo la tipología gótica. Como se ve en el dibujo, la población no estaba rodeada por ninguna muralla y se extendía colina abajo al este del castillo.
Durante la Guerra de Restauración de la Independencia, en el marco de fortificación fronteriza desarrollado por João IV, cuando la villa es dotada de una muralla envolvente abaluartada, con garitas. A la villa se accedía por las Portas da Cima y de Baixo; esta última, de arco aplanado, es la única que se conserva de toda la fortificación.
Este sistema no impidió sin embargo que fuera tomada en 1807 por las tropas napoleónicas comandadas por Junot en su entrada a la Beira Baixa. A partir de entonces el declive de la villa se aceleró. En 1846, fue extinto su gobierno militar, lo que dio lugar al progresivo desmantelamiento de las murallas, cuya piedra fue reaprovechada en construcciones civiles.
A mediados del siglo XX, la Junta de Freguesía de Segura levantó la llamada «Torre del Reloj», en el lugar donde se encontraba el castillo. La «Fortaleza de Segura» se encuentra clasificada como Propiedad de Interés Público desde 1959.
Torres, castillos y fortalezas 