Los orígenes del «Castelo de Mogadouro» son inciertos. La primitiva ocupación, según unas recientes excavaciones, se remonta posiblemente a la época romana. En otros lugares de la zona se han encontrado vestigios visigodos y musulmanes, que, en opinión de algunos estudiosos, le legaron la toponimia.

Lo que si resulta demostrado es que el castillo ya existiría en 1145, cuando fue donado a los Templarios por Fernão Mendes de Bragança. Esta donación no se hubiera producido de no existir previamente en el lugar un reducto militar. La presumible modestia de esta estructura llevó a la Orden del Temple a realizar una integral reforma de la fortaleza, actualizándola según el modelo de la arquitectura militar de la época.
Este sería el origen de la construcción del castillo románico de Mogadouro, del que se conserva sólo parcialmente la torre del homenaje, pues el conjunto fue muy adulterado en los siglos posteriores y no es posible reconstituir el trazado original templario. En todo caso no se debería diferenciar mucho del de Penas Róias, construido en la misma época. Sería así una fortaleza con torre del homenaje aislada en el centro del recinto amurallado, siendo éste, a su vez, defendido por torres cuadrangulares.
Formaba parte de la línea defensiva de la frontera oriental del reino junto a los castillos del Temple de Penas Róias y Longroiva, Outeiro, perteneciente a la corona y Algoso de la Orden del Hospital
En 1197, en un amplio proceso de afirmación de la autoridad real en esta región, D. Sancho I cambió los castillos de Mogadouro y de Penas Róias por territorios raianos de la Beira Baixa que eran más atractivos para los Templarios; pero algunas décadas después la villa es mencionada de nuevo como perteneciente a dicha Orden. A lo largo del siglo XIII, la localidad fue agraciada con dos forales regios (1272 y 1273, ambos dados por D. Alfonso III) con el objetivo de incrementar la población. En 1319, disuelto el Temple, el castillo y su territorio fue asignado por D. Dinis a la Orden de Cristo.
Bajo el dominio de la Orden de Cristo, el castillo fue adaptado a residencia de los comendadores, hecho que implicó grandes transformaciones en la estructura original. De esta forma, y durante los siglos XIV y XV, fueron varios los edificios construidos en el interior, en especial durante el gobierno de los Távoras (primera mitad del siglo XV). Es esa residencia que Duarte d’Armas dibujó a comienzos del siglo XVI, compuesta por tres cuerpos principales, dispuestos perpendicularmente y construidos en altura de dos pisos.

En términos militares, el castillo dibujado por Duarte d’Armas incluía sólo tres torres (la del homenaje y dos adosadas a las murallas, una pentagonal y otra cuadrangular). Además, el reducto disponía de una barbacana más baja, que lo rodeaba íntegramente.

La destrucción de todo este complejo, que en el siglo XVIII todavía se llamaba «Palacio, al que llaman castillo«, se desarrolló a lo largo de la época moderna y se acentuó en los últimos siglos, llegando hasta nuestros días como una notable ruina, de que se conserva sólo la torre del homenaje y parte de las antiguas murallas.
Junto al Castillo en el siglo XVII se levantó la Torre do Relógio, que se divide en tres plantas, una de ellas preparada para recibir campanas. Presenta un remate piramidal y en las cuatro esquinas pináculos de granito.

En 1946 las ruinas fueron declaradas Monumento Nacional. Pese a diversas actuaciones de restauración, para completar el destrozo, en la década de 1990 sufrió graves actos de vandalismo y para colmo en 1993 un crudo invierno también afectó de forma importante a las ruinas.
Descripción
El castillo presentaba planta elíptica, en aparejo de granito y esquisto argamasado con barro.
La torre del Homenaje, que es el resto más importante que se conserva, tiene planta rectangular, coronada por almenas y con dos puertas elevadas en arco rebajado (al nordeste y al sureste), a las que se accede por escalera de piedra de dos tramos en ángulo con pasamanos. Internamente posee tres plantas.

Al oeste, junto a la torre del homenaje, se abre la boca de una cisterna cuadrangular. En la ladera sureste se encuentra parte de lo que queda de la barbacana.