Ocupado durante la protohistoria, este punto dominante sobre el río Côa fue un territorio disputado entre Portugal y el reino de León entre los siglos XII y XIII. Durante del río era parte del territorio disputado por Portugal y el reino de león durante los siglos XII y XIII. En este período, Castelo Bom fue parte del reino leonés, en una situación bastante compleja, rodeado por árabes y portugueses. Fue en esa época cuando fue ejecutada su primera configuración como castillo medieval.
En 1282, D. Dinis conquistó la población e, inmediatamente, ordenó el refuerzo de su sistema defensivo. Antes del acabar el siglo, en 1297, Castelo Bom fue definitivamente incorporado al reino de Portugal tras la firma del tratad de Alcañices. Ello no disminuyó su importancia estratégica pues la línea fronteriza continuó viviendo frecuentes situaciones de tensión, por lo que las obras de refuerzo y ampliación del castillo continuaron hasta bien entrado el siglo XIV
Se trata de un castillo de planta irregular, adaptado a los condicionantes del terreno. La entrada en el recinto se hace a través de la Puerta de la Villa, de arco rota, defendida activamente por la torre del homenaje cuadrangular, hoy arruinada. En el sector meridional se localiza la cisterna (conocida localmente por Poço d’El-Rei), estructura rectangular cubierta por tejado de dos aguas, con interior abovedado apoyado en dos arcos a pleno centro, al que se accede por una puerta en una de las caras actualmente semienterrada.
En la Baja Edad Media, aunque escasean las informaciones, es de suponer que el sistema militar fue complementado con otros dispositivos, en particular una barbacana que reflejó Duarte de Armas 1509 en su Livro das Fortalezas. Se han documentado trabajos de consolidación estructural en el reinado de D. Manuel, pero se desconoce la amplitud de los trabajos que se ejecutaron en esa época.
Los siglos siguientes fueron marcados por una progresiva decadencia, que llevó a la casi completa ruina del castillo. En 1834, el municipio de Castelo Bom fue extinto e incorporado a Almeida, lo que precipitó el desmantelamiento de la propia fortaleza, siendo su piedra reaprovechada para construcciones privadas.
En el siglo XX tuvieron lugar algunas intervenciones puntuales de restauración, tras ser declarado Monumento Nacional en 1946; pero sólo en 1999, por la coordinación de esfuerzos entre el Ayuntamiento de Almeida y los propietarios, se inició la valorización sistemática de la aldea histórica, empezando por la construcción de un mirador.
Actualmente son pocos los restos que quedan de lo que fue poderoso castillo: los remanentes los paños de la muralla, la Puerta de la Villa, una torre en ruinas, la piedra de armas con el antiguo escudo de la aldea, la cisterna (Poço do Rei), una garita y dos pozos
Torres, castillos y fortalezas 