El «Castelo de Alfaiates» es otro de los castillos de las tierras del Riba-Côa, una región constantemente disputadas entre los primeros monarcas leoneses y portugueses.
El topónimo “Alfaiates” se remonta al período musulmán cuando la población era denominada como «Al-hait» (“el muro”).

Como la mayoría de las fortalezas de la zona, su origen es leonés y habría sido construida -tras las campañas leonesas de conquista sobre territorio musulmán- en el siglo XII o ya en el XIII, siendo designado originalmente como “Castillo de la Luna”. Lamentablemente de este castillo no queda ningún vestigio. Sí se sabe que se situaba en mitad de la villa, junto a la actual Iglesia de la Misericordia. Con seguridad se trataba de una fortaleza rudimentaria de carácter proto-románico, con función sobre todo de vigía y de refugio de la población circundante.
Tras el paso de la tierra de Riba-Côa a posesión portuguesa consumado formalmente en el Tratado Alcañices de 1297, se produjo una reforma del castillo por D. Dinis. Pero tampoco de aquella estructura han quedado restos. Con gran probabilidad, las obras entonces realizadas tuvieron como objetivo la reforma del viejo castillo leonés, dotándolo de un eficaz sistema de murallas y, quizá, de otra configuración de la probable torre de menaje. En todo caso, habrá sido una campaña puntual, no muy costosa y relativamente modesta, ya que, dos siglos después, la fortaleza fue objeto de una radical reformulación.
En efecto, durante el reinado de D. Manuel a comienzos del siglo XVI, el sistema militar de Alfaiates fue completamente alterado. Este monarca intentó revitalizar el pueblo, confiriéndole sucesivos privilegios y repoblándolo con delincuentes perdonados. Paralelamente, mandó edificar un castillo de raíz, como se desprende de un diploma de 1510: «mandemos fazer fortaleza na dicta vila de Alfaiates«.

El proyecto fue uno de los más importantes de la Beira Interior en el período manuelino. Las obras se desarrollaron con relativa lentitud, ya que, aún en 1525, Diogo de Arruda visitaba el castillo para inspeccionar el progreso de los trabajos. El lugar elegido rompió con la tradición de arquitectura militar local, en la medida en que, en lugar de reubicar y actualizar el viejo castillo del centro de la aldea, prefirió un lugar yermo, a unas decenas de metros de la localidad. En estas condiciones, se construyó un castillo moderno, completamente orientado hacia la guerra de artillería. Su planta es característica de los inicios del siglo XVI, con forma geométrica de un cuadrilátero con torre cuadrangular en el vértice fronterizo a la villa. Por otro lado, la fortaleza fue rodeada de un muro de aparejo irregular que integraba torretas circulares en tres ángulos.
Producto del racionalismo en los albores de la modernidad, el castillo de doble muralla de Alfaiates no puede dejar de ser asociado a la propaganda regia manuelina, que dotó a algunos de los más importantes lugares del reino con sus marcas estéticas y simbólicas. La entrada principal, en cuerpo saliente de la línea de murallas, integra esos emblemas manuelinos, en una composición escultórica sobre la entrada que se compone de una corona regia al centro, flanqueada por dos esferas armilares y dos cruces de la Orden de Cristo.
La última campaña edificadora del conjunto militar tuvo lugar en el siglo XVII. En ese momento, el castillo manuelino era de los más eficaces de toda la Beira Interior, y se decidió entonces complementar este dispositivo con unas nuevas murallas, integrando baluartes y cortinas verticales, que asegurara la defensa de la villa. Sin embargo, este gran proyecto nunca llegó a ser concluido, fruto del creciente abandono de la localidad o, más propiamente, debido al cambio que produjo la Unión Peninsular (1580-1640).
En 1641 comenzada la guerra de Restauración la plaza fue visitada por el ingeniero militar neerlandés Joannes Cieremans (João Cosmander) cuando -por determinación del gobernador militar de la villa, Brás García Mascarenhas– recibió obras de mejora y construcción de murallas, un reducto por el lado norte y fortificación por el lado sur, aprovechando muros y cimientos preexistentes e integrando el castillo.
A principios del siglo XVIII se elaboró un proyecto de conversión del aglomerado urbano en fortaleza abaluartada, según el esquema típico de ese período (aplicado, por ejemplo, en la plaza fuerte de Almeida), pero jamás llegó a salir del papel.

En las guerras napoleónicas, Alfaiates desempeñó un papel importante recibiendo fuerzas portuguesas e inglesas.
Pero la extinción del municipio en 1836, pasando a convertirse en freguesía de Sabugal, y la creciente despoblación determinaron el abandono del castillo. Entonces su plaza de armas fue utilizada como cementerio municipal desde 1846 hasta 1927.
En 1912 gran parte de las murallas de la villa fueron demolidas y sus piedras aprovechadas para la construcción de un hospital. Ya posteriormente a partir de 1940 se realizaron varias campañas de reconstrucción y reparaciones. En 1982 fue clasificado como Monumento Nacional. Hoy forma parte de la “Ruta dos 5 Castelos” del municipio de Sabugal.