Conquistado aos mouros em 1136, por D.Afonso Henriques.
Foi daqui que D.Nuno Álvares Pereira saiu para enfrentar as tropas de Castela na Batalha de Aljubarrota.
Já no séc.XV adquiriu a monumentalidade que hoje o distingue, com uma arquitectura onde coexiste a função militar e a palaciana, que se deve ao 4º Conde, D.Afonso, filho do primeiro duque de Bragança.
A fortaleza, bem como a parte velha da vila, foram bastante danificados pelo terramoto de 1755.