Obra de fortificação islâmica, reconstruída nos séculos XIII e XIV, tomando só no séc. XVI o aspeto atual. Acolhia o alcaide de Elvas e foi palco de importantes acontecimentos da história do país como tratados de paz e trocas de princesas.
Sem qualquer função militar a partir da segunda metade do séc. XIX, o castelo de Elvas foi deixado ao abandono, entrando no séc. XX arruinado. Motivo pelo qual vários elvenses amantes da história e do património quiseram promover o seu restauro, a sua visibilidade e entabularam um processo que faria do castelo de Elvas em 1906 o primeiro Monumento Nacional português.