A pesar de que se le conoce con el nombre de otro monarca, fue Fernando II de León quien mandó construir el castillo original sobre una fortificación primitiva de la villa. En 1372, sería de nuevo reconstruido, esta vez por Enrique II de Trastámara, quien contrató al arquitecto zamorano Lope Arias Jenízaro. En una placa sobre el arco de entrada al recinto, figura una placa conmemorativa de la fecha de su construcción: el 1 de junio de 1372.
La fortaleza se desarrolla en torno a la torre del homenaje, una torre cuadrada de 17 metros de lado. En torno a esta torre, se desarrolla un muro con dos pequeñas torres cuadradas en sus extremos. La torre del homenaje cuenta con dos pisos.
A finales del siglo XV, durante el reinado de Fernando III, se llevó a cabo la construcción de unas murallas urbanas de mano del arquitecto gallego Juan de Cabrera. También se añadió un segundo perímetro amurallado oval en torno a la ciudad, con una longitud total superior a los dos kilómetros.