Además de por Álvaro de Luna y sus herederos, la fortificación ha sido utilizada por distintas personalidades históricas, entre las que destaca la reina Isabel la Católica, que residió en ella cuando fue proclamada heredera de la Corona de Castilla en la conocida Jura de Guisando.
Durante la Guerra de la Independencia fue ocupado por las tropas Napoleonicas, y en la Guerra Civil albergó a la tristemente celebre Legión Cóndor.