Se sitúa la primera casa junto a la Ermita de Santa Susana. Corría el año 1350.
Juana de Luna, viuda de Luis Mejía con tres de sus hijas, Doña María, Doña Mayor de Guzmán y Doña Catalina profesan en el convento y le enriquecieron con su hacienda y mucho más con su virtud y gobierno. Siendo Doña Mayor priora  compra la casa y fortaleza de Hércules a Juan Arias de la Hoz.  A esta compra se  añadirán  unas casa señoriales entre las iglesias parroquiales de la Santísima Trinidad y San Quilez. Fray Alonso de Loaysa, prior provincial de religiosos y religiosas de la Orden de Predicadores en los señoríos y reinos de Castilla aprueba la solicitud de traslado de aquel lugar solitario y húmedo a éste en el casco de la población.
Se trasladan al nuevo lugar, que hoy perdura, el 13 de junio de 1513.
El edificio es una antigua casa fortaleza, ejemplar típico de la arquitectura civil del s. XII. La Torre de Hércules, que le da nombre, construida hacia el s. XI, conserva en los frisos pinturas murales realizadas por los árabes de la aljama segoviana que lo convierten en el más acabado ejemplar románico-mudéjar.