El convento recién restaurado, dedicado a San Antonio de Padua, lo ocupa la Orden de las Hermanas Pobres de Santa Clara. Según refleja Francisco de Cózar Martínez, en su obra “Noticias y Documentos para la Historia de Baeza”, de 1883, el templo se construyó en 1409 para destinarlo a religiosos claustrales. En esa época fue lego del mismo San Diego de Alcalá. Las monjas todavía conservan el mortero de piedra que se usaba entonces en las labores de cocina. Los religiosos permanecieron en el convento hasta 1493, cuando fueron trasladados a otros monasterios debido a la reforma que llevaron a cabo los Reyes Católicos.