El edificio conventual se construyó en terrenos cedidos por la Villa que estaban ocupados por el hospital que tuvo que ser trasladado. La parte trasera del convento abarca en sus muros una de las antiguas torres de las murallas, llamada la torre de las Agustinas que flanqueaba el portal de la Vedella. La congregación ha estado ininterrumpidamente desde la fecha de fundación en el convento, excepto el breve período de la guerra civil en que el convento fue expropiado por la C.N.T. La iglesia empezó a ser construida en 1701 y fue terminada en 1704.