En el siglo XVII el Obispo Fray Agustín de Carvala autorizó la instalación del convento de San José, regentado por la orden de los Agustinos Recoletos. El 15 de abril de 1612 quedó fundado el convento de San José. Ese mismo año se fundó el seminario de San Agustín para la preparación de sacerdotes. La primera piedra de la iglesia se puso en 1612 en una huerta que donó el capitán Lorenzo de Roa cerca de la ciudad de Panamá. Pero la desgracia afligió a la orden; cuando se disponían a inaugurarla, la cúpula de la iglesia se vino a tierra por un defecto de construcción y toda la estructura quedó convertida en ruinas.

Los religiosos que la ocupaban se trasladaron a un local alquilado en la vecindad de la ermita de Santa Ana, pero fueron desalojados por las autoridades. Después de fuertes temblores en mayo de 1621, volvieron a instalarse en la misma casa junto a la ciudad de donde habían sido expulsados. La posición de este nuevo monasterio, aunque más cerca que el anterior de la población, pero fuera de ella, lo salvó del incendio de Panamá de 1671 provocado con motivo del asalto y toma de la ciudad por Morgan y sus piratas.

Los Agustinos levantaron su nuevo convento e iglesia en la nueva ciudad de Panamá en 1675. En 1832 el Congreso Nacional expidió la ley por la cual se eliminaron los conventos y los agustinos tuvieron que abandonar a Panamá. Solo se quedó en la ciudad un anciano fraile de 60 años, Fray Marcos de San Francisco de Asís, quien falleció el 4 de enero de 1844.