En 1875 llegaron a Panamá las hermanas de la Caridad de San Vicente de Paul, que abrieron una escuela en el sitio de Neri. La gran cantidad de alumnos motivó la construcción del edificio en su atrio en 1904. En 1913 se terminó una remodelación de la iglesia, de donde procede su fábrica neoclásica actual. En 1923  se realizan edificaciones aledañas en el convento.

 

Las hermanas de la Caridad se trasladaron de Neri para abrir el Colegio de la Santa Familia; en Neri quedó un seminario hasta 1941. El edificio se usó posteriormente por los capellanes de las hermanas y por Acción Católica. Luego, se acondicionó otra parte del inmueble como convento de las Misioneras Catequistas de la Medalla Milagrosa. A su salida, llegaron las religiosas misioneras de la Madre Laura, que ocuparon la residencia desde 1972 a 1988. Entre 1960 al 62, se hacen nuevas construcciones quedando la estructura general como se encuentra hoy día.

 

En 1974 se inauguró el Centro Juvenil San Felipe. Luego se instaló una residencia universitaria y posteriormente, un hogar para ancianos que funcionó hasta 1996 cuando comenzó la restauración del convento e iglesia de San Felipe Neri. Fue concluida en 2003. El edificio adosado a la iglesia lo ocupa hoy día la Fundación San Felipe Neri, mientras que el templo abrió permanentemente en 2013 después de obras de mantenimiento y mejoras a sus instalaciones.