Construido en 1673, este edificio fue residencia y bodega de Luis Lozada de Quiñones, oidor de la ciudad. Luego le fue expropiado por malos manejos. Se le denominó El Taller o la Aduana, y servía como depósito de la Puerta del Mar o puerto donde entraba la mercancía a la ciudad. El fuego de 1737 consumió el Taller, que se reconstruyó. Allí se mudó el Tribunal de Audiencia, la Gobernación, La Capitanía General y la Contaduría colonial.

A principios del siglo XIX funcionó como agencia de correos, almacén de aduana, agencia postal, plantel escolar, cuartel, bodega particular y oficinas de Administración de Hacienda y las de la Audiencia. Al construir la compañía de Ferrocarril un puerto marítimo en su terminal, el Taller perdió importancia.

Desde 1855, fue sede irregular de la gobernación de Panamá. Más tarde, fue su sitio permanente. Allí estuvo hasta inicios del siglo XX, donde ejerció funciones José Domingo de Obaldía como último gobernador del istmo hasta la separación de Panamá de Colombia en 1903. Fue destinado como residencia presidencial post separación de Colombia.

Su sencilla fachada poseía un primer piso con tres arcos de medio punto del siglo XVIII y un balcón corrido en el segundo piso. No había tercer piso. Fue remodelado en los años 20 por Leonardo Villanueva Meyer durante la administración del presidente Belisario Porras siguiendo una corriente española mozárabe. Poco queda del viejo caserón de calicanto. Su reinauguración formal fue el 3 de agosto de 1923.