En el año 1873 Carril, parroquia del municipio, se convirtió en la terminal del primer camino de hierro de Galicia, línea Cornes-Carril. Esa primera estación alberga hoy el museo.
El edificio Sarmiento, construido entre 1685 y 1714, fue en origen la sede del Colegio de la Compañía de Jesús. Desde el año 1981 forma parte del Museo de Pontevedra.
Se trata de una construcción moderna de principios del siglo XXI situado en el extremo noroeste del Conjunto Histórico de Pontevedra, y pertenece al Museo de Pontevedra.