El inmueble de estilo neoclásico data de finales del siglo XVIII. Su edificación, atribuida al arquitecto valenciano Manuel Tolsá, correspondió al antiguo palacio del conde de Buenavista, habitado posteriormente por el general Antonio López de Santa Anna y la familia de Iturbe.
Primeramente fue propiedad de Don Miguel Pérez de Santa Cruz Andaboya, Marqués de Buenavista y señor de Torrejón de la Rivera, el cual la habitó a fines del siglo XVII y principios del XVIII, y fue construida entre el Puente de Alvarado y la antigua Garita de San Cosme, a inmediaciones de los terrenos por donde pasaba el Acueducto de San Cosme. Aparte de sus títulos nobiliarios, disfrutó este señor otras consideraciones de la ciudad, tales como haber sido alcalde tres veces, la primera de Mesta (nombre de una asociación formada en el siglo XVI por los grandes propietarios de ganado en Castilla, León y Extremadura) en el año de 1 712; la segunda, Ordinario de Primer Voto (juez que conocía de las causas y pleitos en primera instancia) en 1725; y la tercera, también de Mesta, en el año siguiente (1726).
Considerado uno de los edificios más bellos de finales del siglo XVIII y principios del XIX, de estilo neoclásico y peculiar por su patio interior oval. Para el año 1799, la construcción había cambiado de dueño, ahora fue Josefa María Rodríguez de Pinillos, segunda marquesa de Selva Nevada, quien mandó reedificar dicho palacio. El palacio era un regalo para el Conde de Buenavista, quien era el heredero de la marquesa; sin embargo, el conde nunca pudo ver terminado su palacio, pues murió durante la construcción del mismo. Es por eso, que desde 1805, y durante todo el siglo XIX, el Palacio del Conde de Buenavista sirvió como casa habitación de diferentes familias con títulos nobiliarios y personajes de la política mexicana.
Las obras corrieron a cargo de Manuel Tolsá. Posteriormente tuvo varios dueños y después fue adquirido por la Regencia del Imperio de Maximiliano y el emperador lo cedió al mariscal Francisco Aquiles Bazaine en 1865 cuando éste se casó con una dama mexicana.
Durante el siglo XX tuvo varios usos, entre ellos fábrica de cigarros: La Tabacalera Mexicana, oficinas de la Lotería Nacional y sede de la Preparatoria Nacional núm. 4 de la UNAM, hasta que en 1966 fue cedido al INBA e inaugurado como Museo de San Carlos en 1968, y como Museo Nacional en 1994 por decreto presidencial.
Su acervo proviene de las galerías de arte de la Antigua Academia de San Carlos, fundada por Carlos III en la Nueva España; está integrado por obras de artistas europeos que donaran la Academia de San Fernando de Madrid y la Academia Mexicana de Pintura, así como por coleccionistas privados. Actualmente resguarda la colección de arte europeo más importante del país, en él se pueden apreciar obras de Lucas Cranach, Zurbarán, Rubens, Carrucci, Tintoretto, Goya, Ingres, Clavé y Sorolla, entre otros grandes maestros de la pintura. Cuenta con 10 salas de exhibición (seis permanentes y cuatro temporales), biblioteca, librería y cafetería. Ofrece talleres, cursos, visitas guiadas y actividades culturales.
El patio del Palacio del Conde de Buenavista se tomó como punto primordial en torno al cual se fue desarrollando la ejecución total del edificio. Se diseñó a partir del trazo de una elipse que, enmarcada por un rectángulo, es un ejemplo del uso de los tratados de artistas como Giacomo Barozzi da Vignola (1507-1573).
Las plantas siguen el estilo de las casas coloniales, en la baja se distribuyeron los espacios públicos y los destinados a la servidumbre, mientras que los espacios privados se acomodaron en la planta alta. En el piso bajo está delimitado por veinte pilares almohadillados de capitel toscano, dispuestos simétricamente, cuyos ejes coinciden en un punto central a partir del cual se puede contemplar el edificio en su totalidad. El ritmo causa un juego de luces y sombras que evoca el barroco.
En el piso superior, la elipse se define por una balaustrada, interrumpida de tramo en tramo por los altos basamentos donde se sustentan veinte columnas de orden jónico compuesto, que se continúan sobre los pilares del piso bajo. La cornisa se proyecta y rompe la línea del entablamento, y es el elemento donde se apoyan la balaustrada y los florones que coronan el espacio elíptico del patio.
De acuerdo con especialistas en arquitectura, en este edificio se armonizan los estilos barroco y neoclásico. El primero se manifiesta en la planta, en su remetimiento semi-elíptico que, al tiempo que prefigura el patio interior, funciona como un primer vestíbulo que acoge al visitante y le invita a continuar hacia adentro.
El segundo se observa en la simetría racional de los dos cuerpos de la fachada principal. En su cuerpo inferior, el almohadillado de cantera gris, material utilizado en todo el edificio, se alterna con los vanos adintelados de las ventanas y de la entrada principal. En su cuerpo superior los vanos se convierten en balcones, cuyas balaustradas van apoyadas en ménsulas; aparecen separados entre sí por pilastras estriadas, y rematados sucesivamente con frontones triangulares y semicirculares.