Se sabe que tuvo problemas con las monjas del vecino Convento de las Capuchinas, quienes se quejaron por la altura de la construcción palaciega; finalmente las religiosas perdieron el caso y la casona se levantó. Tras disfrutarla muchos años, en los que fue centro de reunión de la aristocracia virreinal, el conde se la heredó a su hija, quien agregó mas títulos al casarse con el segundo conde de Regla.
Al casarse la hija del conde de Xala con el segundo Conde de Regla llamado Pedro Ramón Romero de Terreros, el inmueble pasa a formar parte del acervo hereditario de la familia Romero de Terreros, por lo que así aparece en los registros del INAH.
El Palacio fue construido en el siglo XVIII y es un digno ejemplo de la arquitectura palaciega de la Ciudad de México. El arquitecto constructor fue el arquitecto español Lorenzo Rodríguez (nació en Guadix, Granada en 1701 y murió en la Ciudad de México en 1774)., autor del Sagrario Metropolitano y la capilla de San Ignacio de Loyola del Colegio de las Vizcaínas entre otros inmuebles.
En el siglo XIX el palacio comenzó a cambiar de manos e inició su deterioro. En 1964 el Banco Mercantil lo compró y lo vendió a un particular que lo dividio en accesorias. El palacio conserva sus tres niveles originales, la planta baja, el entresuelo y el piso noble. Su fachada está ricamente labrada en cantera y sus paños recubiertos con rojo y poroso tezontle.
Los accesos gemelos destacan por su altura y por el fino y elaborado trabajo en cantera. Los dos vanos están rematados por balcones que parecen haber sido abiertos en el siglo XIX sin decoración alguna, uno de ellos se encuentra flanqueado por dos angelitos. Seguramente sobre los dos portones se encontraban labrados los escudos nobiliarios de la familia.
El tercer nivel cuenta con cuatro vanos, tres de ellos ricamente decorados y el cuarto más sencillo. Los vanos están separados por una cruz sobre una peana realzada en tezontle negro. El tercer nivel está enmarcado por dos vigorosas cornisas, la inferior dentada y la superior entablerada.
El pretil de la azotea está formado por un pretil de arcos invertidos, que por sus características no parece ser original.
El interior es muy agradable por las proporciones que manejó el arquitecto. Su patio principal está rodeado por tres pasillos superiores, dos de ellos apoyados sobre dos enormes arcos que cubren el patio de pared a pared. La inscripción en uno de los arcos indica lo siguiente: “Se empezó esta casa en 1 de enero de 63 y se acabó en 31 de julio de 1764, la hizó el Sor Dn. Antonio Rodriz de Soria y el maestro D. Lorenzo Rodriz”.
Al parecer es la única casa virreinal que cuenta con un elemento semejante. En la planta baja se localizaban el cuarto del portero, bodegas, cocheras, caballerizas y cebadero o pajar y cuartos de sirvientes masculinos.
En el entresuelo se alojaban las oficinas y la vivienda del administrador de la familia. En la planta alta se ubicaba el salón del dosel, del estrado, la recamara principal, antesala y gabinete, al oeste recamaras y tocadores, al sur la asistencia, el oratorio o capilla doméstica y el comedor. En el segundo patio se localizaban los cuartos de servicios para mujeres, cocina, repostero, letrinas y placeres.
En el patio posterior conserva aún una fuente de cantera adosada a uno de los muros. El Palacio del Conde de Xala es un ejemplo notable de la arquitectura palaciega que hicieron que la Ciudad de México fuera internacionalmente conocida como La Ciudad de los Palacios.
Actualmente, Carlos Slim Helú, presidente de Grupo Carso, y Marcelo Ebrard Casaubon, ex-jefe de Gobierno de la Ciudad de México, inauguraron un Sanborns en la Casa de los Condes de Xala, la cual fue perfectamente restaurada.
Ver México Heráldico. Palacios de la Ciudad de México en un mapa ampliado
