Но даже те изменения, что пережил дворец Юсуповых в XIX веке, не умаляют его огромной ценности, ибо они были сделаны опять же в русле традиций древнерусского зодчества. Композиция этого интереснейшего московского памятника связана с «хоромным» принципом построения. Обращает на себя внимание живописная группировка отдельных разновеликих объемов, крытых порознь кровлями различной высоты и формы, то заслоняющих друг друга, то открывающих новые завораживающие виды. На второй этаж дворца ведет наружная лестница, что было характерным архитектурным приемом XVIXVII веков так называемое красное крыльцо. Это относится и к столовой палате обязательному для подобных зданий парадному помещению. Нетрудно уловить в ней элементы, восходящие к Грановитой палате Московского Кремля. Высокий свод, освещенный с обеих сторон многочисленными окнами, напоминает гигантский купол.
Реконструкция 18921895 годов (архитектор Н.В. Султанов) в дань существовавшей тогда моде стилизовала здание под старину, что заметно проявилось в пышном декоре, обильно покрывшем стены, шатровой крыше, узорчатой кровле с флюгерами, оконницах, кованых решетках и других элементах. В 18911892 году западный корпус был надстроен третьим этажом (архитектор В.Д. Померанцев). В середине 1890-х по окончании перестройки интерьеры восточного корпуса были расписаны по эскизам художника Ф.Г. Солнцева также под старину. Постройки заднего двора относятся к 1895-му, стилизованная чугунная ограда к 1913 году.
Николай Борисович Юсупов. Худ. И.Б. Лампи, 1790-е годы
Прошло почти сто лет, и вновь в Большой Харитоньевский пожаловали реставраторы. На этот раз они принялись восстанавливать облик здания, созданный их предшественниками в конце XIX века. В результате реставрации, длившейся с начала 1980-х до 2008 года, восстановлены уникальные изразцовые печи начала XVIII века, красочные и яркие росписи Солнцева, воссозданы паркетные и каменные полы и некогда полностью утраченные оконные витражи. Восстановлено и кровельное покрытие с декоративными дымниками
Первым известным по документам владельцем палат был богатый купец Чирьев, обосновавшийся в Москве в 1670-х годах. Затем их хозяевами последовательно являлись сподвижники Петра I или вельможи, к ним приближенные: в начале XVIII века палаты принадлежали дипломату, вице-канцлеру П.П. Шафирову, отправленному впоследствии за казнокрадство в ссылку. В 1723 году конфискованные у Шафирова палаты перешли к графу П.А. Толстому, управляющему Тайной канцелярией, вынесшей приговор сыну царя Петра Алексею.
Толстого в 1727 году сослали на Соловки, а хозяином здесь стал Алексей Волков, обер-секретарь Военной коллегии и ближайший помощник А.Д. Меншикова новоиспеченного генералиссимуса и фактического правителя России с 1725 по 1727 год при малолетнем Петре II. Как тут не вспомнить пушкинские строки о Меншикове из «Полтавы»: «и счастья баловень безродный, полудержавный властелин». Но распоряжался палатами Волков недолго как только звезда Меншикова закатилась, сгустились тучи и над обер-секретарем. И вот уже князь Григорий Юсупов челом бьет Петру II, буквально выпрашивая себе волковские палаты, а Волкова в своем доносе-прошении он называет «согласником» во всех «непорядочных и худых проступках князя Меншикова». Прошение князя было удовлетворено. С 1727 года Юсуповы владели палатами без малого два века до 1917 года (при cоветской власти здесь располагался президиум Академии сельскохозяйственных наук).
Род Юсуповых богатейший и по этому критерию соперников в России не имел. Он принадлежит к числу многочисленных татарских княжеских родов, перекрестившихся в России и ставших новой дворянской аристократией в XVIXVII веке (как Урусовы, Кочубеи, Карамзины, Мещерские и прочие). Согласно летописи, «сыновья [хана] Юсуфа, прибыв в Москву, пожалованы были многими селами и деревнями в Романовской округе (ныне город Тутаев. А.В.), и поселенные там служилые татары и казаки подчинены им. С того времени Россия сделалась отечеством для потомков Юсуфа». Ногайский хан Юсуф жил в XVI веке. Потомки татарского властителя впоследствии присягнули Петру I, один из которых, Абдулла-мурза перекрестился в православие под именем Димитрия.
Правнук Абдуллы-мурзы князь Николай Борисович Юсупов стал одним из самых известных представителей рода. Дипломат и коллекционер, меценат и богач (владелец Архангельского!) он остался в истории как влиятельнейший вельможа при четырех царствованиях от Екатерины II до Николая I.