Территория усадьбы сложилась в результате приобретения графом М. Ф. Апраксиным нескольких небольших владений. На одном из них, принадлежавшем в 1760 году поручику Крюкову, по восточной границе стоял длинный каменный корпус. В 1766—1769 году были выстроены существующий трехэтажный каменный дом и два одноэтажных флигеля вдоль боковых границ усадьбы, причем восточный, видимо, включил старый корпус владения Крюкова.

Строительство завершилось в 1774-1775 годах, уже после продажи усадьбы Д.Ю. Трубецкому. Западный флигель, прежде короткий, был удлинен; оба флигеля были надстроены вторым этажом и соединены с домом переходами, которые были расширены в период до 1803 года. В торце восточного флигеля разместилась парадная лестница. В 1783 году двор был замкнут в глубине двухэтажным корпусом с проездом в центре (в наше время этот корпус надстроен третьим этажом); первоначально на его месте предполагался другой, изогнутый в плане. С середины XIX века в усадьбе помещалась Четвертая мужская гимназия.

Главный дом представляет собой замечательный и в то же время совершенно необычный памятник архитектуры позднего барокко. Динамичная ордерная композиция, рисунок деталей, уникальное для Москвы богатство декорации напоминают самые знаменитые дворцовые здания того времени, что в прошлом даже позволяло связывать этот дом с именем Растрелли. Однако русское барокко не знает таких объемно-пространственных решений в архитектуре жилых зданий. Петербургские дворцы 1750—1760-х годов строятся на прямоугольных планах; лишь иногда смягченным контурам центрального или торцовых залов отвечают в объеме здания скругленные ризалиты. Здесь же криволинейные помещения разной формы и размера составляют самую основу планировки, а так как прямоугольные помещения между ними несколько заглублены, изгибы их стен непосредственно выражены в объеме здания. Эти выступы подчеркнуты колоннами с характерным для эпохи сложным ритмом и глубокой креповкой цокольной части, антаблемента и фронтонов. На угловых выступах колонны и фронтоны ориентированы диагонально, что усиливает пластическое богатство здания. Крупные наличники и пышная лепнина почти целиком заполняют стены, особенно со стороны двора.

Композиционные аналоги с крупными усадебными постройками середины XVIII века дополняются и необычной для жилого дома деталью – лепными раковинами в конхах ниш первого этажа. Пониженные флигели придают развернутому по улице ансамблю необходимую парадность. Продольные фасады флигелей, более сдержанные, обработаны уже в формах раннего классицизма.

Замыкающий корпус сохранил лишь сводчатый центральный проезд и крупный горизонтальный руст; боковые здания на узком заднем дворе полностью перестроены.

Облик внутреннего пространства дома определяется не только многообразием помещений, но и их сложными, прихотливыми сочетаниями: анфиладная связь играет второстепенную роль. Эти черты также сближают здание с увеселительными павильонами, одновременно напоминая некоторые приемы рококо. Однако необходимо помнить, что сохранилась лишь основная планировка, так как в начале XIX века дом пострадал во время пожара и интерьеры были переделаны. К этому времени относится оформление овального зала, а возможно, и его планировка: его внутренняя стена с проемами и симметричными окнам опирается в первом этаже не на такую же криволинейную стену, а лишь на ступенчатые угловые тромпы (ныне они застроены).

Нарядные декоративные колонки, возможно, разного времени, сохранились и в некоторых других помещениях. Высокие двери ампирного рисунка сочетаются с более поздними. Прямые и вогнутые угловые печи облицованы изразцами второй половины XIX века; тогда же ранние деревянные лестницы были заменены существующими чугунными. В юго-западном круглом помещении до недавнего времени сохранялась винтовая лестница. В эпоху классицизма необычный вид здания закрепил за ним и за его владельцами Трубецкими ироническое прозвище «комод».