Даже переехав в Петербург (сразу же после восстания декабристов П.А. Толстой возглавил комитет, определявший степень виновности каждого из них, а затем получил ряд других ответственных назначений), он периодически присылал в усадьбу свои распоряжения, а то и редкие растения. "Сейчас получил записку садовника Дементия, которой уведомляет меня, что присланные из Петербурга два Тосканских жасмина тотчас по получении посажены были в горшочки и поставлены в тенвизе, - писал П.А. Толстому 25 сентября 1828 г. молодой дворянин С.И. Любимов, которому владелец Узкого покровительствовал. - Вчера граф Иван Петрович [младший сын ПА Толстого. - М.К.] получил Ваше трогательное для него и приятнейшее письмо, а при оном разные ваши приказания насчет Узкого, из коих некоторые прежде еще были исполнены. Впрочем обо всем донесено будет вашему сиятельству подробно при представлении двухнедельной ведомости". Поскольку хозяйство в Узком было достаточно большим, в усадьбе постоянно проводили небольшие ремонтно-строительные работы. Летом 1833 г. господский дом в Узком был "исправлен" по случаю приезда из орловского имения Брасово (ныне Брянская область) одной из дочерей П.А. Толстого Софьи Петровны Апраксиной и ее детей Надежды (1820-1853) и Виктора (1822-1898).

После того как Узкое вместе с московским домом в Леонтьевском переулке перешло в полную собственность П.А. Толстого по разделу с детьми, состоявшемуся в 1836 г., масштаб строительства в усадьбе увеличился. Так, до 1839 г. в Узком был сооружен нынешний северный флигель, в документах того времени названный "маленький дом" или "флигель к церкви". В нем Петр Александрович устроил новый кабинет с достаточно скромной обстановкой, в которой, однако, можно было удобно работать. На столе стояла чернильница (их не было больше ни в одном помещении) - графу приходилось достаточно много писать. Помимо обыкновенных по тому времени вещей в кабинете находились барометр и ящик с инструментами. На стене висели икона Богородицы и "картина цветком", выдававшая основное увлечение хозяина Узкого -цветоводство. В 1839 г. вышедший тогда в отставку Толстой реконструировал террасу господского дома: внутри него переложили две печи, оштукатурили помещения, настелили полы и вставили новые стекла в переходах. Портик и балконная решетка на восточном фасаде были заново окрашены.

Издаваемый историком М.П. Погодиным журнал "Москвитянин" отмечал, что в тот период П.А. Толстой вел размеренный и спокойный образ жизни: "Лето проводил обыкновенно в подмосковной, в своем Уском, посреди сельских работ и занятий, напоминая самою простотою своей жизни что-то древнее. Досуги свои он посвящал семейству и тем, с которыми любил беседовать". Лицейский товарищ Пушкина М.А. Корф также свидетельствовал, что: "Последние годы своей жизни Толстой проводил опять постоянно в Москве или в подмосковном своем имении Узком, имев позволение не приезжать в Петербург и заниматься страстно цветами - единственной вещью в мире, которую он не считал "плевым делом"".

Граф не оставил и деятельность в Обществе сельского хозяйства. По текущим делам к нему в Узкое неоднократно наведывался экономист С.А. Маслов, бывший секретарем этой организации. "Издание журнала и сношения общества внутри и вне России, возложенные на непременного секретаря, обязывали меня докладывать графу П[етру] Александровичу] о предметах переписки общества, как официальной, с инистерством государственных имуществ, так и частной, а потому я нередко приезжал к нему в его подмосковное село Уское и имел утешение видеть, как он принимал к сердцу все относящееся до чести общества и пользы общественной", - писал позднее С.А. Маслов. Однако возраст А.П. Толстого все больше давал о себе знать. Уже в 1843 г. его здоровье было неважным. "Все прошлое лето граф чувствовал в себе какую-то слабость, неловкость, но каждый день и во всякую погоду ходил в свои богатые оранжереи, занимался садом и опытами с посевом новых растений, присылаемых ему как охотнику от прежних сослуживцев", - вспоминал тот же С.А. Маслов. Гордость не позволила графу отказаться от избрания в президенты общества сельского хозяйства после смерти Д.В. Голицына. Но силы его уже были на исходе.

Граф скоропостижно скончался 28 сентября 1844 г. в своем московском доме. В тот день он, по свидетельству С.А. Маслова, собирался съездить в Узкое для того, чтобы "посмотреть, как поставили в оранжереи и простенки растения и подышать дней пять свежим воздухом". "Не задерживайтесь, граф, в деревне, - сказал я ему, - уже время позднее, осеннее, да и нам без вас скучно". "Нет, брат, я скоро возвращусь, а там начнем и наши заседания". Провожая, он взял меня за руку и с сердечной добротою сказал: "Прощай, брат Степан Алексеевич, до свидания". Можете себе представить, как поразило меня, случайно долетевшее на другой день известие, что гр[аф] П[етр] Александрович] скончался; я не верил слуху, пошел в дом графа, и нашел его на столе, спокойно сомкнувшего глаза навеки". На похоронах крестьяне села Узкого по собственной инициативе несли гроб с телом своего барина от его московской приходской церкви Николы в Хлынове до Донского монастыря, где он нашел последнее пристанище, рядом со своей женой (памятник на их могилах не сохранился).

Наследниками П.А. Толстого стали его сыновья. К ним перешли Узкое и дом в Леонтьевском переулке со всей обстановкой. Младший сын, Иван Петрович Толстой (1811-1852), счел благоразумным тут же отказаться от наследства за себя и за своих потомков в пользу остальных братьев: Алексея, Александра, Егора и Владимира Петровичей Толстых. 13 июня 1845 г. они юридически оформили раздел отцовского имущества. По нему единственным хозяином Узкого стал Владимир Толстой - тогда еще полковник лейб-гвардии Уланского полка, ранее, очевидно по протекции отца, бывший одним из адъютантов московского генерал-губернатора Д.В. Голицына: "Я, граф Владимир Толстой, беру себе имение Московской губернии и уезда село Богородское Узское [так в тексте. - М.К.] тож с деревнею [Нижние] Теплые Станы в коих по восьмой ревизии дворовых восьмнадцать, крестьян восемьдесят итого девяносто восемь мужеска пола душ с женами их, и с рожденными после восьмой ревизии обоего пола детьми, и со всем[и] их семействами, со всеми господскими и крестьянскими строениями, заведениями, разного рода пахотными землями, лесом, сенными покосами и со всеми угодьями, что значатся по плану генерального земель размежевания, а равно и отхожими пустошами, принадлежащими к оному имению ."

По условиям раздела В.П. Толстой должен был заплатить Алексею и Егору Петровичам Толстым в общей сложности 34 285 рублей 72 копейки. (В пользу последнего отказался от своей доли брат Александр.) Чтобы добыть эту достаточно большую по тем временам сумму, новый помещик был вынужден заложить Узкое в Московской сохранной казне и из денег, вырученных за него, заплатить остальным наследникам. Лишь более чем через двадцать лет он смог выкупить имение из заклада.