Но Павел Гаврилович до конца своих дней бывал в Ясеневе. Более того, после тридцати лет вдовства он связал свою судьбу с М.И.Спиридоновой, в прошлом — балериной. Великосветское общество не приняло новой княгини, и она жила с мужем в Ясеневе, которое покинула вместе с дочерью только после смерти князя.

С.И.Гагарин (1777—1862) был женат на Варваре Михайловне Пушкиной (1774—1854) — двоюродной сестре матери поэта. Они имели пятерых детей, из которых трое умерли в младенчестве. В живых остались сын Иван и дочь Маша.

Сергей Иванович несколько перестроил усадебный ансамбль: флигели хотя и сохранили свои архитектурные формы, но были дополнены деревянными мезонинами, центральные их части были декорированы деревянными же четырехколонными портиками на высоту двух этажей; на барском доме появилась вышка бельведера.

С именем С.И. Гагарина связано приобретение Ясеневским храмом своего настоящего вида. Первоначально каменный храм состоял из одного (нынешнего восточного) кубовидного объема центрального придела. Он представлял собой бесстолпную кубическую церковь центрической композиции с 8-гранным барабаном, прорезанным 8-ю же окнами, и увенчанным куполом. Следующей ступенью в истории возведения храма стала двухэтапная его реконструкция, проведенная в период владения Ясеневым князя Сергея Ивановича Гагарина. В 1832 году «к холодной во имя Святых апостолов Петра и Павла церкви» был пристроен теплый придел во имя Святой великомученицы Варвары- небесной покровительницы жены помещика - Варвары Михайловны. По поводу этого придела в прошении священика Г.М.Боголепова от августа 1860 года сказано: «Придельный храм сей, не имея сводов, не прочен и по замеченному уклонению одной стены угрожает опасностью; колокольня входом в оную внутри сильно сужена и в постройке непропорциональна с храмом, то мы желаем переделать придельный храм с колокольней и для открытия хода в холодную церковь и большего удобства вместимости прихожан устроить в теплом приделе два престола, один во имя преподобного Сергия Радонежского Чудотворца, а другой во имя Велик. Варвары на церковную кошелковую сумму». По клировой ведомости за 1858 год Московского уезда Петропавловской, что в селе Ясеневе, церкви, показано: « .а диаконское место открыто в 1799 году; зданий, принадлежащих сей церкви, а равно и приписной и домовой церкви нет; приходских дворов при сей церкви разных владельцев 106, душ мужеска пола 439, женска 497».

Придел был разобран из-за покосившейся стены и непрочных сводов в начале 1860-х гг. в ходе реконструкции здания, выполненной по проекту художника Калугина. Придел собирались восстановить, но после смерти С.И. Гагарина, не дожившего до завершения работ, заменили другим приделом, во имя Параскевы Пятницы - покровительницы торговли. Одновременно колокольня была заменена новой, ныне существующей, и устроен придел Сергия Радонежского.

Пушкин

Часто звучало в доме Гагариных имя А.С. Пушкина, состоявшего в родстве с супругой хозяина. Почти от каждого из жителей и гостей Ясенева к Пушкину тянется нить дружеских отношений, общих дел, интересов, вместе прожитых дней.

Здесь бывал и шталмейстер князь Андрей Павлович Гагарин, женатый на правнучке Меншикова — Екатерине Сергеевне (1794—1835), «своей равнодушной княгине», которая — по выражению В.Л.Пушкина — «час от часу становится прелестнее». Андрей Павлович приносит с собой блеск пушкинской Москвы.

При Сергее Ивановиче в Ясенево также часто съезжались и гостили друзья и знакомые поэта. Сын Гагариных — Иван Сергеевич как-то привез Пушкину из Германии стихи Федора Ивановича Тютчева и в своей переписке с последним постоянно упоминал о встречах с Пушкиным, Вяземским, Жуковским. Через него П.Я.Чаадаев пересылает в октябре 1836 года «Философическое письмо». Иван Сергеевич Гагарин находился во время дуэли Пушкина в Петербурге и прощался с телом поэта. Его двоюродные братья — Евгений и Григорий Григорьевичи Гагарины также были близки с поэтом. Григорий Григорьевич — способный рисовальщик, будущий вице-президент Академии художеств, был известен как один из первых иллюстраторов произведений Пушкина. Еще при жизни поэта он делает рисунки к «Руслану и Людмиле», «Кавказскому пленнику», «Пиковой даме», «Песни о вещем Олеге»,»Пророку», «Сказке о царе Салтане». Известны дружеские отношения с Александром Сергеевичем братьев Василия и Федора Федоровичей Гагариных и их сестры — Веры Федоровны Вяземской.

Толстые

Сергей Иванович Гагарин с 1817 года служил в Москве в Опекунском совете. С ним в дружеских отношениях был также служивший в Совете подполковник князь Николай Ильич Толстой, который часто гостил в Ясеневе. В 1822 году Николай Ильич жил в соседнем имении Узкое у своего родственника П.А.Толстого и бывал у Гагарина. «20 июня (Мария Николаевна Волконская ездила к своему жениху в Ясенево», — писал М.П.Погодин в своем дневнике.

9 июля 1822 года в ясеневской церкви Петра и Павла состоялось венчание княжны Марии Николаевны Волконской и Николая Ильича Толстого, родителей будущего писателя Льва Николаевича Толстого и его сестры Марии Николаевны, будущей монахини Шамординского монастыря (окончившей там дни своей жизни схимонахиней Марией и похороненной на монастырском кладбище). Праздновать свадьбу молодые отправились в соседнюю усадьбу Знамеское-Садки, к матери невесты Екатерине Дмитриевне, сестре владельца усадьбы Ивана Дмитриевича Трубецкого. На свадьбу приехали и родственники жениха из соседнего Узкого. А 7 августа того же года все знаменское общество отдыхало на печальной лужайке между тремя аллеями перед ясеневским прудом под тем же старым ветвистым дубом, под которым сидел когда-то царь Петр I.

Сергей Иванович Гагарин

Среди многочисленных увлечений Сергея Ивановича Гагарина главным оставалось на протяжении всей его жизни сельское хозяйство, которым князь занимался серьезно и вдумчиво. Он участвовал в основании Императорского Московского общества сельского хозяйства, с 1823 года собыл его вице-президентом, а с 1844 года — президентом. В Ясеневе он завел образцовый сад, плодопеременное хoзяйство, тонкорунных овец. Дом был окружен зарослями сирени. Кусты сирени росли и вокруг прудов, ниспадая по склону террасами.

Само по себе Ясенево привлекало С.И.Гагарина прежде всего возможностью широкой постановки задуманных опытов. Здесь закладывались огромные оранжереи, опытные поля. Шестьдесят дворов с пятьюстами крестьянами, которые имело к тому времени Ясенево, вполне удовлетворяли потребности князя в дополнительной сельскохозяйственной рабочей силе.

Работы на ясеневских полях и в садах были прерваны смертью С.И.Гагарина.

Сын Сергея Ивановича, князь Иван Сергеевич Гагарин (1814—1862) в 1843 году оставил Россию. Во время пребывания в Париже в качестве секретаря посольства он принял католичество и вступил в орден иезуитов. В связи с этим Иван Сергеевич Гагарин потерял право на земельные владения в России, и они перешли его сестре Марии Сергеевне (1815—1902), в замужестве Бутурлиной. Муж Марии Сергеевны — Сергей Петрович Бутурлин, генерал от инфантерии, участник Турецкой и Крымской войн, а также экспедиции 1884 года по Северному Кавказу. Деятельность его была связана с обществом Красного Креста. Он умер в 1893 году.