Княгиня С.В.Мещерская, вспоминая свое детство в расположенной к юго-западу от Ясенева усадьбе Валуево у бабушки графини Е.А.Мусиной-Пушкиной, отметила в своих мемуарах, что "село Остафьево князя Вяземского было в 12 верстах, село Ясенево Гагариных - в 10 верстах от Валуева". Это замечание позволяет предположить взаимные приезды друг к другу в усадьбы семей Мусиных-Пушкиных и Гагариных, состоявших в достаточно близком родстве через князей Волконских. Не случайно картинная галерея, находившаяся в Ясеневе, в значительной степени состояла из портретов Волконских. Судить о ней можно в основном только по сходному по составу портретному собранию, принадлежавшем Мусиным-Пушкиным (ныне в Рыбинском историко-архитектурном и художественном музее заповеднике). По версии искусствоведа Е.В.Грамагиной оно имеет "валуевское" происхождение. В любом случае это ещё одно свидетельство о связях владельцев Ясенева и Валуева.

Некоторые ясеневские портреты были выполнены западноевропейскими мастерами: Бушарди, В.Ф.Винеманом, Жюлиеном и Митраубером. Портрет кого-то из Гагариных приписывался кисти Сальватора (Николая Ивановича) Тончи, знаменитого итальянского художника, приехавшего в Россию в свите бывшего польского короля Станислава Понятовского. Наличие его работы именно в Ясеневе вполне объяснимо. С.Тончи был женат на сестре владельца усадьбы княжне Наталье Ивановне Гагариной. Спесивые Гагарины вовсе не желали иметь такого родственника, поэтому княжне пришлось убежать со своим возлюбленным.

Подробности их романа с юмором описаны англичанкой К.Вильмот в письме сестре: "Просвещению здесь уделяется такое ничтожное внимание, что несколько тривиальных софизмов воспринимаются как черная магия. 60-летний синьор Тончи вскружил голову 29-летней княжне Гагариной, рекомендуясь как атеист и приверженец системы теней Беркли [т.е. философии английского философа Дж.Беркли - М.К.]. Он единодушно был признан вдохновенным гением: перед синьором Тончи распахивались двери всех дворцов. Я однажды видела его, он произвел на меня впечатление жулика и шарлатана. Через некоторое время он пошел к московскому архиепископу за разрешением жениться. На вопрос, какую религию он исповедует, синьор Тончи засмеялся и ответил: "Любую или никакую"! Это вызвало всеобщий ропот. Тем не менее, на следующий день он сказался православной веры и согласно этому женился. Об этом мне с омерзением сообщили четыре толстых князя. Происшедшее событие обсуждалось в течение девяти дней…".

К.Вильмот ошиблась, указывая возраст супругов Тончи: ему было всего сорок восемь, а ей двадцать восемь лет. Впрочем, очевидно, что княжна, по меркам той эпохи засиделась в девицах, и выйти замуж ей было более чем проблематично. Её же избранник увидел в предстоящей свадьбе очередную возможность поиздеваться над своими потенциальными заказчиками - родовитыми русскими аристократами.

Одно из самых примечательных событий, произошедших в Ясеневе при С.И.Гагарине, состоялось 9 июля 1822 г. Тогда в ясеневской церкви в присутствии семьи владельца, а также соседних помещиков графов Толстых и князей Трубецких, приехавших из усадеб Узкое и Знаменское-Садки, венчались их родственники: граф Николай Ильич Толстой (1795-1837) и княжна Мария Николаевна Волконская (1790-1830). В Центральном историческом архиве г. Москвы сохранилась метрическая книга с записью об этом событии: "Женился Московского военносиротского отделения смотритель подполковник граф Николай Ильич Толстов [так в тексте - М.К.] 1-м браком, понял за себя дочь генерал[а] от инфантерии князя [Н.С.]Волхонскаго [т.е. Волконского - М.К.] Марию Николаеву, о ко[е]й надлежащий обыск за поручителей чинен был. Венчание вершили: иерей Иоанн Александров, диакон Георгий Тимофеев, дьячок Никифор Алексеев". Новобрачные отправились проводить медовый месяц в Тульскую губернию, где находилось имение Ясная Поляна, впоследствии получившее мировую известность благодаря одному из их сыновей - писателю Л.Н.Толстому. В его романе-эпопее "Война и мир" использованы факты из биографий родителей и других родственников, ставших прототипами литературных героев.

Как "образцовый хозяин", смело вносивший в практику земледелия новые агротехнические приёмы С.И.Гагарин ввел в Ясеневе плодопеременную систему разбивки садов, что позволило повысить их урожайность, и устроил образцовую ферму для разведения тонкорунных овец (в 1844 г. после смерти владельца Узкого графа П.А.Толстого он был избран президентом Императорского Московского общества сельского хозяйства). "Ко мне лично князь Сергей Иванович и супруга его, княгиня Варвара Михайловна, рожденная Пушкина [(1776-1854) - М.К.], были всегда очень добры и благосклонны; я бывал неоднократно в подмосковном имении князя селе Ясеневе, в восемнадцати верстах от Москвы, - вспоминал историк граф М.В.Толстой. - Это село замечательно по прекрасному саду и оранжереям с лучшими сортами плодовых деревьев, а еще более по древесным насаждениям, разведенным самим князем на многих десятинах. Князь, как искусный и опытный садовод, умел приохотить и ясеневских крестьян к садоводству. В первый приезд мой в Ясенево я был изумлен, видя на крестьянских полях не рожь и овес, а клубнику лучших сортов, малину, смородину и прочее, а на обширных пространствах вместо тощих нагорных лугов - яблони, груши, вишни и множество других деревьев и кустарников. Все это поступает в продажу в Москве".

С.И.Гагарин, дослужившийся до чина действительного тайного советника, скончался 4 декабря 1862 г. в своей усадьбе не оставив завещания. Как ближайшая родственница Ясенево унаследовала его дочь Мария Сергеевна Бутурлина (1815-1902), уже имевшая доверенность на управление всем имением. На наследство мог бы претендовать ее старший брат иезуитский священник князь Иван Сергеевич Гагарин (1814-1882) - основатель славянской библиотеки в Париже. Но ему за переход в католичество и самовольное пребывание за границей был запрещен въезд в Россию. Поэтому заявить свои претензии на Ясенево И.С.Гагарин не мог, т.к. после пересечения границы был бы тут же арестован. По свидетельству М.В.Толстого владелец Ясенева "…просил у государя императора Александра II как последней милости свидания с сыном. Государь, желая утешить заслуженного старца, разрешил изгнаннику прибыть на месяц в Ясенево, но с тем, чтобы он не въезжал в Москву и во всё время пребывания в деревне у отца находился под строгим надзором полиции". Однако либо И.С.Гагарина эти условия не устроили, либо он не успел приехать в Ясенево при жизни отца, который, до последней минуты надеялся на эту встречу.

При М.С.Бутурлиной садовое хозяйство в Ясеневе по-прежнему поддерживалось. "Великолепная яс[е]невская усадьба на высокой горе видна за много верст издали; она и поныне славится своими обширными садами и роскошью своих цветников", - вспоминал соседний помещик барон Д.О.Шеппинг, ставший одним из первых историографов этой усадьбы.

Еще до получения Ясенева в собственность М.С.Бутурлина еще ранее начала приводить в порядок усадебную картинную галерею. Поэтому на оборотных сторонах портретов появились трогательные надписи вроде следующей: "Мария Афанасьевна Сеньдюкова взята в дом бабушкой моей Натальей Абрамовной Пушкиной, [у]рожд[енной] кн[яжной] Волконской. Родилась, должно быть, в 1795 г. Жила с тех лет сперва у бабушки Наталии Абрамовны Пушкиной, потом у дочери ея и матери моей княгини Варвары Михайловны Гагариной, рожденной Пушкиной, теперь у меня, и видит пятое поколение нашего семейства: Наталью Абрамовну, бабушку, княгиню Гагарину, мать мою, меня и братьев и сестер моих, детей моих и, наконец, внучат моих, всех и старших и малых любила горячо и за всеми четырьмя первыми поколениями неотступно ходила, как за здоровыми, так и за больными. Писала Марья Бутурлина рож[денная] Гагарина 29-го Сентября 1872-го года в селе Ясеневе". Ниже кто-то из детей М.С.Бутурлиной впоследствии добавил несколько слов о дальнейшей судьбе М.А.Сеньдюковой: "Она скончалась в Москве 22 декабря 1879 г. в доме Бутурлиных на Знаменке" (ныне д. 12/2).