В мае 1812 г. А.Н. Волконская предоставила территорию Воронцова для строительства большого воздушного шара. Предполагалось, что он станет "последним словом" военного дела - с шара можно будет бомбардировать неприятельскую армию взрывчатыми снарядами. Работами руководил механик Франц Леппих (Липпих), носивший псевдоним "доктор Шмидт". Ему помогал врач Шефлер. Первоначально Леппих предложил свои услуги Наполеону, но тот их отверг. Тогда Леппих связался с российским послом в Штутгарте, который сообщил об идее постройки шара своему правительству. Заманчивое предложение, сулившее немало расходов, но еще больше выгод, было принято. Специальный фельдъегерь привез Леппиха в Москву вместе с письмом императора Московскому гражданскому губернатору и губернскому предводителю дворянства Н.В. Обрезкову. В письме содержалось поручение тайно поместить Леппиха недалеко от города и снабдить его всем необходимым для начала работ. Н.В. Обрезков решил, что Воронцово вполне отвечает всем условиям, необходимым для сохранения тайны, и по согласованию с А.Н. Волконской вскоре приказал отвезти Леппиха в ее имение. Новый московский военный губернатор граф Ф.В. Ростопчин, заменивший престарелого генерал фельдмаршала графа И.В. Гудовича, не посвященного в тайну Леппиха, 11 июня 1812 г. поставил в известность императора о придуманном способе сохранить конфиденциальность работ: "Так как совершенно немыслимо держать в тайне в продолжении четырех месяцев существование заведения, в котором 60 рабочих будут заниматься своим делом в 7 верстах от города, то мы условились с г. Обрезковым, что он заключит под чужим именем с г. Леппихом условие, в силу которого последний обязуется изготовить для него множество моделей различных земледельческих орудий, которые должны быть готовы к новому году. Это удовлетворит любопытство в том случае, если бы оно было возбуждено каким-нибудь непредвиденным обстоятельством".

Начало войны с Францией заставило форсировать строительство шара. Поэтому Ф.В. Ростопчин сообщает императору о работах Леппиха в каждом письме. Вот выдержки из них: "Большая машина будет окончена 15 августа. Через десять дней он произведет опыт в небольших размерах с крыльями"; "Леппих истратил уже 72 тысячи руб."; "Леппих собирает теперь в одно целое части машины; тафта уже сшита"; "он много тратит денег; ему выдано уже 130 тысяч руб., но если б удалось его предприятие, то можно бы не пожалеть и миллиона".

22 августа Ф.В. Ростопчин, чтобы воодушевить москвичей, опубликовал в газете "Московские ведомости" сообщение о целях работ Леппиха и о предполагаемом пуске через несколько дней пробного маленького шара. После этого зеваки стали стекаться в Воронцово, чтобы посмотреть на новое чудо-оружие. Этот эпизод впоследствии нашел отражение в литературе: один из главных героев романа Л.Н. Толстого "Война и мир" Пьер Безухов, чтобы развлечься, поехал смотреть на воздушный шар. "Народ тогда толпами ходил из Москвы, на расстояние семи верст, к тому месту, где готовился шар. Это было на уединенной даче, окруженной забором, куда внутрь никого не пускали, но народ, возвращаясь домой, рассказывал, что видел своими глазами, как готовился шар на верную гибель врага, и тем довольствовался", - писал всесильный временщик граф А.А. Аракчеев. По легенде, мастерскую Леппиха в Воронцове будто бы тайно посетил сам Александр I во время пребывания в Москве.

Пуск пробного шара так и не состоялся, а после Бородинского сражения тональность реляций Ф.В. Ростопчина императору о строительстве шара резко изменилась. "С прискорбием извещаю ваше величество о неудаче Леппиха . Кажется, надо отказаться от надежды на успех . Леппих - сумасшедший шарлатан".

Перед сдачей Москвы французской армии Леппих и его помощник Шефлер были отправлены в Петербург, а недостроенный шар, погруженный на 130 подвод, эвакуирован в Нижний Новгород.

После московского пожара по распоряжению Наполеона была учреждена комиссия для расследования и суда над пойманными поджигателями. На ее заседании 24 сентября 1812 г. сооружение воздушного шара в Воронцове было увязано с поджогом города. Комиссия констатировала, что русское правительство использовало для защиты недозволенные методы - пожары и разрушения, а "план постройки большого шара был придуман лишь для того, чтобы произвести впечатление, и в Воронцовском дворце не занимались ничем, кроме приготовления горючих и зажигательных снарядов; известно, что расходы на постройку шара и машин покрыты русским правительством". По результатам проведенного расследования десять человек были осуждены на смертную казнь.

Воронцово было разграблено и сожжено. Помимо имущества, принадлежавшего А.Н. Волконской, погибли свезенные в усадьбу из Москвы вещи князя Н.Г. Репнина, его жены Варвары Алексеевны (1778-1869) и тестя - графа Алексея Кирилловича Разумовского (1748-1822). Огонь уничтожил почти весь огромный фамильный архив, содержавший уникальные документы, в том числе автографы выдающихся французских философов и писателей - Вольтера и Дидро. Считается, что небольшую часть архива удалось спасти младшему сыну владелицы имения князю Сергею Григорьевичу Волконскому (1788-1865), будущему декабристу. По семейному преданию, он успел вывезти некоторые бумаги в имение брата Николая Яготино, находившееся в Полтавской губернии. Французы разорили церковь, которая не действовала до 1816 г., и сожгли дотла деревню Петровскую и сельцо Шатилово. После войны эти населенные пункты так и не были восстановлены, а оставшихся без крова крестьян А.Н. Волконская поселила напротив усадьбы, в образованной по другую сторону старой Калужской дороги деревне Воронцово.

При восстановлении усадьбы территория имения подверглась серьезной перепланировке. От первоначальной лучевой композиции сохранились лишь две аллеи из трех, ведущих к парадному двору со стороны старой Калужской дороги; в западной (запрудной) части осталась только одна центральная аллея. Лесной массив к югу от парадного двора был превращен в пейзажный парк с сеткой просек и аллей. Изменились очертания большого пруда, расположенного за главными постройками усадьбы: ему придали более естественную форму, посреди пруда насыпали островок. К северу от большого пруда протянулся каскад небольших водоемов. Господский дом в Воронцове так и не был восстановлен, но служебные здания остались, и именно в них стали жить хозяева и гости имения.

Лето 1825 г. в Воронцове провела княгиня Зинаида Александровна Волконская, урожденная княжна Белосельская-Белозерская (1790-1862), в московском литературном салоне которой бывали все тогдашние знаменитости. Она была замужем за средним сыном владелицы Воронцова - князем Никитой Григорьевичем Волконским (1791-1841).

"Были мы у княгини Зинаиды, которая, надобно признаться, очень мила. Собирается ехать завтра в Воронцово и жить там лето, если полюбится. Место плоское, было только хорошо отличным содержанием садов и домов; теперь, верно, все это запущено. Однако же, ежели решиться там жить, съезжу поглядеть; я чаю, нет и следов нашего Китайского домика, в коем жили мы с покойным батюшкою", - писал своему младшему брату Константину знакомый Репниных и Волконских Александр Яковлевич Булгаков.