Щукин не терпел никакого беспорядка. В своей книге воспоминаний Н. Ф. Монахов описывает такой случай. Щукин, прохаживаясь по саду и наблюдая работу садовников, вдруг увидел молодую даму. Она сидела на скамейке и беззаботно что-то рисовала концом зонтика на дорожке. Это была балерина Тамара Карсавина, ожидавшая начала репетиции. На сделанное замечание Карсавина, которую Щукин не знал в лицо, сказала, что не желает с ним разговаривать, и демонстративно сорвала цветок. Рассвирепев, Щукин приказал управляющему вывести «эту женщину» из сада и никогда больше ее сюда не пускать. Когда Щукину сказали, что он выгнал приглашенную для выступления балерину, которой Карсавина и ей все равно придется заплатить по контракту, он воскликнул: «Черт с ней, заплатите! Но чтобы она никогда больше не появлялась в моем саду, раз не умеет себя вести». Карсавиной заплатили, отменив концерты.

Дела Щукина шли в гору, заведение процветало, ничто не предвещало беды. Тем временем подходил срок окончания двенадцатилетней аренды. Владелец участка инженер-механик К. В. Мошнин под давлением родственников потребовал выкупить у него сад. Первое предложение было сделано самому Щукину. Запрошенных 500 тысяч рублей у Якова Васильевича не оказалось. В роли его конкурента выступил владелец ресторана «Яр», предложивший Мошнину на 50 тысяч больше. Чудо спасло «Эрмитаж» от продажи: из-за какого-то недоразумения сделка расстроилась, выигравший время Щукин достал нужную сумму и оставил «Эрмитаж» за собой.

В 1908 году в саду началось строительство нового театра с намерением превзойти по вместимости Большой. Зал на три тысячи мест и сегодня считается весьма солидным, а тогда это было почти фантастикой. Работы велись начались на участке вблизи Успенского переулка. Успели возвести огромную сценическую коробку, которую и сейчас можно видеть в глубине сада (многие ошибочно принимают ее за остатки сгоревшего театра). Но дело в силу разных причин двигалось туго. Стройку законсервировали. Грянувшая мировая война привела к падению посещаемости «Эрмитажа» - людям стало не до увеселений. Надвигался финансовый крах.

В январе 1917 года, видимо, предчувствуя беду, Щукин продал «Эрмитаж» акционерному обществу фон Мекк, а сам уехал в Евпаторию, где и скончался в 1925 году.

В 1918-м сад национализировали и передали в ведение Пролеткульта. На площадке «Эрмитажа» Эйзенштейн поставил свой первый самостоятельный спектакль «Мудрец» по пьесе Островского А. Н. «На всякого мудреца довольно простоты».

С пришествием нэпа сад взяла в аренду группа антрепренеров и открыла там танцзалы «Европейский» и «Мавританский». Тогда же начал действовать Эстрадный театр, где выступали Леонид Утесов и другие известные артисты. Заработали ресторан, шахматный клуб, тир, лекторий. Перед войной в «Эрмитаже» гастролировала труппа театра имени Моссовета, в здании которого случился пожар.

В годы Великой Отечественной войны и сразу после ее окончания сад не закрывался. Постоянными летними гастролерами были театр Сергея Образцова и Ленинградский театр миниатюр под руководством молодого Аркадия Райкина. Спектакли проходили при аншлагах. Хорошо помню светильники на дорожках и аллеях - тяжелые сооружения из гипса и крашеной фанеры с лепниной в виде гроздьев винограда. Света они давали мало, но впечатление производили монументальное. Потом эти светильники куда-то исчезли.

В 1970-х годах сад постепенно начал приходить в запустение. Никто не сажал цветы, дальние дорожки поросли травой. В 1998 году правительство Москвы приняло постановление «О мерах по комплексной реконструкции и развитию сада «Эрмитаж» за счет привлечения внебюджетных средств». Постановлением предусматривается увеличить территорию сада почти в пять раз, а прилегающий Успенский переулок сделать пешеходным. Уже сегодня старый «Эрмитаж» не узнать. Куда подевались неуклюжие обшарпанные скамейки и тусклые светильники! От Каретного ряда его теперь отделяет кованая ограда несколько усложненного рисунка «а-ля модерн». Появились чугунные беседки, кафе, ресторан «Парижская жизнь», бистро. Гостеприимно открыты двери сразу трех театров: «Эрмитажа», «Сферы» и «Новой оперы». Последняя разместилась в бывшем «Зеркальном театре», капитально реконструированном. В 1999 году вице-мэр Парижа и вице-мэр Москвы открыли в саду памятник Виктору Гюго (дар Парижа Москве). Через год на открытие здесь памятника Данте Алигьери (дар Италии) приезжал итальянский президент. Ждет своей очереди строительство зала бывшей Щукинской сцены, законсервированной еще в 1917 году. Планируется возведение делового центра, отеля, художественной галереи .