В конце 1750-х годов канцлер попадает в очередную лихую переделку. Сделав ставку на будущую Екатерину II, он завязывает с ней неосторожную переписку. Елизавета приговаривает канцлера к смертной казни с лишением всех чинов, званий и имущества. Впрочем, и на этот раз казнь заменяется ссылкой: в сельцо Горетово — не так уж и далеко от Москвы.

Отчаяние канцлеру неведомо. Оказавшись в Горетове, он изыскивает деньги и пересылает их в Москву для окончания Климента: пусть императрица вспомнит о его верности, ведь строительные работы в центре Замоскворечья не могли остаться незамеченнымиѕ

Но тут на престол восходит Екатерина II, немедленно возвратившая Бестужева-Рюмина ко двору. Бестужев сразу же перестает давать деньги на завершение Климента, участие в возведении которого становится для бывшего канцлера попросту опасным. Строительство в очередной раз прерывается.

Храм был освящен уже после смерти Бестужева-Рюмина. Никаких богатств Климент не нажил, к тому же в 1812 году выгорел дотла, потеряв и то немногое, что удалось собрать прихожанам. Бедность Климентовского прихода настолько вопиюща, что Московское Епархиальное управление включает храм в число 14 наиболее нуждающихся во вспомоществовании церквей и выделяет ему единовременную помощь, чтобы начать богослужения. Значительную сумму собрали для Климента и дворяне Костромской губернии. Все это позволило в 1813 году освятить единственный и наиболее чтимый — Климентовский — придел. С остальными дело затянулось.

На рубеже XIX–XX столетий Климент оказывается в центре внимания историков, к чему немало стараний приложил его тогдашний настоятель, очень любимый в Замоскворечье отец Алексей Парусников. Он налаживает живую связь с епархией и Обществом церковных древностей, выпускает брошюру об истории храма. Между тем клир продолжал оставаться очень маленьким: настоятель, дьякон и два псаломщика. Староста предреволюционных лет — всего лишь содержатель располагавшегося в церковном доме драпировочного заведения А.В.Максимов. Тем не менее отец Алексей добивается открытия при храме Церковного попечительства, поддерживает богадельню прихода. Ничтожность наличных средств не была помехой.

Сегодня это представляется почти невероятным: заброшенная церковь среди стремительно растущих вокруг архитектурных монстров. Заброшенная, несмотря на ее значение для истории русского искусства. И даже на то, что в драме А.Н.Островского «Минин Сухорук» одна из главных сцен разыгрывается у Климента, или иначе — у Климентовского острожца в Ордынцах.