Арестовали и его жену Антонину Николаевну, работавшую в отделе военно-морской разведки МГБ, и с двухмесячным сыном посадили в Сретенскую тюрьму МГБ.

Абакумова обвинили в работе на иностранные разведки. В том, что он плохо расследовал «ленинградское дело», потому что дружил с секретарем ЦК Кузнецовым. И даже в том, что он сколотил в министерстве преступную группу из еврейских националистов. По указанию Сталина Абакумова избивали. Поручили это офицерам, которым обещали путевки в дом отдыха, денежное пособие и внеочередное присвоение воинских званий. Его заковали в кандалы. Держали в карцере-холодильнике, давали кусок хлеба и две кружки воды в день. И быстро превратили в полного инвалида. Бывший министр еле стоял на ногах, не мог ходить. Но держался упорно, не признавал себя виновным, потому пережил и Сталина, и Берию, и Рюмина, и других чекистов. Тех арестовали позже, а расстреляли раньше.

Обвиняемый должен молчать

Сталин успел одобрить первое обвинительное заключение по делу Абакумова: он обвинялся в создании сионистской организации в МГБ, которая развалила всю работу. После смерти Сталина обвинительное заключение переделали. По указанию Берии Абакумова обвинили уже в том, что он сфабриковал «мингрельское дело» (когда посадили руководителей Грузии) и «авиационное дело».

После ареста Берии материалы следствия опять переписали. Теперь Абакумову вменяли в вину то, что он дружил с Берией, уничтожал партийные кадры и организовал «ленинградское дело». Если расстрелянный к тому времени Рюмин обвинял Абакумова в том, что тот покрывал Кузнецова, Вознесенского и других врагов народа, то сейчас Абакумову предстояло ответить за расстрел этих выдающихся государственных деятелей .

— Суд над Абакумовым, — говорил Хрущев 7 мая 1954 года, — следовало бы организовать здесь, в Ленинграде. Когда умер товарищ Сталин и мы получили возможность после ареста Берии разобраться в делах МГБ, то выяснилось, что Абакумова на костре сжечь надо. Это матерый преступник, заговорщик.

Суд над Абакумовым и его бывшими подчиненными открылся 14 декабря 1954 года в Доме офицеров в Ленинграде. Виновным он себя не признал, настаивая на том, что все решения принимались ЦК, он же был всего лишь исполнителем:

— Сталин давал указания, я их исполнял.

Едва Абакумов это произнес, его лишили слова и ничего не позволили сказать о тех указаниях Сталина.

— Враг народа Абакумов, — говорил на процессе Роман Руденко, — стремился, представив себя разоблачителем несуществующего заговора, пробраться при помощи изменника Родины Берии к руководству в стране.

Нелепо, конечно, было обвинять Абакумова в том, что он — соучастник преступной заговорщической группы Берии. Лаврентий Павлович его презирал. Абакумов Берию ненавидел и боялся. Он верно и преданно служил Сталину и государству, ради этого совершал преступления и обрекал на смерть невинных. Этого не хотели говорить полвека назад, а многие не желают признавать и сегодня. Во время его процесса говорить о массовых репрессиях вообще еще никто не решался. Его признали виновным в измене родине, вредительстве, совершении терактов, участии в контрреволюционной организации. Вынесли приговор 19 декабря 1954 года и через час, даже не дав возможности обратиться с просьбой о помиловании, расстреляли. По словам начальника внутренней тюрьмы, последними словами Абакумова были:

— Я все, все напишу в политбюро .

Договорить он не успел.

В 1994 году Военная коллегия Верховного суда изменила приговор в отношении Абакумова и его подельников и переквалифицировала действия осужденных на статью 193-17б Уголовного кодекса РСФСР (в редакции 1926 года) — воинско-должностные преступления. Теперь Абакумова нельзя считать государственным преступником. В декабре 1997 года Верховный суд пересмотрел дела Абакумова и его подельников (руководителей следственной части по особо важным делам МГБ) и заменил расстрел тюремным заключением сроком на 25 лет без конфискации имущества. Это было сделано ради наследников.