В дальнейшем структура отделов и отделений неоднократно менялась, однако все изменения не посягали на главное: компетенцию контролировать политическую и экономическую обстановку, настроения всех слоёв населения и принимать оперативные меры против малейших попыток изменить советскую систему управления.

Постоянно практиковалась проверка чрезвычайных комиссий, осуществлявшаяся партийными комитетами и исполкомами Советов. Так, в октябре 1918 года, комиссия Великолукской организации РКП (б) при участии представителя Псковской губчека ревизовала отчётность уездной ЧК. В ноябре 1918 года на общем собрании Лодейнопольской организации РКП (б) была избрана ревизионная комиссия для проверки уездной ЧК. Исполкомы Петроградского и районных советов постоянно в течении 1918 года запрашивали губернскую и районную ЧК о причинах арестов различных лиц, предъявленных им обвинениях, избранной мере наказания и т.д. На все запросы они получали обстоятельные ответы.

Контроль был более чем необходим, поскольку часть сотрудников служб ВЧК не понимали роли и места чекистского аппарата в системе государственного управления, склонны были считать своё положение и работу «особыми». В тоже время никакой контроль, очевидно, не мог гарантировать в полной мере объективности при расследовании дел о государственных преступлениях. Не было никаких гарантий законности выполнения спецслужбами своих обязанностей, в то время как не было свода законодательства, а вместо него были бесчисленные декреты и постановления правительства, местное нормотворчество.

Упразднение ВЧК и переход к ГПУ

Подготовка к реорганизации органов ВЧК началась в конце 1921 года. 1 декабря В.И. Ленин набросал проект постановления политбюро ЦК РКП (б) о ВЧК, в котором предусматривались «серьёзные умягчения»: сужению её компетенции и права ареста, ограничение сроков расследования дел одним месяцем с рассмотрением их судами, а также изменение названия комиссии. В тот же день проект рассмотрело политбюро и поручило его исполнение комиссии в составе Л.Б. Каменева, Д.И. Курского и Ф.Э. Дзержинского. В январе вопрос вновь рассмотрело политбюро ЦК РКП(б) и 6 февраля 1922 года ВЦИК издал постановление «Об упразднении Всероссийской чрезвычайной комиссии и о правиле производства обысков, выемок и арестов». ВЧК и её подразделения на местах упразднялись. Их задачи передавались Государственному Политическому Управлению (ГПУ) при наркомате внутренних дел РСФСР. ГПУ поручалась борьба со шпионажем, бандитизмом, подавление вооружённых выступлений, охрана транспортных коммуникаций и границ республики, расследование всех противогосударственных выступлений. Документ оговаривал условия производства обысков и арестов, передачи расследованных дел в определённые сроки для решения в исключительно судебном порядке ревтрибуналами и народными судами и контроля за деятельностью ГПУ со стороны Наркомата юстиции.

Переход к новой политике в хозяйственной и социально-политической сферах потребовал соответствующей реорганизации спецслужбы. Подчинение органов госбезопасности Наркомату внутренних дел, а губернских отделов ГПУ губисполкомам Советов органически включило секретную службу в государственную систему управления страной.

Произведённая реорганизация не явилась формальной сменой вывески, хотя суть специальной службы сохранилась. Если ВЧК действовала как чрезвычайный орган, обладая практически неограниченными полномочиями, то Государственное политическое управление при НКВД РСФСР, являясь составной частью советского государственного аппарата управления, руководствовалось положениями о данном аппарате, закреплёнными в Конституции Российской Федерации. Органы госбезопасности стали юридически конституционными и тем самым был завершён переход от «чрезвычайщины» к государственности.

Создание СССР, формирование ОГПУ и его дальнейшие развитие.

В связи с образованием Союза Советских Социалистических Республик постановлением ЦИК СССР от 15 ноября 1923 года создаётся Объединённое Государственное Политическое Управление (ОГПУ) при Совнаркоме СССР как орган, объединявший и координирующий усилие республиканских ГПУ по борьбе с контрреволюцией, шпионажем и бандитизмом. Права и обязанности ОГПУ получили законодательное закрепление в Конституции Союза ССР 1924 года.

В 1922 году, сессия ВЦИК учредила Государственную прокуратуру и приняла «Положение о прокурорском надзоре», которое в числе прочих обязанностей вменяло прокуратуре наблюдение за деятельностью ГПУ. В результате реорганизации судебного аппарата была создана централизованная судебная система: народный суд, губернский суд и Верховный суд республики. Дела о контрреволюционных преступлениях вошли в компетенцию губернских и Верховного судов. При губернских отделах юстиции создавались коллегии защитников. Так, было отменено право органов госбезопасности на внесудебное рассмотрение дел, но 16 октября 1922 года постановлением ВЦИК Госполитуправлению предоставлялось право внесудебной расправы, вплоть до расстрела, в отношении лиц, взятых с поличным при бандитских и вооружённых налётах. Этим же постановлением Особой комиссии НКВД разрешалось высылать и заключать в лагеря принудительных работ деятелей оппозиционных партий и уголовников-рецидивистов. В марте 1924 года было создано Особое совещание при коллегии ОГПУ для внесудебного рассмотрения дел в отношении лиц, уличённых в контрреволюционной деятельности; постановления ОСО принимались с обязательным участием прокурора, наделённого правом их опротестовывать или приостанавливать выполнение.

Подвергся реорганизации низовой чекистский аппарат. Уездные политбюро ликвидировали и вместо них ввели институт уездных уполномоченных губотделов ГПУ. Они назначались по согласованию с губкомами партии и только два учреждения могли решать вопрос об их отзыве или замене. Подчинялись уполномоченные секретно-оперативному отделу, имели небольшой штат сотрудников. Обращает на себя внимание специальный параграф инструкции, озаглавленный «Взаимоотношения с парткомами и исполкомами». Не реже двух раз в месяц уполномоченный ГПУ был обязан информировать секретаря обкома РКП(б) и председателя исполкома уездного Совета о положении в уезде и получать от них сведения, необходимые для оперативной работы.

С середины 1920-х годов создались реальные предпосылки для сосредоточения усилий органов госбезопасности на борьбе с иностранными спецслужбами. Однако сохранить наметившийся курс, отвечавший исторической реальности, не удалось. Введение чрезвычайных мер по хлебозаготовкам 1928 года означало возврат партийно-государственной верхушки к незабвенной для неё практики «военного коммунизма» и «чрезвычайщины». Органы госбезопасности были втянуты сначала в силовое решение острых экономических проблем, именно на органы ГПУ была возложена основная роль в осуществлении коллективизации сельского хозяйства: его представители входили в «тройки» по ликвидации кулачества, его воинские части обеспечивали депортацию раскулаченных, затем в обеспечение ГУЛАГом «великих строек коммунизма». На них стало опираться сталинское большинство ЦК в ожесточённой борьбе за власть в партии. Тоталитарный режим стремительно выдвинул административные органы на ведущее место в системе управления страной. В 1934 году функции государственной и общественной безопасности сосредотачиваются в мощнейшем объединении – Наркомате внутренних дел СССР. Это был закономерный результат.