Передача 70-тысячной милицейской армии в ОГПУ сразу привьет милиционерам чувство (присущее работникам ГПУ) исключительности своих прав и к улучшению работы не приведет".
После доклада А. Белобородова совещание единодушно высказалось против ликвидации НКВД. Однако конфликт на этом не разрешился.
В конце 20-х годов органы милиции и уголовного розыска России были подвергнуты основательной чистке. Началось это в январе 1928 года, когда наркомом внутренних дел РСФСР вместо А. Белобородова стал 41-летний Владимир Толмачев (до этого он в течение четырех лет занимал должность заместителя председателя Северо-Кавказского крайисполкома). Сразу после этого назначения наркомат рабоче-крестьянской инспекции провел широкую инспекцию органов милиции и уголовного розыска. Эта инспекция находилась под постоянным контролем Центральной контрольной комиссии ВКП(б). Выводы инспекции были отражены в постановлении "О результатах обследования милиции и органов уголовного розыска", увидевшем свет в июне 1928 года. Из милиции тогда было уволено до 15% личного состава.
В 1929 году под давлением ОГПУ значительные кадровые перестановки произошли в Московском уголовном розыске. Новым начальником МУРа стал чекист Ф. П. Фомин, а его заместителями - работники все того же ОГПУ Л. Д. Вуль и В. П. Овчинников.
15 декабря 1930 года ЦИК и СНК СССР за подписями М.Калинина, А.Рыкова и А.Енукидзе приняли два постановления: "О ликвидации народных комиссариатов внутренних дел союзных и автономных республик" и "О руководстве органами ОГПУ деятельностью милиции и уголовного розыска". Необходимость упразднения НКВД объяснялась так: "На новом этапе в условиях социалистической реконструкции народного хозяйства комиссариаты внутренних дел союзных и автономных республик, объединяющие руководство различными, органически не связанными между собой отраслями управления и народного хозяйства - коммунальным делом, милицией, уголовным розыском, местами заключения, - стали излишними звеньями советского аппарата".
Следом за этим ВЦИК и СНК РСФСР 31 декабря 1930 года постановили упразднить НКВД РСФСР, а руководство милицией и уголовным розыском было возложено на ОГПУ СССР, которое в то время "возглавлял" Вячеслав Менжинский. Слово "возглавлял" взято в кавычки, так как, будучи уже больным человеком, В. Менжинский фактически отошел от руководства ОГПУ, и эту роль за него с успехом выполнял кадровый чекист Генрих Ягода.
В ОГПУ СССР была создана Главная инспекция по милиции и уголовному розыску; в республиканских, краевых, областных органах ГПУ - особые инспекции по милиции и угро. А в декабре 1932 года постановлением ЦИК и СНК СССР было образовано Главное управление рабоче-крестьянской милиции при ОГПУ СССР (ГУРКМ при ОГПУ СССР).
Встав во главе милиции, чекисты тут же принялись наводить порядок в ее рядах. В начале марта 1931 года особым приказом ОГПУ всем чекистам в центре и на местах предписывалось проводить активные мероприятия по чистке личного состава милиции и уголовного розыска. Милиционерам отныне запрещалось входить в близкий контакт с уголовниками и заключать с ними какие-либо негласные соглашения. Подобные мероприятия отныне являлись прерогативой ОГПУ, в частности - отдела Уголовного розыска Главной инспекции ОГПУ.
Прошло еще немного времени, и в июле 1934 года был создан общесоюзный Наркомат внутренних дел (НКВД СССР), в состав которого вошло ОГПУ, преобразованное в Главное управление государственной безопасности. Наркомом внутренних дел СССР стал все тот же Генрих Ягода.
Надо отметить, что к началу 30-х годов преступность в стране пошла несколько на убыль. Перестали доминировать контрреволюционные преступления, бандитизм, значительно сократилось количество убийств и разбоев.