К трудностям первых лет функционирования Спецотдела, связанным с относительно невысокой профессиональной подготовкой его сотрудников и малочисленностью личного состава, прибавились сложности, вызванные недостатком и низким качеством материалов для дешифрования. Несовершенство радиоприемной аппаратуры, ее нехватка и сильная изношенность не могли обеспечить высокой достоверности текста перехватываемых шифровок. Перед руководством Спецотдела встала задача организации и налаживания работы всех звеньев дешифровальной службы, включая добычу шифрматериалов и техническое оснащение станций перехвата.
Несмотря на испытываемые трудности, первый успех в Спецотделе был достигнут уже через месяц после его создания - при "разработке" немецкого дипломатического кода, которым пользовался полномочный представитель германского правительства в Москве. Начиная с июня 1921 года вся шифрпереписка на линии связи Москва - Берлин дешифровывалась в Спецотделе. В августе того же года было осуществлено дешифрование турецких дипломатических шифртелеграмм. Практические результаты по вскрытию польских шифров были достигнуты в 1924 году, через три года началось чтение японской шифрпереписки, а еще через три - американской.
В конце 20-х годов сотрудники Спецотдела приняли активное участие в организации дешифровальной работы в Красной Армии. Итогом этих усилий стало создание в начале 30-х годов объединенного подразделения радиоразведки КГБ и ГРУ в рамках Спецотдела.
С 1921 года начальником Спецотдела, а с начала 30-х годов - объединенного подразделения радиоразведки КГБ и ГРУ, вплоть до 1937 года являлся Глеб Иванович Бокий. Бокий родился в 1879 году в семье украинского учителя. Член партии с 1900 года, участник революций 1905-го и 1917 годов, он двенадцать раз отбывал срок в царских тюрьмах и дважды ссылался в Сибирь. В 1896 году Бокий поступил в Горный институт в Санкт-Петербурге. Из-за многочисленных арестов и ссылок диплом об окончании института Бокий так и не получил, закончив лишь четыре курса этого учебного заведения. Однако высокий уровень преподавания предметов в Горном институте, особенно математики и физики, несомненно, позволил ему получить глубокие знания. Кроме того, являясь в течение двух десятков лет одним из руководителей революционного подполья Петербурга, Бокий приобрел огромный опыт организаторской работы, сплотил вокруг себя группу надежных и грамотных людей.
На работу в КГБ Бокий пришел по личному приглашению его первого председателя Дзержинского. В конце августа 1919 года по распоряжению Дзержинского Бокий занял место одного из руководителей КГБ, убитого в Петрограде. В порыве пролетарской мести за жизнь своего предшественника Бокий за несколько дней приказал расстрелять более тысячи человек заключенных, из которых половина была отобрана просто по списку в алфавитном порядке и ликвидирована за одну ночь. Такие казни на языке Бокия назывались "искупительными жертвами".
Различные источники дают разную характеристику этому человеку. Некоторые из них рисуют Бокия как мрачную и раздираемую порочными страстями фигуру. Другие, не отрицая, что у Бокия были свои слабости и недостатки, делают упор на его честности и прямоте, которые привели к тому, что Бокий был в оппозиции к Сталину уже в середине 20-х годов и оказался в числе первых жертв репрессий в органах госбезопасности.
Спецотдел занимался как вопросами шифрования, так и вопросами дешифрования. В 1933 году шифровальщики работали в большой комнате на четвертом этаже здания на Лубянке, в котором размещался КГБ. Дешифровалыцики занимали верхний этаж бывшего здания Министерства иностранных дел СССР на углу улиц Большая Лубянка и Кузнецкий мост. Тот факт, что нижние этажи здания посещались частными лицами, использовался для маскировки местоположения Спецотдела. В 1935 году как шифровальщики, так и дешифровалыцики переехали в новое здание КГБ на улице Большая Лубянка, переименованной к тому времени в улицу Дзержинского.
Личный состав Спецотдела проходил по гласному и негласному штату. К последнему относились криптографы и переводчики, для которых в Спецотделе были установлены должности "эксперт" и "переводчик". Гласный состав был представлен секретарями, курьерами и машинистками. В 1933 году в Спецотделе по гласному штату числилось сто человек, а по негласному - восемьдесят девять.
Дешифровальная секция Спецотдела была разбита на отделения по географическому и языковому принципу - китайское, англо-американское и другие. Работала она весьма успешно. Об этом говорит тот факт, что ее сотрудников часто отмечали в КГБ как передовиков социалистического соревнования.
В дешифровальной секции выделялись Иван Калинин, который время от времени появлялся у дешифровальщиков, чтобы их проконсультировать, и старый, но полный сил профессор Шунгский, служивший еще в царской армии и являвшийся главным авторитетом японского отделения по языковым вопросам. Кроме них, в Спецотделе работало множество интересных и неординарных людей. Был немец с бородой почти до самых ступней. Была женщина, которая настолько любила все японское, что дома облачалась в кимоно. Профсоюзной ячейкой в Спецотделе руководил бывший дешифровальщик ДП, прочитавший когда-то до революции шифрованную переписку Ленина. Была дочь одного профессора-япониста, который в 30-е годы был арестован по обвинению в том, что в течение многих лет являлся резидентом японской шпионской сети в Москве. Были и старые дамы с аристократическим прошлым.
Вообще среди личного состава дешифровальной секции Спецотдела было много бывших русских аристократов, в том числе графов и баронов. Это вопиющее противоречие с государственным укладом того времени объяснялось острой нехваткой лингвистов, необходимых для дешифровальных работ. А профессия дешифроваль-щика являлась настолько редкой, что даже когда ее представителей сажали в тюрьму, их и там привлекали к работе по специальности. Например, Владимир Кривош-Неманич когда-то занимал достаточно высокий пост в дешифровальной службе ДП. В советское время он, как бывший сотрудник ненавистной царской охранки, неоднократно то арестовывался, то освобождался. Но и находясь в заключении в Бутырской тюрьме Москвы, он выполнял задания Спецотдела: начальник одного из отделений дешифровальной секции приносил ему работу "на дом", в камеру. По крайней мере, проблем, связанных с обеспечением режима секретности, с заключенными-криптоаналитиками не возникало. Но касательно остальных эти проблемы всегда стояли остро. Сотрудникам Спецотдела запрещалось говорить о том, в каком учреждении они работают и где оно находится. Им не разрешалось даже посещать рестораны, ибо там их разговоры могли быть подслушаны иностранными шпионами.
До революции Кривош-Неманича неоднократно направляли в заграничные командировки с заданиями по сбору сведений о работе криптографических служб других государств. Приезжая из таких командировок, он составлял справки для своего руководства, делал специальные доклады, вносил предложения по совершенствованию работы дешифровальной службы ДП. Далеко не все его наблюдения использовались, советы и рекомендации воспринимались. Бокий же не только внимательно анализировал все сведения, которые ему сообщал Кривош-Неманич, но и стремился использовать их на практике. Так, несомненно полезным Бокий посчитал опыт французских дешифровальных служб, которые стремились добывать нужную для себя информацию различными путями. Ее источниками служили копии всех телеграмм, которые получали или отправляли посольства зарубежных стран, другая дипломатическая корреспонденция, а также сведения, которые можно было добыть путем подкупа или шантажа служащих посольств. Часто одни и те же данные поступали по разным каналам - в виде порванного черновика, шифрованной телеграммы или подслушанного разговора. Этот способ многоканального получения материалов Бокий немедленно взял на вооружение.
В предвоенный период в Спецотделе нередко практиковалось формирование особых оперативных групп для выполнения ответственных заданий. Эти группы составлялись из числа опытных криптоаналитиков и направлялись в районы ведения боевых действий. А таких мест в 30-е годы было немало.
В 1936 году несколько криптоаналитиков Спецотдела вместе с подразделением перехвата на пароходе отправились в Испанию, где по прибытии сразу начали работу в составе генштаба республиканской армии. В первую очередь был организован перехват переписки мятежников-франкистов и итальянского корпуса, прибывшего им на выручку. Вначале было трудно: незнание языка и особенностей переписки привело к тому, что первые успехи дешифровальщиков были очень скромными. Но постепенно дело пошло на лад, и республиканское военное командование вместе с советскими военными советниками стало получать все больше ценной информации именно благодаря радиоразведке.
Криптоаналитикам особой оперативной группы в Испании помогали их коллеги в Москве. Например, ими была дешифрована телеграмма франкистов, в которой сообщалось, что из Марселя в Барселону должно было выйти судно с подкреплением для республиканцев. Телеграмма содержала приказ потопить судно, под каким бы флагом оно ни шло. Об этом из Москвы было немедленно сообщено в Марсель еще до отплытия судна, на борту которого находилось много советских летчиков, танкистов и бойцов интернациональных бригад, спешивших на помощь испанским республиканцам. Благодаря своевременному предупреждению о грозившей опасности они были спасены. Кроме войсковой шифрпереписки, особая оперативная группа читала шифрсообщения агентурной сети франкистов, которая вела тщательное наблюдение за прибытием кораблей в порты республиканской Испании.