Согласно условиям Версальского договора 1919 г., все разведывательные службы Германии были распущены, но при этом ей все же разрешалось иметь внутреннюю службу безопасности. Поэтому в 1921 г. правительство Веймарской республики образовало в составе министерства обороны орган, на который возложило функции сбора открытой военной информации за рубежом и военной контрразведки в рейхсвере (германских вооруженных силах). Исходя из формальных задач, ему дали довольно туманное наименование «Управление заграничной информации и обороны» (Amt Auslandnachrichten und Abwehr).
Новую германскую спецслужбу, которая вскоре стала известна просто как абвер, возглавил майор Гемпп. В первые годы своего существования это была действительно исключительно контрразведывательная организация. В ее малочисленном центральном аппарате имелись только две группы «Восток» («Ost») и «Запад» («West»). Для непосредственной работы на местах в каждом военном округе были созданы так называемые «пункты» абвера (Abwehrstellen).
Однако постепенно «сбор открытой информации» за границей превратился в полноценную активную разведывательную деятельность со всеми нелегальными атрибутами. В центральном аппарате абвера появились соответствующие отделы. Были созданы филиал в Кенигсберге и вспомогательные отделения в Мариенбурге, Алленштайне и Гумбинене. Задачей последних была организация агентурной разведки против Польши и Советского Союза.
В течение 2030-х гг. организационная структура абвера непрерывно изменялась и совершенствовалась. В 1938 г. он был реорганизован в Управление разведки и контрразведки Главного командования вермахта. Шли годы, менялись и его руководители. В 1928 г. майора Гемппа сменил оберст Швантес, который, в свою очередь, уже 1 июня 1929 г. передал дела оберсту Фердинанду фон Бредову. Затем во главе абвера, начиная с 6 июня 1932 г., стояли уже только военные моряки: сначала Конрад Патциг, а затем Вильгельм Канарис.
Окончательно структура абвера оформилась к осени 1939 г. и затем с небольшими изменениями сохранялась вплоть до его упразднения осенью 1944 г. Его штаб-квартира размещалась в Берлине, в доме 74 на набережной Тирпица, рядом с комплексом зданий военного министерства на Бендлерштрассе. Внутренняя планировка особняка абвера, казалось, специально была создана для подобной организации. Это был настоящий лабиринт из внешне хаотически соединенных между собой комнат и залов, извилистых коридоров, порой внезапно заканчивавшихся тупиком, лестниц, уходивших вверх и вниз. В нем с трудом ориентировались даже постоянные сотрудники, не говоря уж о тех, кто попадал туда впервые. Поэтому понятно, почему штаб-квартиру абвера с полным правом прозвали «лисьей норой».
Абвер делился на три отдела (Abteilung AM.). Первый отдел, или Абвер-I (Abt.I), отвечал за сбор и оценку разведывательной информации. Главным ее заказчиком и потребителем было Главное командование вермахта, и потому предполагалось, что она должна носить прежде всего военный характер. Это определялось и соглашением «О разделе сфер влияния», заключенным 21 декабря 1936 г. между абвером и СД, которое знающие люди ехидно прозвали «десятью заповедями». Политическая же разведка была прерогативой службы внешней разведки СД. Однако на практике было невозможно четко определить «границы ответственности». Абвер и СД неизбежно вторгались в чужую сферу интересов, что приводило к постоянным конфликтам и нездоровому соперничеству.
В Абвер-I входили пять подотделов: IX «Иностранные армии» (Fremde Heer), IM «Иностранный военно-морской флот» (Fremde Marine), IL «Иностранная авиация» (Fremde Luft), IBI «Иностранная промышленность» (Fremde Wirtschaft) и IILB «Авиаразведка» (Technik-Luft). Каждый из них занимался сбором разведывательных данных в своей сфере, что следовало из их названий.
Кроме того, в абвере-I имелись пять подгрупп, разделенных по географическому принципу. Так, самая многочисленная подгруппа «Гамбург» (Amt Hamburg) отвечала за организацию военной разведки на территории Англии. Подотделы и подгруппы, в свою очередь, подразделялись на так называемые рефературы.
В 1936 г. начальником отдела Абвер-I был назначен 43-летний майор Ханс Пикенброк, начавший работать в военной разведке еще в 1921 г. Благодаря своим способностям он стал второй по влиятельности фигурой в абвере после Канариса, считавшего его своей правой рукой. Выполняя деликатные поручения нацистского руководства и лично Гитлера, Пикенброк изъездил вдоль и поперек всю Европу, бывал на Ближнем Востоке и в Советском Союзе. При этом он всегда оставался в тени и в случае опасности вовремя и умело заметал следы.