Однако первый опыт создания противотанкового соединения РГК был признан неудачным. В феврале - марте 1941 года два десятка бригад были расформированы. Последним перед войной мероприятием по формированию противотанковых бригад стало последовавшее 23 апреля 1941 года постановление ЦК ВКП(б) и СНК СССР № 1112-459сс "О новых формированиях в составе Красной армии". По этому постановлению к 1 июня 1941 года предполагалось сформировать десять противотанковых артиллерийских бригад РГК. По штату в каждой бригаде должно было быть сорок восемь 76-мм пушек, сорок восемь 85-мм зенитных пушек, двадцать четыре 107-мм пушки, шестнадцать 37-мм зенитных пушек. Штатная численность бригады составляла 5322 человека. К началу войны формирование бригад не было завершено. Большинство из них не имело положенных по штату автомашин, тягачей и другой техники. 107-мм орудия М-60 повсеместно заменялись на 85-мм зенитки. В мае 1941 года фактический статус противотанкового соединения получили неукомплектованные танками механизированные корпуса. Вместо танков они получали 76-мм дивизионные пушки и должны были стать подвижным средством борьбы с бронетехникой противника.
С началом Великой Отечественной войны противотанковые возможности советских войск подверглись жестоким испытаниям. Во-первых, чаще всего стрелковым дивизиям приходилось вести бой, занимая превышающий уставные нормативы фронт обороны. Во-вторых, советским войскам пришлось столкнуться с немецкой тактикой "танкового клина". Она заключалась в том, что танковый полк танковой дивизии Вермахта наносил удар на очень узком участке обороны. При этом плотность атакующих танков составляла 50-60 машин на километр фронта. Такое количество танков на узком фронте неизбежно насыщало противотанковую оборону. Значительно облегчалась задача насыщения советской ПТО ее линейностью, т.е. равномерным расположением орудий по фронту обороны. Свою роль также сыграли технические сложности: ряд партий 45-мм бронебойных снарядов был перекален. Термообработанные с нарушением технологии снаряды не пробивали немецкие танки даже на тех дистанциях, на которых должны были это делать по ТТХ. Спасением в условиях кризиса стали 76-мм дивизионные и полковые орудия. Короткоствольные 76-мм полковые пушки образца 1927 года были ближе всего по весу и габаритам к противотанковым пушкам. При этом их бронебойный или даже шрапнельный выстрел был достаточно эффективным против немецких танков 1941 года.
Организационные трудности и общий неблагоприятный ход боевых действий не позволили первым противотанковым бригадам реализовать свой потенциал. Однако уже в первых сражениях бригады продемонстрировали широкие возможности самостоятельного противотанкового соединения. Уже в конце июня было принято решение о формировании отдельных противотанковых артиллерийских полков РГК. Вооружались эти полки двадцатью 85-мм зенитными пушками. В июле - августе 1941 года сформировали 35 таких полков. В августе - октябре последовала вторая волна формирования противотанковых полков РГК. Эти полки вооружались восемью 37-мм и восемью 85-мм зенитными пушками. 37-мм зенитный автомат обр. 1939 года еще до войны создавался как противотанково-зенитный и имел отработанный бронебойный снаряд. Важным преимуществом зенитных орудий также был лафет, обеспечивающий круговое вращение орудия. Для защиты расчета переквалифицированные в противотанковые пушки зенитки оснащались противоосколочным щитом.
Большие потери противотанковых пушек в начале войны привели к снижению количества противотанковых орудий в стрелковой дивизии. Стрелковая дивизия штата №4/600 от 29 июля 1941 года имела всего восемнадцать 45-мм противотанковых пушек вместо пятидесяти четырех по предвоенному штату. По июльскому штату были полностью исключен взвод 45-мм пушек из стрелкового батальона и отдельный противотанковый дивизион. Последний был восстановлен в штате стрелковой дивизии в декабре 1941 года. Кавалерийская дивизия нового штата 1941 года имела всего шесть 45-мм пушек вместо шестнадцати по предвоенному штату. Нехватку противотанковых пушек в какой-то мере восполняли недавно принятые на вооружение противотанковые ружья. В декабре 1941 года в стрелковой дивизии штата № 04/750 взвод ПТР был введен на полковом уровне. Всего в дивизии по штату было 89 ПТР.
Бронированные гусеничные тягачи "Комсомолец" были большей частью потеряны летом 1941 года, их производство было свернуто в пользу танков. Средством тяги 45-мм противотанковых пушек стали лошади и автомашины. Существенно улучшилась ситуация со средствами тяги противотанковой артиллерии с поступлением по ленд-лизу автомобилей повышенной проходимости. Знаменитые "Виллисы" были не только автомашинами командиров, но и тягачами для 45-мм пушек.
В области организации артиллерии общей тенденцией конца 1941 года было наращивание числа самостоятельных противотанковых частей. На 1 января 1942 года в действующей армии и резерве Ставки ВГК имелись: одна артиллерийская бригада (на Ленинградском фронте), 57 противотанковых артиллерийских полков и два отдельных противотанковых артиллерийских дивизиона. По итогам осенних боев пять артиллерийских полков ПТО получили звание гвардейских. Два из них получили гвардию за бои под Волоколамском - они поддерживали 316-ю стрелковую дивизию И. В. Панфилова. Зенитные орудия постепенно изымались из противотанковых полков и возвращались в систему ПВО. Все большую роль в советской противотанковой артиллерии стала играть 76-мм дивизионная пушка ЗИС-3. Немцы называли советские 76-мм пушки "ратш-бум": снаряд попадал в цель ("ратш!") быстрее, чем долетал звук выстрела ("бум!").
1942 год стал периодом наращивания числа и укрупнения самостоятельных противотанковых подразделений. 3 апреля 1942 года последовало постановление Государственного Комитета Обороны о формировании истребительной бригады. По штату в бригаде было 1795 человек, двенадцать 45-мм пушек, шестнадцать 76-мм пушек, четыре 37-мм зенитные пушки, 144 противотанковых ружья. Следующим постановлением от 8 июня 1942 года двенадцать сформированных истребительных бригад были объединены в истребительные дивизии, по три бригады в каждой. Истребительные дивизии предполагалось использовать: 1-ю на Юго-Западном, 2-ю - на Брянском, 3-ю - на Западном и 4-ю - на Калининском фронтах. Вскоре 1-я истребительная дивизия прошла крещение огнем под ударами операции "Блау".
Укрупнению подверглись даже подразделения противотанковых ружей. В апреле 1942 года было сформировано четыре отдельных батальона ПТР. Каждый состоял из трех-четырех рот по 27 противотанковых ружей в каждом. В целом 1942 год стал расцветом противотанковых ружей как средства борьбы с бронетехникой противника в Красной армии. По мартовскому штату стрелковой дивизии № 04/200 на уровне полка была рота ПТР (27 ружей), по роте ПТР получил также каждый из батальонов стрелкового полка (вместо довоенных 45-мм противотанковых пушек), еще одна рота ПТР была в противотанковом дивизионе. Всего штат предусматривал 279 ПТР в стрелковой дивизии. Эффективность ружей, конечно, оставляла желать лучшего, но их массированное применение давало определенные результаты. Кроме того, поток крупнокалиберных пуль заставлял командиров немецких танков отказываться от наблюдения через открытый люк командирской башенки и обозревать поле боя только через триплексы смотровых щелей. Ограничение обзора экипажа танка облегчало задачу противотанкистов, использовавших более эффективные 45-мм и 76-мм пушки.
Этапным для противотанковой артиллерии Красной армии стал приказ НКО СССР № 0528 за подписью И. В. Сталина, гласивший:
"В целях улучшения качества борьбы с танками противника, создания и накопления кадров артиллеристов-истребителей танков, повышения их квалификации и выделения противотанковых артиллерийских частей из других видов артиллерии приказываю:
1. Легкие и противотанковые артиллерийские полки РГК, противотанковые дивизионы стрелковых дивизий и батареи 45-мм пушек стрелковых полков переименовать в истребительно-противотанковые артиллерийские полки, дивизионы и батареи.