В октябре 1938 года Константин Воробьев был призван в армию, проходил службу в западной Белоруссии. После окончания воинской службы (июль 1940 года) работал литературным редактором газеты в Академии Красной Армии имени Фрунзе, откуда был направлен на учебу в Кремлевское Краснознаменное пехотное училище.
В октябре 1941 года в составе роты кремлевских курсантов К. Д. Воробьев попадает на фронт. Оказавшись в плену, Воробьев проходит Клинский, Ржевский, Смоленский, Саласпилсский концлагеря, 9-й Каунасский форт, Паневежскую и Шяуляйскую тюрьмы. Трижды бежал, удачно 24 сентября 1943 года, и с тех пор эту дату он считал своим вторым днем рождения. С сентября 1943 года по август 1944 года Воробьев командовал отдельной партизанской группой, состоящей из военнопленных, бежавших из лагерей. Группа входила в состав литовского партизанского отряда «Кястутис», принимала участие в освобождении города Шяуляй. После вступления в город советских войск наряду с другими военнопленными Константин Воробьев испытал мучительные проверки в органах НКВД. Вера Викторовна Воробьева вспоминала: «Часто вызывали Константина Дмитриевича в органы безопасности и держали до утра. Грозили, оскорбляли, выказывая недоверие. Но среди допрашивающих нашелся молодой офицер, который старался задавать такие вопросы, чтобы можно было закрыть дело и избежать ареста. Конечно, только благодаря силе своего духа, логике и наличию воли, Константин Дмитриевич смог выйти победителем в этом поединке. Его оставили на свободе». Воробьев был назначен начальником штаба МПВО города.
В дальнейшем Константин Воробьев неоднократно с гневом и презрением будет писать о тех «героях», чья доблесть заключалась в издевательствах над соотечественниками. В его «Записных книжках» можно обнаружить такую историю: «Д. командир партизанского отряда. По окончании войны ему предложили работу в НКВД. Он сообщил об этом своему старику отцу. Тот, подумав, сказал:
Тебе сейчас нельзя.
Почему?
Вначале надо операцию сделать.
Какую?
Совесть вырезать.
Д. не пошел».
А в повести «Почем в Ракитном радости» автобиографический главный герой, размышляя о человеческих глазах, особое внимание уделяет именно глазам тех, кто выполнял преступную волю государства и прославился на войне с безоружными людьми: «Ты знаешь, с каким полуночным вниманием ящеров глядели на нас «смершовцы», когда задавали вопрос, почему мы остались живы?.. На своем веку я много повидал человечьих глаз. Я знаю, какими зрачками, когда и кто нацеливался в чужое сердце и убивал его бесшумно, наповал. Такие глаза были только у бериевских молодчиков»
Неудивительно, что тема плена важнейшее звено не только военных сюжетов Воробьева, но и тех произведений, где речь идет о событиях 19501970-х годов. Пожалуй, наиболее четко авторскую позицию формулирует автобиографический герой повести «И всему роду твоему» Сыромуков. Он говорит своему соседу по комнате в санатории Яночкину, не воевавшему, но при этом отстаивающему представление о наших пленных как о трусах и предателях: «И лично я наградил бы всех пленных, кто остался цел в фашистских лагерях!»
18 августа 1945 года Константин Воробьев вступил в брак с Верой Викторовной Дзените. В этом же году родилась дочь Наташа, а в 1955-м сын Сергей. В 1947 году после демобилизации (увольняли тех, кто был в плену) К. Д. Воробьев переехал в Вильнюс, где работал в Министерстве промстройматериалов, в Главукоопе старшим инспектором, заместителем директора сельхозснаба, директором промтоварного магазина. С 1958 по 1966-й заведовал отделом литературы и искусства в газете «Советская Литва».
Вера Викторовна упоминает в «Розовом коне» о сложных взаимоотношениях мужа с младшим братом Василием. Он впервые появился в Шяуляе в феврале 1946 года, устроился инспектором финотдела и обложил хозяйку, в доме которой жил, самым высоким налогом: «Константина Дмитриевича знали в городе как гуманного и доброго человека, а сводный брат наводил страх на старух, торговавших на рынке, на ремесленников, на владельцев домов, ксендзов. Между братьями начались скандалы». По признанию Веры Викторовны, счастливым был тот момент, когда Василий сообщил, что женится и уходит к жене, местной девушке. Но когда уже в 1948 году семья Воробьевых жила в Вильнюсе, Василий у них останавливался, приезжая на экзаменационную сессию. Это были тяжелые дни для Константина Дмитриевича, вынужденного постоянно спорить с братом-сталинистом. Василий кричал, что таких, как Константин, надо ставить к стенке, причем это не мешало ему пользоваться материальной поддержкой старшего брата. Как-то Константин Дмитриевич спросил брата: «Что бы ты сделал, если бы я, как белый офицер, попал к тебе, красному, в руки?» «Я бы тебя расстрелял», сказал тот. «А вот я бы, ответил Константин Дмитриевич, отпустил бы тебя, дурака, потому что ты мой брат. Вот в этом и есть коренное отличие между нами». Воробьев даже говорил, что хочет написать о своем братце, чтобы показать всю подлую суть современного холуя, одурманенного так называемым марксизмом-ленинизмом. Именно Василий показал рассказ «Ничей сын» Дмитрию Матвеевичу Воробьеву, уже смертельно больному, и постарался, чтобы тот принял его на свой счет.