Выведенный из села эскадрон стал обстреливать село. Противник послал конную часть, силою до двух эскадронов, в обхват правого фланга сумцев. Это заставило командира эскадрона отвести гусар на окраину Кременчуга, откуда началась перестрелка с наступающей от станции Песчаны по шоссе неприятельской пехотой. Тем временем конница красных успела войти в город и двигалась вдоль железной дороги к мосту через Днепр с целью отрезать эскадрону путь к отступлению. Для того чтобы проскочить к мосту, эскадрон должен был перейти в галоп, все же красные успели выйти ему наперерез, и только открытый с тачанок на ходу пулеметный огонь заставил конницу красных повернуть и дал возможность Сумскому эскадрону выйти на мост, по которому отходил Кабардинский пехотный полк.
Еще два дня после оставления Кременчуга мост был в наших руках, и только тогда, когда большевики перешли Днепр по льду, мост был оставлен добровольцами. Под давлением противника 3-й конный полк отошел в город Александрию и, не задерживаясь в нем, двинулся на юг.
В начале декабря положение на западном фронте Добровольческой армии было таково: генерал Шиллинг после оставления Киева объединил командование войсками Киевской93 и Новороссийской групп94, имея задачей прикрытие Новороссии и Крыма и скорейшую ликвидацию банд Махно. Во исполнение этого генерал Шиллинг двинул корпус генерала Слащева из Екатеринослава для непосредственного прикрытия Северной Таврии между Днепром и Азовским морем, на высоте Мелитополя. Корпус генерала Промтова95 и бывшие Киевские войска, под начальством генерала Бредова, были развернуты на линии Бирзула Долинская Никополь.
Отступая к югу от города Александрии, добровольческие части попали в район широкого повстанческого движения. До сих пор бывали нападения партизан на одиночных солдат-фуражиров, квартирьеров. Были известны некоторые главари этих шаек: Шуба, Хмара, Серко и т. д. В одном из сел был найден отпечатанный на гектографе приказ «Южным повстанческим войскам», где говорилось о захваченных поездах, боях с добровольцами и пр. Видимо, было стремление объединить действия отдельных партизанских отрядов.
Обстрел кавалерийского полка на походе, даже из пулеметов, стал постоянным явлением, в ответ приходилось открывать огонь из орудий, после чего партизаны освобождали путь, убегая в соседние села.
Кроме таких шаек, действовавших более активно, в каждом селе находились большевистски настроенные жители, у которых оружие было спрятано до подходящего случая и которых трудно было отличить от остальных жителей, благодаря чему бороться с ними было почти невозможно. Часто, выждав момент, когда полк выходил из деревни, эти люди обстреливали хвост колонны полка.
В одной из деревень южной части Александрийского уезда едва не погибла застава 1-го Сумского эскадрона, окруженная ночью красными. На этот раз гусары спаслись все, потеряв трех лошадей.
Продолжая отход, 3-й конный полк подошел к городу Кривой Рог, расположившись на железнодорожной станции к северу от города, где простоял около недели, сдерживая натиск противника с северо-востока. Между тем красные, обойдя правый фланг полка, отрезали нам возможность войти в связь со стрелковой дивизией96 генерала Шевченко97, 45-м Донским и 2-м Лабинским Кубанским казачьими полками98.
Отбросив эти части и заставив их отступить к западу, за реку Ингул, красные повели наступление на 3-й конный полк и принудили его отойти к югу от Кривого Рога. Полк стал на ночлег в деревне около железнодорожного полотна.
10 января 1920 года разъезд Сумского эскадрона за железной дорогой встретил наступающую на деревню неприятельскую пехоту. Командир полка приказал 1-му Сумскому эскадрону задержать пехоту красных и дать время вывести полк из деревни. Под командой штабс-ротмистра Головина эскадрон численностью до 30 шашек лавой атаковал пехотную цепь противника, которая не выдержала удара и бросилась бежать, скрывшись в ближайшей деревне.
Продолжая отход, 3-й конный полк подходил к селу Софиевка, где была переправа через реку Ингулец. Важно было подойти к Ингульцу раньше красных, что полку и удалось сделать. Но оказалось, что другие части красных уже достигли Софиевки и в селе стоял обоз одной из их частей. Обоз был захвачен. Захватили несколько пулеметов, провиант, и было взято в плен человек сорок красноармейцев.
Ночью полк, переправившись через Ингулец, двинулся дальше на город Вознесенск. 3-й конный полк шел во главе колонны. Вслед за ним на подводах растянулся Кабардинский пехотный полк и еще другой пехотный, название которого забылось. Оба полка численностью до 300 штыков. За ними шел обоз. Когда вся колонна вытянулась по дороге на несколько верст, сзади послышались выстрелы. Оказалось, что на хвост обоза напали партизаны и захватили часть его, причем мы потеряли все, что было захвачено накануне, а также часть обоза Сумского дивизиона. Преследовать бандитов возможности не было, так как откуда-то слева по колонне был открыт артиллерийский огонь.
На следующий день, 11 января, 3-й конный полк прибыл в город Вознесенск, где стоял Осетинский конный полк, тотчас же ушедший далее.
В Вознесенске 3-й конный полк вошел в подчинение генералу Васильеву99 и получил приказание идти вдоль реки Буг в направлении на Николаев. В Вознесенске из полка были выделены подводы с больными и ранеными и отправлены в Одессу, куда и прибыли 23 января. В это время в Одессе были уже остатки полкового обоза, прибывшие незадолго до этого из Николаева, а также хозяйственная часть полка, отступившая из Ромен на Сумы и погрузившаяся в Мариуполе на пароход.
Едва полк выступил из Вознесенска, как в подгородной деревне разъезд 1-го Сумского эскадрона был окружен конницей противника и пробился, потеряв одного гусара убитым. Вслед за тем начался бой, продолжавшийся до поздней ночи, после которого полк отошел с большими потерями. Сумский дивизион в этом бою потерял убитыми и ранеными десять человек. Вознесенск был занят красными в ту же ночь.
Начиная с Полтавской губернии в 3-м конном полку начались заболевания тифом, были обмороженные; до станции Березовка их возили с собой, здесь их сдали в санитарный поезд, но большевики так неожиданно обрушились на бывшие там добровольческие части, что после неудачного боя, в котором только что прибывший пехотный полк понес большие потери, санитарный поезд был захвачен красными. Среди больных и раненых были сумские гусары.
15 января 3-й конный полк прибыл в немецкую колонию Волково, она имела еще какое-то немецкое название. Здесь полк подвергся нападению красных, окруживших полк с трех сторон. Отрезанный от Одессы, полк прорвался на запад, потеряв два орудия из четырехорудийной батареи. Полку оставался только один путь отхода на Тирасполь на Днестре. В Тирасполе к полку присоединился обоз 2-го разряда, прибывший из Одессы.
К 19 января 1920 года положение в Одесском районе было катастрофическое: фронт группы генерала Бредова был прорван красными. Связь с Одессой постоянно прерывалась красными партизанами. 2-й корпус100 генерала Промтова отходил к Одессе. Надежд на эвакуацию морем не было. Войскам Новороссии грозила бесславная гибель. Приняв на себя командование всеми войсками Новороссии, генерал Бредов сосредоточил свои главные силы у Тирасполя и 2-й корпус генерала Промтова у села Маяки. Сам генерал Бредов находился в Тирасполе и вел переговоры с румынами о пропуске его войск в Румынию. Переговоры были неуспешны; тогда генерал Бредов решил пробиваться на Польшу и отдал приказ о выступлении.