Даже непонятно, на что она рассчитывала в то время, решив родить от американского дипломата ребенка. В июле 1945 года актрису внезапно отправили на гастроли в Крым, и в это же время Тэйт получил распоряжение советских властей в течение ближайших сорока восьми часов покинуть пределы СССР. Когда Федорова вернулась в Москву, ее любимого там уже не было.
Джексон Тэйт получил новое назначение на военно-морскую базу рядом с Сан-Педро в Калифорнии. Он ничего не знал о судьбе Федоровой и даже не представлял, что она родила ему ребенка. Влюбленный Тэйт чуть ли не ежемесячно слал в СССР письма и запросы. Но ответа не было. И вот когда он уже потерял всякую надежду что-либо узнать, на его имя внезапно пришло короткое послание, отправленное из Швеции. В нем сообщалось, что Федорова вышла замуж за некоего композитора и счастливо растит с ним двоих детей. Подписи под этим письмом не было.
Кто написал это письмо, так до сих пор доподлинно неизвестно. Но доля правды в нем была. Еще в начале 40-х она познакомилась с композитором Александром Рязановым, стала в его джаз-квартете вокалисткой. Когда вышел указ о наказании матерей-одиночек, Рязанов предложил ей расписаться, но Федорова ему отказала, а затем согласилась. Скорее всего она испугалась и хотела скрыть факт рождения ребенка от иностранца и поспешила выйти замуж за соотечественника. Однако от тюрьмы это ее так и не спасло.
Первые признаки того, что у нее над головой сгущаются тучи, Федорова почувствовала еще в августе 1946 года. Именно тогда она обнаружила, что за нею следят. А в начале зимы того же года, явившись с утра в свой Театр киноактера, она вдруг заметила, что со стены исчез ее портрет. Теперь вместо него висело изображение другой актрисы. Это было плохое предзнаменование, и оно вскоре действительно сбылось. 27 декабря 1946 года, после вечера, проведенного в доме английского журналиста Верта и его жены, Федорову арестовали в ее квартире на улице Горького. Более полугода она провела во внутренней тюрьме на Лубянке, где ее методично подвергали систематическим издевательствам (обливали кипятком, били, не давали спать). Наконец 15 августа 1947 года Федорова и еще шесть человек были приговорены за шпионаж в пользу иностранных государств к 25 годам тюремного заключения. После приговора Федорова пыталась повеситься в камере лефортовского тюремного изолятора, однако бдительные надзиратели не позволили ей довести дело до конца. 20 декабря 1947 года из лагеря в Потьме она пишет полное отчаяния письмо Л. Берии, которое завершает словами: "...наказали не меня, а моих маленьких детей, которых у меня на иждивении было четверо: самой маленькой, дочери, два года, а самому старшему, племяннику, десять лет. Я умоляю Вас, многоуважаемый Лаврентий Павлович, спасите меня! Я чувствую себя виноватой за легкомысленный характер и несдержанный язык. Я хорошо поняла свои ошибки и взываю к Вам как к родному отцу. Верните меня к жизни! Верните меня в Москву!"
Однако это обращение к Берии не помогло. Федорову тогда так и не выпустили на свободу, и она сполна хлебнула тюремного лиха. Сначала ее содержали в челябинской тюрьме, затем перевели в знаменитую "владимирку" закрытую тюрьму во Владимире. Там она одно время сидела в одной камере с певицей Лидией Руслановой. В один из дней Федоровой передали коротенькую записку от ее сестры Александры - это было первое послание с воли, которое она получила. Сестра писала, что у нее все нормально и что Виктория выросла хорошей девочкой. И хотя никаких подробностей в записке не было (Александра с тремя ребятишками жила в деревне Полудино в Северном Казахстане, а вторая их сестра Мария получила 10 лет лагерей и в 1952 году умерла в Воркуте), однако для Федоровой и этого короткого послания было достаточно, чтобы воспрянуть духом.