Первоначально Федор Козьмич был приписан к деревне Зерцалы, Боготольской волости, куда прибыл вместе с 43-й партией ссыльных 26 марта 1837 года. Здесь он прожил около пяти лет, не привлекаемый ни на какие принудительные работы. Затем некоторое время он живет в Белоярской станице, уходит однажды летом в енисейскую тайгу на золотые прииски в качестве простого рабочего и снова возвращается в Зерцалы, где остается около шести лет, с тем чтобы в 1849 году поселиться около села Краснореченского на реке Чулыме.
С этого времени личность Федора Козьмича до известной степени становится центром внимания окружающих. Однако "никаких серьезных намеков на будто бы царственное происхождение" его ни самим Федором Козьмичем, ни его окружающими в это время не делалось. Народная молва считала его каким-то сосланным или добровольно оставившим свой пост митрополитом, хотя образ его жизни и не имел ни одной черты, заставлявшей предполагать в нем духовное звание. От Краснореченского Федор Козьмич уходит к деревне Коробейникам, откуда через три года вновь возвращается на Красную речку, и, наконец, в 1858 году 31 октября, уступая просьбам купца Хромова, Федор Козьмич переехал в Томск, в четырех верстах от которого на заимке Хромова и прожил до своей смерти.
По рассказам очевидцев, наружность Федора Козьмича производила внушительное впечатление. С видной фигурой, довольно высокого роста, широкоплечий, с высокой грудью, он имел серые глаза и чистое белое лицо с кругловатым подбородком. Кудрявые волосы на голове и длинная, немного вьющаяся борода, постепенно седея, к 1860-м годам покрылись уже "легкой желтизной" - признак старости. В общем лицо имело правильные и приятные черты. Традиция рисует характер Козьмича вспыльчивым, но считает старца добрым и мягким, однако последнее сомнительно, ибо дошедшие о нем сведения, и в особенности "Записки" преданного ему Хромова, дают иное представление. Резкие отзывы Федора Козьмича об епископе Пар-фении, подозревавшем в старце "прелесть", ответы Хромову ("если хочешь, выбрось меня на улицу"), резкий, даже грубый ответ ("я из публичного дома") любопытным купчихам, назойливо добивавшимся узнать его происхождение, и пр. свидетельствуют скорей об обидчивости и раздражительности Козьмича. Это был суровый, замкнутый человек, которого побаивались.
Рассказывают, что Федор Козьмич обладал выдающейся физической силой. При метании сена он одним взмахом бросал на стог целую копну сена, не опираясь концами вил в землю и приводя этим в удивление зрителей. Одежда его состояла из длинной холщовой рубахи, подпоясанной тонким ремешком, белых бумажных носков и кожаных туфель. Длинный черный халат, надетый поверх рубахи, а зимой старая сибирская доха с облинявшею шерстью дополняли его одежду. Отмечают в старце любовь к порядку и чистоте, хотя Хромов, напротив, сообщает, что "никто и никогда не видал, чтобы старец умывался, а только бывало в год два раза обмывал себе ноги". Жилищем ему служила обычно особая избушка или отдельная комната; летом иногда он проводил свои дни в лесу или на пасеке. Жесткая постель, без всякой подстилки, деревянный чурбан вместо подушки, две-три скамейки и небольшой столик составляли всю его аскетическую обстановку. В переднем углу висели образа Печерской Божией Матери, Александра Невского и другие, на столе - небольшое распятие и несколько книг религиозного содержания. Лубочных изданий не было.
Обычно питался он скромной пищей: ржаным хлебом и сухарями с водой, хотя от лепешек, пирогов, меда-рыбы или других приношений не отказывался. Одной из почитательниц он прямо сказал: "Я вовсе не такой постник, за какого ты принимаешь меня". Мясо ел он редко, любил жареные оладьи с сахаром, но извинял себя, говоря что "от таких оладей и сам бы царь не отказался". Вина он никогда не пил. Вставал старец рано; чем он занимался, никто не видал: дверь кельи оставалась постоянно закрытой. Твердые мозоли на его коленях, обнаруженные после смерти, красноречиво говорят о продолжительной молитве и земных поклонах. "Он всегда утаивался, - пишет Хромов, - разве когда-либо тихонько увидишь, что он молится Богу, но это случалось днем, ночью же никогда и никого к себе не принимал".
О посещении старцем церковной службы сведения противоречивы, но они единогласны в указании, что у себя в селе Козьмич у исповеди и причастия никогда не бывал, чем возбудил даже против себя негодование местного священника, подозревавшего в нем сектанта. Вполне точно установлено, что старец не принял причастия и перед смертью. На неоднократные предложения причаститься Федор Козьмич обычно отвечал: "Господь удостоил меня принимать эту пищу".
Влияние старца возрастало по мере того, как население имело все больше поводов и случаев оценить его достоинства. Переходя из деревни в деревню, Федор Козьмич всюду вносил культурное влияние интеллигентного человека. Наставления его, всегда серьезные и краткие, нередко были "прикровенны", говорились иносказательно, "так что едва были понятны тому, к кому относились". Он оказывал помощь больным, учил грамоте крестьянских детей, знакомил их с историей, географией, Священным Писанием. Сообщаемые им сведения были "чужды какой-либо тенденциозности", правдивы, ясны и, как свидетельствует его биограф, надолго сохранялись в памяти его учеников. С взрослыми Федор Козьмич также или беседовал на религиозные темы, или рассказывал о событиях из русской истории, особенно о военных походах и сражениях. В рассказах об Отечественной войне незаметно для себя самого он вдавался иногда в такие подробности, что вызывал "общее недоумение".
Любопытно, что Федор Козьмич обнаруживал немалое знание крестьянской жизни, отдавал предпочтение земледельцам, делал ценные сельскохозяйственные указания относительно выбора и обработки земли, устройства огородов и всякого рода посевов. Он объяснял "значение земледельческого класса в государственном строе, знакомил крестьян с их правами и обязанностями; учил уважать власть", но вместе с тем внушал и мысль о равенстве. "И цари, и полководцы, и архиереи - такие же люди, как и вы, - говорил он, - только Богу угодно было одних наделить властью великою, а другим предназначил жить под их постоянным покровительством".
По общим отзывам, Федор Козьмич оставлял в окружающих его впечатление человека образованного, по многим указаниям владевшего иностранными языками; но, кажется, под конец жизни старец несколько опростился и огрубел. Федор Козьмич вел обширную переписку с разными лицами чрез странников-богомольцев и постоянно получал известия из России, хотя тщательно скрывал от постороннего глаза чернила и бумагу. Известно, между прочим, что он переписывался с графом Остен-Сакеном. Приводилось немало рассказов о благодеяниях и услугах старца сибирякам. Нужно было им устроить то или другое дело в Петербурге, "маленькие люди" будто бы являлись к старцу Федору Козьмичу, прося заступничества, и он не отказывал: давал письмо, всегда в запечатанном конверте, под непременным условием никому, кроме адресата, письма не показывать - "А то, смотри, пропадешь". Затем он подробно наставлял, куда и к кому в Петербурге явиться. И вмешательство старца Федора Козьмича всегда якобы оказывало желанное действие.
С развитием своей популярности среди населения Федор Козьмич приобретал все более широкий круг почитателей, которые нередко обращались к нему за советом и наставлением. Однако эта известность тяготила старца и побуждала его еще более дорожить своим уединением. Он реже начинает выходить к посетителям, дверь его кельи все чаще остается закрытой. Случались периоды, когда он по целым дням сидел в келье безвыходно.
Из посещавших Федора Козьмича можно отметить епископа Парфения, епископа Иннокентия Камчатского, советника Томского губернского суда Л. И. Савостина и др. Афанасий, епископ Иркутский, не раз навещал старца и даже останавливался у него в келье иногда по нескольку дней. Первая встреча их произошла в селе Краснореченском. Афанасий сам пригласил к себе Федора Козьмича. "Владыка вышел встретить его на крыльцо, - рассказывает очевидец. - Выйдя из одноколки, старец Федор поклонился архиерею в ноги, а владыка старцу, причем они взяли друг у друга правую руку и поцеловались, как целуются между собой священники. Затем преосвященный, уступая дорогу старцу, просил его идти вперед, но старец не соглашался; наконец, владыка взял старца за правую руку, ввел его в горницу, где раньше сам сидел, и начал с ним ходить, не выпуская его руки, как два брата. Долго они так ходили; много говорили даже не по-нашенски, не по-русски, и смеялись. Мы тогда дивились, кто такой наш старец, что ходит так с архиереем и говорит не по-нашенски".
Существует заслуживающий доверия рассказ дочери Хромова о каком-то таинственном высокопоставленном госте старца. Вместе с отцом она приехала навестить Федора Козьмича, когда тот жил еще в Коробейникове. Старец вышел к ним на крыльцо и сказал: "Подождите меня здесь, у меня гости". "Мы отошли немного в сторону от кельи, - рассказывает она, - и подождали у лесочка. Прошло около двух часов времени; наконец из кельи, в сопровождении Федора Козьмича, выходят молодая барышня и офицер в гусарской форме, высокого роста, очень красивый и похожий на покойного наследника Николая Александровича. Старец проводил их довольно далеко, и, когда они прощались, мне показалось, что гусар поцеловал ему руку, чего он никому не позволял. Пока они не исчезли друг у друга из виду, они все время друг другу кланялись. Проводивши гостей, Федор Козьмич вернулся к нам с сияющим лицом и сказал моему отцу: "Деды-то как меня знали, отцы-то как меня знали, дети как знали, а внуки и правнуки вот каким видят"".