В Петербурге Сергей Львович продолжал вести обычный для него образ жизни. Ежедневно в определенные часы его можно было встретить на Невском проспекте оживленно беседующим с многочисленными знакомыми. Во время этих прогулок с ним часто встречался поэт Н. М. Колмаков, впоследствии тайный советник, который позже в своих воспоминаниях писал об отце поэта: "Красноватое его лицо и, кажись, рябоватое было далеко не привлекательно". Именно таким мы видим С. Л. Пушкина на портрете, написанном пастелью на пергаменте в 1810-х годах. Этот портрет работы неизвестного, но, безусловно, профессионального художника хранился в семье сестры поэта - Ольги Сергеевны. Рисуя на полях черновиков профиль отца, Пушкин придавал его лицу именно то выражение, какое мы видим на портрете. Художник запечатлел заметно припухшие веки, опущенные наружные уголки глаз и плотно сжатые губы, как бы застывшие в полуулыбке.
Одной из сторон "пылкого и раздражительного" характера Сергея Львовича Пушкина было отвращение ко всему, что нарушало его спокойствие. Особенную неприязнь испытывал он к хозяйственным делам. Он терпеть не мог деревни и, по словам П. В. Анненкова, "отдавал все свое время только удовольствиям общества и наслаждениям городской жизни". Сергей Львович ни разу не посетил свои нижегородские поместья, препоручив управление ими своему крепостному человеку, большому плуту. Он постоянно прибегал к займам и не платил долга опекунскому совету, так что по указу Нижегородского губернского правления Сергачская дворянская опека вынуждена была "взять в опеку имения С. Пушкина за неплатеж долга С.-Петербургскому опекунскому совету".
Неумение вести дела и мелочная скаредность отца вызывали большое раздражение его старшего сына. Во время южной ссылки и жизни в Кишиневе и Одессе А. С. Пушкин жаловался на то, что отец забывает присылать ему деньги. "Изъясни отцу моему, - пишет он брату Льву Сергеевичу 25 августа 1823 года из Одессы, - что я без денег жить не могу. Жить пером мне невозможно при нынешней цензуре… Все и все меня обманывают - на кого же, кажется, надеяться, если не на близких и родных. На хлебах у Воронцова я не стану жить - не хочу и полно… мне больно видеть равнодушие отца моего к моему состоянию - хоть письма его очень любезны".
Сергей Львович гордился поэтическим талантом сына и обладал чувством истинного понимания его гения. Он по мере сил помогал ему в издательских делах, особенно в тяжбе с издателем А. И. Ольдекопом. Из письма А. С. Пушкина к шефу жандармов начальнику III Отделения е. и. в. канцелярии А. X. Бенкендорфу от 20 июля 1827 года известно, что "статский советник Сергей Львович Пушкин обратился с просьбою к начальству, но не получил никакого удовлетворения, а ответствовали ему, что г. Ольдекоп перепечатал-де "Кавказского пленника" для справок оригинала с немецким переводом". Сергей Львович жаловался министру просвещения А. С. Шишкову на Ольдекопа "за сие неуважение собственности".
Кишиневский приятель Пушкина Иван Петрович Липранди в своих известных записках очень доброжелательно отзывался об отце поэта. Он с умилением вспоминал, как во время посещения родителей Пушкина в 1822 году в Петербурге для него на обед были созваны гости (в том числе поэты Баратынский, Дельвиг, барон Розен), а перед концом обеда кто-то прочитал привезенное им стихотворение Пушкина, и у родных оно вызвало слезы. Пили шампанское за здоровье поэта. На другой день Сергей Львович с младшим сыном передали Ивану Петровичу "огромный пакет с письмами, с какою-то тетрадью и включавший в себе пятьсот рублей". Тот же Липранди отмечал, что отец и брат Пушкина очень "опасались вспыльчивости Александра Сергеевича".
Беспокоила отца также и "политическая неблагонадежность" сына, приведшая, по его мнению, к новой ссылке Александра в Михайловское. Сергей Львович приходил в ужас от сыновней "непокорности властям". Когда в августе 1824 года Александр Пушкин приехал из Одессы в Михайловское, в старом ганнибаловском доме он нашел все семейство: отец, мать, брат и сестра, как обычно, летом жили в этой далекой псковской деревне, унаследованной матерью поэта от ее отца - О. А. Ганнибала. Отец встретил сына холодно; отчужденность и взаимное непонимание нарастали с каждым днем.
В октябрьском письме Василию Андреевичу Жуковскому А. С. Пушкин с дружеской откровенностью описывает свое "ужасное положение" в новой ссылке, особенно он жалуется на отца: "Пещуров , назначенный за мною смотреть, имел бесстыдство предложить отцу моему должность распечатывать мою переписку, короче - быть моим шпионом; вспыльчивость и раздражительная чувствительность отца не позволяли мне с ним объясниться; я решился молчать, отец начал упрекать брата в том, что я преподаю ему безбожие. Я все молчал. Получают бумагу, до меня касающуюся. Наконец, желая вывести себя из тягостного положения, прихожу к отцу, прошу его позволения объясниться откровенно… Отец осердился. Я поклонился, сел верхом и уехал. Отец призывает брата и повелевает ему не знаться avec ce monstre, ce fils denature (с этим чудовищем, с этим ужасным сыном)… Иду к отцу, нахожу его с матерью и высказываю все, что имел на сердце целых три месяца. Кончаю тем, что говорю ему в последний раз. Отец мой, воспользуясь отсутствием свидетелей, выбегает и всему дому объявляет, что я его бил, хотел бить, замахнулся, мог прибить… Перед тобою не оправдываюсь, но чего же он хочет для меня с уголовным своим обвинением? Рудников сибирских и лишения чести? Спаси меня хоть крепостию, хоть Соловецким монастырем…"
Вспыльчивый, как и Сергей Львович, поэт преувеличивал "уголовные" намерения своего отца. В делах Псковского губернского правления хранились документы, освещавшие события этой тяжелой для сына и отца осени несколько иначе. Выдержки из этих документов приводятся в статье "Несколько слов о Пушкине", помещенной в газете "Псковские губернские ведомости" (1868, № 10). Автор статьи (очевидно, редактор газеты А. Евстифиев) цитирует следующие извлечения из "дела Псковского губернского правления": "…сообщено опочецкому предводителю дворянства статскому советнику Пещурову, что если статский советник Пушкин даст подписку, что будет иметь неослабный надзор за поступками и поведением сына, то в сем случае последний может остаться под присмотром своего отца и без избрания особого к таковому надзору дворянина, тем более что отец Пушкина есть из числа добронравнейших и честнейших людей…" Однако ж Сергей Львович отозвался (в ноябре 1824 года), что не может воспользоваться доверием генерал-губернатора, ибо, имея главное поместье в Нижегородской губернии, а всегдашнее пребывание в Петербуре, он по делам своим "может потерпеть совершенное расстройство, оставаясь неотлучно при одном сыне, тем более что непредвиденные обстоятельства вынуждают его быть вскоре в Москве…".
А. С. Пушкин долго не мог простить отцу холодный прием в Михайловском и возмущение родителей "неблаговидным" поведением сына; по мнению самого Сергея Львовича, высказанному в письме брату Василию Львовичу 17 октября 1826 года, его сын убежден, что отец должен просить у него прощения и что Александр Сергеевич "скорее выпрыгнул бы через окошко, чем дал бы мне это прощение".
Именно в это время (ноябрь - декабрь 1826 года) Пушкин рисует портрет отца на листе черновой тетради рядом с рисунками виселицы с пятью повешенными декабристами и строкой "и я бы мог, как шут…". Этот портретный рисунок свидетельствует о размышлениях поэта об отце и о своих отношениях с ним в трудный период жизни.