С первых же дней обучения в техникуме Филиппов буквально влюбил в себя преподавателей балетного танца П. Гусева и Ф. Лопухову. Они считали его самым одаренным учеником и прочили ему блестящее будущее. Именно поэтому, когда у Филиппова складывались непростые отношения с преподавателями других дисциплин (из-за неуспеваемости по некоторым предметам его даже собирались выгнать из техникума), Гусев и Лопухова грудью вставали на защиту своего любимца и не давали угробить его талант.
Между тем, закончив техникум в 1933 году, Филиппов был принят в труппу Театра оперы и балета. Его первой ролью на сцене этого прославленного театра был кочегар в балете "Красный мак". Как гласит легенда, дебют Филиппова в этой роли прошел под хохот зрителей. Вместо того чтобы пробежать по сцене с ведром, Филиппов неожиданно повесил его на вытянутую руку одного из актеров и благополучно скрылся за кулисами. Но никаких выволочек молодому актеру делать тогда не стали.
К сожалению Филиппова, карьера балетного танцора оказалась у него слишком короткой. Во время четвертого спектакля он вназапно потерял сознание и рухнул на сцену. Прибывшие по вызову врачи констатировали сердечный приступ и посоветовали с балетом расстаться. "Иначе в следующий раз вы просто умрете", - вынесли они свой невеселый вердикт.
Покинув балет, Филиппов вскоре поступил в эстрадный театр-студию. Его коронным номером там стал веселый танец под названием "Веселый Джим", с которым он выступал на многих эстрадных площадках Ленинграда. На одном из таких концертов его увидел известный театральный режиссер Н. П. Акимов и, придя за кулисы, предложил Филиппову перейти в труппу Театра комедии. Актер с радостью согласился.
На театральной сцене Филиппову в основном приходилось играть комедийные роли, но он не обижался. В амплуа комика он чувствовал себя как рыба в воде и был неслыханно счастлив, когда после каждой своей реплики слышал в зале зрительский смех. Естественно, что мимо такого заметного актера не могли пройти кинематографисты. С 1937 года Сергей Филиппов начинает сниматься в кино - его первой эпизодической ролью стал финн-шюцкоровец в фильме "Падение Кимас-озера". Затем роли пошли одна за другой: крестьянин-партизан в "Волочаевских днях" (1937), саботажник в "Члене правительства" (1939), погромщик в "Выборгской стороне" (1939), матрос-анархист в "Якове Свердлове" (1940), чтец в "Приключениях Корзинкиной" (1941) и др.
Однако настоящая популярность к Сергею Филиппову пришла в годы войны, когда он снялся в роли ефрейтора Шпукке в фильме Сергея Юткевича "Новые похождения Швейка" (1943). Затем этот успех был закреплен ролями в других картинах, среди которых наибольшей популярностью у зрителей пользовались: "Беспокойное хозяйство" (1946-й; роль немецкого разведчика Крауса), "Здравствуй, Москва" (1946-й; баянист Брыкин).
Стоит отметить, что в те годы настоящих комиков в советском кино практически не было, поэтому Филиппов почти безраздельно господствовал на комедийной сцене. Его слава в народе была огромной. Когда он шел по улице родного Ленинграда или любого другого города, за ним бежала детвора и, весело горланя: "Филиппов! Филиппов!", хватала за фалды его пиджака. Ему это не очень нравилось. Он отмахивался от ребятни, но делал это незлобиво. Хуже приходилось его почитателям более старшего возраста. Когда в ресторане, где он любил бывать, к нему за столик подсаживались подвыпившие посетители и, заискивающе глядя в глаза, приглашали выпить на брудершафт, актер впадал в неописуемую ярость, срывал скатерти и матюгал назойливых фанатов. Одна дама в кировском ресторане "Вудьявр" довела его до белого каления, когда попросила поставить автограф на своей арбузообразной декольтированной груди.