Тем не менее торговое процветание Византии было серьезно подорвано в XII в. из-за итальянских купцов, которых византийцы называли «латиняне». Венецианцы получили широкие привилегии от Алексея I; с течением времени пизанцы и генуэзцы стали их конкурентами. В империю приехали в большом количестве итальянские купцы, чтобы в ней поселиться. (Евстафий говорит о шестидесяти тысячах в Константинополе в 1182 г., но эта цифра не вызывает доверия.) Итальянцы процветали благодаря освобождению их от большинства налогов, что давало им возможность продавать товары дешевле, чем их конкуренты-византийцы. Латиняне не ограничивались торговлей: упрочившись в империи, они прибрали к рукам и долю в промышленности. В глазах византийцев они пили из империи кровь.
Несмотря на преобладание латинских морских перевозок, не все византийские суда были вытеснены с моря. Особенно Черное море оставалось их заповедником: Андроник Комнин собрал в Понте флот, чтобы с его помощью напасть на Константинополь; Алексей III обнаружил, что там выгодно нападать на торговые корабли отчасти для того, чтобы уничтожать турецкие корабли, плывущие из Аминсоса (современный Самсун). Что касается Эгейского моря, митрополит Афинский Михаил Хониат однажды указал одному высокопоставленному имперскому чиновнику на абсолютную независимость этого города в части морской торговли. Несколько лет спустя он случайно упомянул корабль из Монемвасии; эта деталь говорит о продолжении существования прибрежной торговли в Эгейском море, несмотря на большое количество в нем пиратов. Наконец, когда участники Четвертого крестового похода начали всерьез атаковать Алексея IV 1 декабря 1203 г., они захватили в гавани много греческих кораблей, нагруженных множеством товаров и продовольствием.
В XII в. византийское общество имело сложную структуру, однако классовые границы оставались слабо очерчены, и их легко можно было переходить. В Константинополе главенствовала придворная аристократия родственники императора: к этой группе принадлежали такие семьи, как Дука и (до 1185 г.) Ангелы. В провинциях царили семьи крупных землевладельцев (среди прочих семьи Врана, Мелиссеной, Маврозом). Кое-кто из представителей последней семьи путем заключения брака вошел в семьи дворцовой знати, а некоторые придворные владели немалыми землями. Ниже по общественной лестнице стояли представители имперского чиновничества, начиная от мелких клерков и заканчивая государственными министрами, которые также занимали большинство значимых постов в церкви. Их положение давало им огромное влияние. Некоторые чиновничьи семьи (например, Каматерои) породнились с дворцовой аристократией. О городских жителях, особенно за пределами столицы, нам известно слишком мало. Более состоятельными работниками были те, которые объединялись в гильдии. Основу общества составляли большая масса обедневших ремесленников и нищие. Вне городов часть крестьян была еще свободной, но остальные фактически превратились в рабов крупных землевладельцев.
В эту иерархию латиняне вошли как незваные гости, хотя некоторые из них и сумели вписаться в эту структуру. Было много наемников-франков, которые приняли командование частью армии и даже личной охраной императора. Всем была известна симпатия Мануила I к западноевропейским рыцарям; видимо, он предпочитал их непоколебимую храбрость вероломству и трусости своих собственных подданных. При самом дворе латиняне были заметны. Изгнанники благородного происхождения, особенно из королевства Сицилия, находили в Константинополе радушный прием и служили посланниками в западные державы. Мануил последовательно женился на двух латинских принцессах Берте Зульцбахской и Марии Антиохийской и для своих сына и дочери выбрал жену и мужа из Западной Европы. Образованные люди, такие как братья из Пизы Уго Этериан и Лео Этериан (Тускус), всю жизнь работали в бюрократическом аппарате Византии. Эти представители населения не соперничали с местными жителями, и поэтому они не были нежеланными гостями.
Положение итальянских купцов было совсем другим. В огромных количествах, сопровождаемые католическими священниками и монахами, они жили в многолюдных кварталах вдоль Золотого Рога, хотя некоторые проживали в домах в других частях города. Между византийцами и латинянами часты были смешанные браки, и были известны случаи тесной дружбы. В час величайшей опасности Никиту Хониата и его семью укрыл в своем доме венецианский купец. Однако многие византийцы с непримиримой враждебностью относились к латинянам, считая их еретиками или того хуже, и возмущались их богатством и тем, что они освобождены от налогов. Византийцы и западноевропейцы презирали друг друга за язык, уровень культуры и обычаи. Император старался заручиться лояльностью латинян, делая их burgesses, или подданными Византийского государства, давшими ему клятву верности. Ситуация была взрывоопасная: лишь власть Мануила Комнина держала ее в узде.
Город Константинополь сердце империи был местом грубых контрастов. Представители аристократии и верхушки среднего класса жили в просторных городских домах, сгруппированных поблизости от Большого дворца на восточной окраине города, вокруг нового Влахернского дворца Комнинов на его противоположном конце и вдоль главной улицы улицы Меса по направлению к Золотым воротам. Самыми выдающимися памятниками города были многочисленные церкви во главе с храмом Святой Софии, многие из которых при монастырях. Ипподром был по-прежнему центром политической жизни: горожане могли там бунтовать против императора, или император использовал его как место для наказания так называемых врагов государства. Другие общественные здания служили нуждам величайшей столицы мира. В такой обстановке представители высших классов жили в великолепии и роскоши.
Совсем другим был удел бедноты. В стороне от главных магистралей улицы города были узкими и темными, а от деревянных домов работников и нищих постоянно исходила угроза пожара. Ремесленники, задавленные западной конкуренцией, иногда использовали свои гильдии для защиты себя от властей. Обедневшая масса нищих вела скудное существование, будучи постоянно неуверенной в завтрашнем дне и испытывая недовольство. Здесь были распространены пьянство, проституция и преступность. Ко второй половине века ситуация усугубилась настолько, что стихийно появились демагоги, каждый из которых, как говорили, был истинным королем среди жителей своего района. Ненависть к латинянам объединяла и направляла население. Как только исчезла сдерживающая рука Мануила, толпа стала движущей силой в политике.
За пределами городов жизнью управляли крупные землевладельцы. Начиная с IX в. во всех уголках Византийской империи появились семьи, имевшие обширные земельные владения. Между 1071 и 1097 гг. землевладельцы в Анатолии, ранее самые богатые и известные люди, были сметены потоком турков-сельджуков. Комнины отвоевали эти земли, и эти люди отчасти вернули себе свое положение. Когда приблизительно в 1196 г. некий магнат из города Антиохия на реке Меандр праздновал свадьбу своей дочери, празднества были столь расточительными и шумными, что отпугнули турецкое войско, собиравшееся захватить этот город врасплох ночью. В балканских провинциях богатые семьи занимали хорошо упрочившееся положение, несмотря на неспокойные времена первых лет правления Алексея I. Поместья таких кланов, как Врана, располагались вокруг Адрианополя и были огромными. Отдельные семьи держались вместе, помогая своим главам семейств, и действовали только после совместного совещания. Брачные союзы и семейные договоры лежали в основе большинства политических распрей в Византии. Так как Комнины сами были выходцами из землевладельцев, они ценили значимость своего класса. Алексей I ввел новые почетные титулы для тех, кто породнился с императорской семьей, такая практика активно поощрялась. Военная карьера давно уже была традиционной для представителей землевладельческих кланов; при Комнинах эта традиция продолжилась. В конце века историк Никита Хониат называет представителей знати those of blood (дословно: люди крови). Эта концепция «знатности по рождению» ознаменовала завершившееся изменение.