Такое происходит на удивление часто. Например, чернокожие американцы курят чаще, чем белые, но если разбить их на группы по уровню образования, то оказывается, что в каждой из них чернокожие курят реже. А все потому, что среди более образованных граждан, где процент курящих меньше, ниже доля чернокожих.
Или вот еще один широко известный пример. В сентябре 1973 года в аспирантуру Калифорнийского университета в Беркли подали заявки 8000 мужчин и 4000 женщин. Из них было принято 44 % мужчин и только 35 % женщин.
Но если посмотреть повнимательнее, то можно заметить: почти на всех факультетах у женщин было больше шансов поступить. Самый популярный факультет принял 82 % подавших заявки женщин и лишь 62 % мужчин; второй по популярности 68 % женщин и 65 % мужчин.
Тут дело в том, что женщины подавали заявки на факультеты с самым большим конкурсом. На один из факультетов было подано 933 заявки, из которых 108 подали женщины. Зачислили 82 % женщин и 62 % мужчин.
В то же время на шестой по популярности факультет было подано 714 заявок, из них 341 от женщин. Здесь поступили 7 % женщин и 6 % мужчин.
Но если сложить данные по этим двум факультетам, то на них поступало 449 женщин и 1199 мужчин. Было принято 111 женщин (25 %) и 533 мужчины (44 %).
Еще раз: на каждом из факультетов в отдельности у женщин было больше шансов поступить, а на двух вместе меньше.
Как это лучше всего представлять? Зависит от обстоятельств. В случае с зарплатами американцев можно считать медианы более информативными, потому что медианный американец стал зарабатывать больше (поскольку теперь больше американцев оканчивают колледжи и школы). А в случае с аспирантами можно говорить о том, что, какой бы факультет ни выбрала женщина, у нее больше, чем у мужчины, шансов поступить в аспирантуру. Но с таким же успехом можно говорить о том, что для людей, не окончивших школу, ситуация ухудшилась; и можно отметить, что тем факультетам, на которые хотят поступать женщины, явно не хватает ресурсов: они могут принять лишь небольшую долю подавших заявки. Беда в том, что в ситуациях парадокса Симпсона можно высказывать противоположные точки зрения в зависимости от вашей политической позиции. Честнее всего тут было бы сообщать о наличии этого парадокса.
А теперь вернемся к коэффициенту распространения COVID-19. Он вырос, стало быть, вирус поражает больше людей, а это плохо.
Только все не так просто. Одновременно происходили две как бы отдельные эпидемии: в домах престарелых и больницах болезнь распространялась не так, как в стране в целом.
Мы не знаем точных цифр, потому что такие подробности не публиковались. Но мы можем провести мысленный эксперимент сродни описанному выше. Предположим, что в домах престарелых было 100 заболевших, а еще 100 вне их. В среднем каждый больной в домах престарелых заражает троих, а вне их двоих. Тогда коэффициент распространения (среднее число людей, зараженных одним носителем инфекции) равен 2,5.
Затем объявляется локдаун. Количество заболевших снижается, и R тоже снижается. Но и это важный момент в домах престарелых снижение не такое сильное, как вне их. Теперь в них 90 человек, каждый передает инфекцию в среднем 2,9 людей, а в стране 10 заболевших, передающих вирус в среднем одному человеку. Поэтому теперь R = 2,71. Он вырос! Но в обеих группах снизился.[4]
Как правильно это рассматривать? Опять-таки ответ неочевиден. Вас может в первую очередь волновать значение R, потому что на самом деле наши две эпидемии не разделяются. Тем не менее ситуация явно не сводится к утверждению: когда R растет, это плохо.
Парадокс Симпсона один из примеров более общей проблемы, называемой «экологической ошибкой», когда вы пытаетесь судить об отдельных людях или подгруппах по средним для группы значениям. Экологическая (или популяционная) ошибка встречается чаще, чем можно предположить. Читателям и журналистам важно понимать, что общая величина не всегда отражает реальность, а чтобы досконально разобраться в ситуации, следует копать глубже.
Глава 2
Отдельные наблюдения
В 2019 году сразу две газеты, Daily Mail и Mirror, написали о женщине, которая, узнав, что у нее терминальная стадия рака, прошла альтернативное лечение в мексиканской клинике. Ее терапия «включала гипербарическую оксигенацию, общую гипотермию, инфракрасное облучение, воздействие импульсного электромагнитного поля, кофейные клизмы, посещения сауны и внутривенное введение витамина С». И опухоль резко уменьшилась.
Мы предполагаем, что большинство читателей этой книги относятся к подобным историям со здоровым скептицизмом. Но этот случай прекрасная отправная точка для понимания того, как числа могут вести к неверным выводам. На первый взгляд кажется, что здесь нет никаких чисел, однако одно неявно присутствует единица. История одного человека служит основой для доказательства утверждения. Это пример того, что мы называем отдельным наблюдением (anecdotal evidence).
У таких доказательств плохая репутация, но назвать все такие рассуждения принципиально неверными нельзя. Как мы обычно решаем, где правда, а где ложь? Очень просто: проверяем утверждение сами или слушаем людей, проверивших его.
Если мы прикоснулись к горячей сковородке и обожглись, то мы, опираясь на этот единственный случай, приходим к выводу, что горячие сковородки обжигают и всегда будут обжигать и что их лучше не трогать. Более того: если кто-то скажет, что сковородка горячая и что мы обожжемся, если ее коснемся, мы легко в это поверим. Нас убеждает опыт других людей. В этом примере можно обойтись без всякого статистического анализа.
В жизни такой подход почти всегда срабатывает. Обучение на базе рассказа или личного опыта когда человек делает вывод на основе отдельного наблюдения довольно эффективно. Но почему? Почему единичное наблюдение тут годится, а в других случаях нет?
Потому что еще одно прикосновение к горячей сковородке почти наверняка даст тот же результат. Можете трогать ее раз за разом будьте уверены: вы каждый раз обожжетесь. Это нельзя доказать со стопроцентной уверенностью: возможно, на 15 363 205-й раз поверхность покажется холодной. Или на 25 226 968 547-й. Можно продолжать трогать сковородку до скончания века, чтобы убедиться хотя вряд ли оно того стоит, что она всегда обжигает. Но большинству людей достаточно один раз обжечься.
Есть и другие события, которые всегда происходят одинаково. Если отпустить что-то тяжелое, оно непременно упадет. Это неизменно, если вы находитесь на Земле. Как событие произошло в первый раз, так оно и будет происходить всегда. В статистике про такие события говорят, что они репрезентативны для распределения событий.
Отдельных случаев трудно избежать. Мы будем опираться на них на протяжении всей книги, показывая на конкретных примерах, какие ошибки делают СМИ. Надеемся, вы поверите, что они типичны и наглядно демонстрируют, что иной раз творится с числами.
Проблемы возникают, когда вы опираетесь на примеры в менее предсказуемых ситуациях, где распределение событий не так очевидно. Например, вы не сковородку трогаете, а гладите собаку, и она вас кусает. Разумно впредь проявлять большую осторожность, но не стоит считать, что, прикасаясь к собаке, вы обречены на укус. Или вы выпускаете из рук не что-то тяжелое, а воздушный шарик. Вы видите, как он поднимается и ветер сносит его на запад, но нельзя сделать вывод, что выпущенный из рук шарик всегда летит в этом направлении. Беда в том, что трудно определить, какие ситуации однотипны и предсказуемы (как случаи с горячей сковородой или брошенным камнем), а какие нет (как с шариком).