Бинарные решения могут требовать углубленных дискуссий о рисках и возможностях, например, о том, должна ли компания продавать технологии дронов правительству. Ответы на бинарные вопросы могут быть и простыми. Например, вопросы из разряда «Должны ли платформы социальных сетей допускать торговлю людьми в целях сексуальной эксплуатации?» и «Следует ли учителю допускать травлю в классе?» требуют такого однозначного ответа: нет.
Однако на передовой этики мы чаще сталкиваемся с такими сложными этическими вопросами, которые не будут бинарными: они включают разные оттенки серого и постоянно изменяющееся соотношение рисков и возможностей для всех сторон. Поскольку мир вокруг нас меняется, этические границы размываются, мы часто оказываемся перед этическими дилеммами, на которые редко удается дать простой ответ.
Нам часто приходится заменять вопросы из разряда «Следует ли мне?» более открытыми и реалистичными вопросами вроде того, который я задала себе о Boeing: «Когда и при каких обстоятельствах мне следовало бы?» Формулировка наших этических дилемм в небинарных терминах помогает закрепить наш выбор в реальности. Как я говорю своим студентам, вы можете сколько угодно «заниматься этикой» в отрыве от реальности, но жить вам придется со вполне реальными последствиями.
Большинство решений, которые нам необходимо принять, будут небинарными. Но я начала с ситуации с Boeing, чтобы проиллюстрировать, что все же выбор «правильно или неправильно», «да или нет» существует. История с корпорацией Boeing пример по-настоящему бинарного решения и неправильного ответа. Вопросы были прямолинейными, а ставки максимально высокими.
Прежде чем мы начнем анализировать решения, принятые Boeing, нам необходимо лучше разобраться в том, как конструкция самолета Max привела к падению корпорации. Все началось в 2010 году, когда главный соперник компании, французский авиастроитель Airbus, объявил о запуске нового самолета, который будет сжигать на 20 % меньше горючего[45]. Когда в Boeing узнали о том, что их давний клиент авиакомпания American Airlines рассматривает возможность приобретения двухсот новых французских самолетов, они немедленно вступили в конкурентную борьбу[46].
Проектирование нового судна могло занять десять лет, потребовалось бы дорогостоящее обучение пилотов, поэтому вместо этого корпорация Boeing решила обновить уже существующую модель 737, снабдив ее новыми топливосберегающими двигателями[47]. В августе 2011 года совет директоров Boeing одобрил запуск в 2017 году переоборудованной модели 737, которая стала известна как Max. Еще до начала строительства компания успела получить 496 заказов на новые топливосберегающие самолеты[48].
Инженеры Boeing вскоре выяснили, что при установке массивных современных двигателей на самолет, изначально построенный в 1967 году, возникают серьезные проблемы[49]. Например, у модели 737 остается совсем небольшое расстояние между корпусом самолета и землей, поэтому под крыльями судна просто не хватало места для размещения двигателей большего размера. В результате новые двигатели переместили немного выше крыла и продвинули вперед[50]. Но это нарушило всю аэродинамику[51]: когда самолет был на полной тяге во время взлета, нос часто задирался слишком высоко, вызывая сваливание. Поначалу инженеры оценивали идею изменения формы крыльев или добавления к крыльям небольших металлических лопастей, чтобы изменить аэродинамику[52]. Когда эти варианты не сработали, компания Boeing разработала в качестве программного решения систему MCAS[53]. MCAS изначально была создана так, чтобы учитывать входные сигналы от двух источников: от одного из датчиков угла атаки и о перегрузке. Если и угол атаки, и перегрузка были слишком велики, MCAS тонко отрегулировала бы положение хвоста самолета, чтобы опустить нос. Но затем инженеры поняли, что самолет может испытывать аэродинамическую нестабильность не только на высоких, но и на низких скоростях, поэтому они убрали фактор перегрузки как механизм запуска системы MCAS. Это означало, что теперь активировать MCAS мог и один датчик угла атаки[54].
ФАА сертифицировало систему MCAS и ее активацию с помощью одного датчика, основываясь на предварительном «анализе безопасности системы», который компания Boeing предоставила надзорным органам. Но впоследствии инженеры Boeing сделали MCAS более мощной и интенсивной без обновления сертификационных документов ФАА. К тому времени, когда самолеты были доставлены заказчикам, MCAS могла перемещать хвост в четыре раза дальше, чем предполагалось изначально, и могла автоматически перезагружаться, снова и снова опуская нос самолета, даже когда пилот поднимал его. Согласно показаниям руководства Boeing, летный экипаж уже был обучен обращению с тем, что называется «неуправляемым стабилизатором», по сценарию, при котором нос самолета также опускается. Из-за этого руководство Boeing «предположило», что пилоты будут реагировать на ошибочную активацию MCAS и решат эту проблему таким же образом: щелкнут переключателями на панели управления и отключат эту систему[55].
Ошибочные предположения Boeing привели к нескольким неверным шагам. Во-первых, эти предположения были основаны на том факте, что в ходе испытаний опытные пилоты Boeing смогли распознать опасность заваливания носа, щелкнуть переключателями и взять под контроль самолет за четыре секунды. Но при испытаниях не учитывались хаотические ситуации в кабине или другие возможные переменные. Национальный совет по безопасности на транспорте США (NTSB) указал в своем официальном отчете за 2019 год, что ФАА должно разработать новые стандарты проектирования и потребовать внедрения бортовых диагностических инструментов для повышения эффективности пилотирования. Национальный совет также отметил, что «отраслевые эксперты обычно признают, что система самолета должна быть спроектирована таким образом, чтобы последствия любой ошибки человека были ограничены»[56].
Кроме того, компания Boeing с одобрения ФАА поставила самолеты Max (с активацией MCAS одним датчиком) без дополнительной подготовки пилотов и без упоминания MCAS в руководстве по эксплуатации. Первый пилот в отставке Чесли «Салли» Салленбергер, прославившийся тем, что в 2009 году благополучно посадил самолет на воды реки Гудзон в Нью-Йорке, в июне 2019 года объяснил подкомитету конгресса: «Я сомневаюсь, что до этих происшествий кто-либо из пилотов американских авиакомпаний сталкивался с подобным сценарием при обучении на тренажерах»[57]. Он также настаивал на том, что нельзя заставлять пилотов компенсировать «внутренние дефекты» в конструкции самолета.
В этом случае причина принятия неверных решений отчасти кроется в том факте, что ФАА наделяло Boeing все большими и большими полномочиями в отношении сертификации безопасности. Смысл в том, чтобы привлекать к этому инженеров компании, в какой-то мере есть[58]. У Boeing достаточно опыта, чтобы помогать ФАА с отдельными аспектами, на которые у последнего нет ресурсов или времени. Первоначально инженеры по сертификации назначались ФАА, подчинялись непосредственно своим коллегам в ФАА и получали оплату от Boeing. Но в 2004 году система изменилась[59]: теперь их назначали и руководили ими менеджеры Boeing, принимавшие окончательные решения о том, что будет представлено ФАА. Эти изменения дали менеджерам Boeing больше полномочий, а инженерам по сертификации меньше независимости, и корпорация Boeing воспользовалась этими изменениями, обратив их в свою пользу.