Это не значит, что к Алексе нужно относиться как к рабыне. Ведь раб это человек, которому отказано в возможности самоопределения, тогда как Алекса это искусственное существо, которое мы определили сами и чьи способности ограничены управляющими им алгоритмами. Речь идет о том, чтобы, опираясь на базовые моральные принципы, провести четкое различие между субъектом, который, будучи целью в себе, заслуживает уважения, и чисто утилитарным объектом. Роботы не являются ни нашими друзьями, ни нашими врагами, ни ангелами, ни демонами. Это просто инструменты. Только четко это понимая, мы сможем мирно сосуществовать с ними.
Поэтому жизненно важно уметь отличать человека от робота. Эта задача иногда сложнее, чем кажется. Ник Монако, работающий в Digital Intelligence Lab в Вашингтоне, сделал ее своей профессией. Он разрабатывает алгоритмы, которые отслеживают другие алгоритмы, позволяя отличать автоматически сгенерированные ботами сообщения (например, в твиттере их около 25 %). Речь не о том, чтобы их запретить: половина трафика в интернете уже нечеловеческого происхождения. Однако нужно иметь возможность четко их определять. Ника на самом деле беспокоит появление дипфейков, способных, например, произвести видео Дональда Трампа, говорящего на китайском, абсолютно убедительного и в то же время полностью поддельного. Мы только вступаем в полосу подобных политических манипуляций. Чтобы защититься от них, нужны такие технические специалисты, как Ник, но не менее важно уметь проводить концептуальную границу между машиной и человеком.
К сожалению, технологическая индустрия развивается совсем в ином направлении. С тех пор как я познакомился с Алексой, Amazon успел внедрить в ее код функцию «Волшебное слово» (Magic Word), которая вознаграждает за вежливое с ней обращение (Google быстро последовал тому же примеру, внедрив функцию Pretty Please). Подобный подход, ни в коей мере не способствуя хорошему воспитанию детей, грозит вернуть их к первобытной социальности, в которой нужно благословлять дома и приветствовать холодильники. Это, если воспользоваться выражением одного социолога, новый «троянский конь»[31]. Он приведет к общей антропоморфизации робототехники, последствия которой могут быть катастрофическими, например в военной сфере: если к роботу-солдату нужно относиться как к человеку, должны ли к нему применяться нормы военного права? Не значит ли это, что мы воссоздадим золотого тельца или, скорее, миллионы и миллиарды золотых тельцов, пав ниц перед которыми, отречемся от всякого желания сделать мир умопостигаемым?
Конечно, нельзя позволять детям обращаться с Алексой грубо (что и было проблемой, первоначально поставленной Amazon). Но они должны ограничиться нейтралитетом. Вместо того чтобы требовать формул вежливости, алгоритм мог бы поощрять чисто функциональное поведение. Я поговорил об этом с ПП Чжу («Зовите меня просто ПП»), основателем Xiao-i, азиатского гиганта, производящего чат-боты. Китаец, когда звонит в электроэнергетическую компанию или снимает трубку в ответ на рекламный звонок от фирмы недвижимости, скорее всего, общается с ИИ, разработанным инженерами ПП. Его перенаправят к оператору-человеку лишь на последнем этапе, если вопрос слишком сложный или нестандартный. Методы машинного обучения позволили компании Xiao-i, основанной в конце 1990‐х годов, добиться значительного прогресса, пусть даже техники NLP пока еще не дотягивают до уровня беглой речи.
«Меняют ли потребители поведение, когда понимают, что имеют дело с чат-ботом, а не с человеком-оператором? Конечно. Они начинают говорить более взвешенно!» улыбается ПП в дремотной атмосфере отеля Four Seasons, где он проводит встречи. С машиной не ругаются. Вы никогда не вываливали на невинного сотрудника кол-центра все свои денежные претензии, все проблемы с договором или с задержками поставки? Со мной такое бывало не раз Человек, пусть даже это бессильный винтик, стоящий на самой нижней ступени предприятия, остается связанным с группой, частью которой он является, и несет часть ее ответственности, пусть и бесконечно малую. С ИИ все это невозможно, поскольку он по природе своей невинен. Именно потому, что мы инстинктивно умеем отличать людей от машин, мы не будем терять время и винить их в ошибках людей. Точно так же мы никогда не почувствуем необходимости оправдываться перед роботом. ПП дал мне послушать запись разговора чат-бота, который требует, чтобы клиент оплатил счет. И хотя я не понимаю по-китайски ни слова, было очевидно, что диалог прошел совершенно спокойно. Никакого возмущения, никаких воззваний или извинений. Это своего рода моральная анестезия, в подобных обстоятельствах весьма похвальная. Впрочем, как отмечает ПП, потребители переходят к более стандартизированному языку, чтобы их лучше понимали. Люди настоящие хамелеоны, они умеют выдавать себя за роботов. Но не наоборот
Если у чат-ботов и есть долг перед собеседниками, он заключается не в вежливости, а в том, что с самого начала разговора они должны прямо заявлять о своей цифровой природе. Этот добровольно исповедуемый функционализм залог наших хороших отношений.
ПП говорит о любви. Любовь не дело чат-ботов. Вокруг нас журчат фонтаны, в клетках поют экзотические птицы, резко контрастирующие с горячечным оживлением Пекина. Мы потягиваем цветочный чай из фарфоровых чашек. Я понемногу оттаиваю после безумного дня, потраченного на выживание в пробках. В человеческой беседе есть свои прелести.
Без обратного билета посадка невозможна, объясняет она мне, улыбаясь.
Но я же вам говорю, что потом поеду в Китай!
В аэропорту Шарль-де-Голль во время моей посадки на рейс в Бостон стоит агент безопасности, которая не хочет ничего знать. Поскольку я въезжаю в США без визы, что возможно в случае пребывания, не превышающего трех месяцев, я должен показать ей обратный билет, чтобы доказать свое намерение покинуть территорию страны. Я же хотел поиграть в Керуака и отправиться в путь без точного маршрута. Я пока не знаю, полечу ли через Сиэтл (все зависит от ответа Amazon) и как долго пробуду в Сан-Франциско. Единственная вещь, которая мне известна и которую я пытаюсь объяснить своему неумолимому церберу, состоит в том, что я вылечу с Западного побережья в Пекин, где должен продолжить свой репортаж. Я показываю ей задание, подписанное директором издания Point, а также журналистскую визу в Китай, полученную не без некоторого труда: согласно этой визе я обязан прибыть на территорию КНР не позднее 16 сентября.
Без обратного билета посадка невозможна.
Но я совсем не хочу поселиться в США. Моя семья живет в Лондоне, работа в Париже. Я девять месяцев прожил в Нью-Йорке и поспешил оттуда уехать так соскучился по Европе. Клянусь честью, что предпочитаю круассаны бейглам, а Луи де Фюнеса Робину Уильямсу. Я терпеть не могу, когда меня будят сирены машин скорой помощи. У меня головокружение от небоскребов, и я никогда не обращаюсь к малознакомым людям по имени. Пожалуйста, позвольте мне вылететь.
Без обратного билета посадка невозможна.
Разве это преступление не бронировать гостиницы за два месяца? Разве у нас нет права просто шляться, фланировать, выжидать? Хотим ли мы жить в мире без случайности, без экспромтов, без вкуса?
Без обратного билета посадка невозможна.
Цербер продолжает одарять меня благожелательной улыбкой, закрывая проход телом. Ни малейшего раздражения. Эта невозмутимость в конце концов подавляет меня. В отчаянии я вижу, что времени почти не остается. Но я уже назначил на завтра ряд встреч в Массачусетском технологическом институте Путешествующие по делам обходят меня, не моргнув глазом, а семьи, отправляющиеся в турпоездку, оглядывают с любопытством. Я чувствую себя как мигрант, у которого нет правильных документов и печатей. Почему все эти люди проходят без проблем? Чем я хуже их? К какой недочеловеческой касте я теперь отношусь?