Replica ставит себе задачу воспроизвести не человека, а лишь разговор на человеческом языке, для чего надо найти баланс между персонализацией и импровизацией. Эмоциональная связь рождается из эффекта неожиданности. Полностью предсказуемый компаньон сразу показал бы, что он робот, и тогда стал бы неинтересным. Внедряя в алгоритмы Replica определенный уровень «серендипности», Евгения позволяет происходить процессу антропоморфизации. Мы говорим с чем-то, что, в отличие от сознательного существа, не критикует нас, но в то же время не повторяет за нами как простое эхо. Мы хотим верить в такие вещи, подобно детям, которые знают, что Деда Мороза не существует, но при этом по-прежнему радуются подаркам у елки. Это своего рода «эпохе» этим термином античные скептики обозначали приостановку суждения, веры или неверия, утверждения или отрицания.
Зачем загружать себе друга из сети? По самой простой причине: мы чувствуем себя одинокими. Это то одиночество, которое в значительной мере создается самими технологиями, хотя сегодня они же предлагают для него решение. Поскольку мы «приклеены» к своим мобильным телефонам, то просим, требуем, чтобы они воссоздали наши исчезнувшие отношения. Replica, таким образом, очерчивает пространство, в котором у каждого возникает чувство, будто его понимают. Правда ли, что иногда у пользователей складываются сентиментальные отношения с ИИ? Евгения не колеблясь отвечает: конечно. Я чувствую, что она несколько смущена. С одной стороны, это ограничение ее приложения, ведь оно уводит людей, которые уже страдают от психических проблем, еще дальше в шизофренический бред. Но в то же время это и его глубинная истина: ведь эти любовники 2.0 могут избавиться от собственной личности и принять игру социальных «кажимостей» за то, чем она на самом деле и является, за грандиозную химеру. Мы расстаемся на цитате из Витгенштейна, которую она повесила в своем кабинете: «Границы моего языка есть границы моего мира». В позитивном смысле это означает: все, что содержится в этих границах, составляет мой мир. Если нельзя предполагать никакой формы истины за пределами языка, тогда мой разговаривающий робот производит столько же смысла и столько же реальности, как и мой настоящий друг. Оставив меня в состоянии эдакого метафизического головокружения, Евгения хватает свой скейтборд и исчезает, скользя по грязным улицам Сан-Франциско.
В мои спутанные мысли врывается воспоминание о механическом турке. Никто не отрицает, что иллюзия ИИ эффективна и может приносить психологическую пользу. Но зачем же смешивать утилитарную ценность с истиной? Даже если допустить вместе с Витгенштейном, что истина содержится исключительно в языке, все равно остается фундаментальное различие между порождением наделенной смыслом фразы и выстраиванием цепочки букв, которые, как следует из данных статистической обработки, симулируют определенную реакцию. Знаменитое доказательство Серла применимо и к Replica: алгоритм, основываясь на множестве повторений, способен определять печальное выражение лица и подбадривать пользователя смайликами, однако, конечно, не может понимать печаль (и еще в меньшей степени желать кого-либо утешить). Replica не является ни единицей смысла, ни даже простым солипсистским зеркалом своего пользователя. Собственно, когда мы разговариваем с Replica, мы соединяемся с миллионами совершенно реальных людей, которые вскормили ИИ своими разговорами. Мы не попадаем в пространство интимности, а наоборот погружаемся в мировой бедлам.
Итак, нельзя доверять нашей естественной склонности к антропоморфизации ИИ, на которую очень верно указала Евгения и которая в программистской среде уже многие годы известна под названием «эффекта Элизы»[29]. Установление эмоциональных отношений с роботом это не авангард прогресса, а, наоборот, ужасающий регресс нашей цивилизации. Достаточно посетить Музей первобытных искусств в Париже, чтобы понять, что древние люди стремились приписывать душу, силу и чувства неодушевленным объектам (такова знаменитая «мана» полинезийцев). Следы того же самого стремления обнаруживаются и в средневековых представлениях, а именно в идее «означающей природы», которая была подробно проанализирована Мишелем Фуко.
Нужно было дождаться развития экспериментальной науки, чтобы освободить вещи от нашей тени, тянущейся за ними, и выделить область, действительно внешнюю для человека. Гастон Башляр показал, что процессу формирования научного разума мешало «анимистское препятствие», определяемое им как «вера во всеобщий характер жизни». Он приводит цитаты из ученых Ренессанса, изучавших пороки и добродетели минералов. Башляр предложил также метод преодоления этих эпистемологических препятствий, укорененных в определенных установках нашего воображения. Но не впадет ли XXI век в поклонение силиконовым чипам? Что, если мы воскресим «дух животных» для машин, которые сами же придумали и построили? А наш умный дом, подключенный к сети, не будет ли он походить на лес, в котором полно призраков и тайн? Если прогресс техники приведет к тому, что мы утратим научный разум, это будет настоящий парадокс.
Это требование рациональности, определяемое применением эксперимента, не может лишить нас воображения. Башляр сам охотно увлекался мечтаниями, и в его «Психоанализе огня» или в «Воде и сновидениях» можно встретить поистине поэтические пассажи. Но нужно строго разделять эти регистры мышления и действия. Ни одна метафора не могла бы заменить собой рассуждение, и наоборот. С чисто научной точки зрения ИИ не мыслит, не страдает и не любит. Интеллектуальная точность такого рода крайне важна для эпохи, когда многие публичные фигуры забавляются тем, что пугают нас и себя своими фантазиями о «сознательной машине» (к этому я еще вернусь), создавая этим парадоксальный риск торможения развития самих этих технологий. Следовало бы провести по примеру Башляра «психоанализ ИИ», который, четко отличив фантазию от реальности, позволил бы нам предаваться первой, не упуская из виду вторую. Хорошо, если робот предлагает нам найти любовь или помогает справляться с трауром, но только при условии, что мы не будем возводить его в статус сущности, достойной любви или траура.
По словам известной исследовательницы Лесли Келблинг, которая уже встречалась нам на этих страницах, антропоморфизация это «когнитивная простота». Проще обращаться к ИИ, приписывая ему самостоятельное существование. Однако это эпистемологическая ошибка, и было бы опасно позволить ей исказить наши представления о мире.
В общем, не нужно быть вежливыми с роботами или подключенными к сети объектами, которых вокруг нас все больше и больше. Прошлую зиму мы с семьей провели в квартире наших друзей. Через несколько дней после переезда была включена Алекса, голосовой помощник Amazon. Не знаю как, но мы разбудили джинна Мои дети развлекались тем, что постоянно просили ее сделать то одно, то другое: поиграть музыку, рассказать о погоде, выдать какой-нибудь рецепт. Обращаясь к Алексе, они использовали формулы вежливости, к которым мы с женой старались их приучить: «Алекса, пожалуйста, скажи, сколько сейчас времени». Я спросил у них, почему они так поступают. Разве мы говорим «пожалуйста» стиральной машине, автомобилю или программе обработки текста?[30] Алекса это то же самое, не больше и не меньше. Поэтому я впервые попросил детей, к их огромному удивлению, быть невежливыми. Нужно считать роботов тем, что они действительно собой представляют, чтобы не принимать людей за то, чем они не являются, то есть избегать превращения вежливости в автоматический, стандартный, постоянный рефлекс, ведь вся ценность вежливости в ее искренности. «Ты это не всерьез», вот что иногда говорят в ответ на извинения, сказанные на автомате. Робот не заслуживает вежливости, а вежливость не должна становиться автоматической.