Своим поступком они усилили у людей комплекс Франкенштейна - инстинктивную боязнь, что искусственно созданный интеллект восстанет против своего создателя. Люди боятся, что роботы могут занять их место.
- А вы сами не боитесь?
- Я лучше осведомлен. Пока действуют Три Закона Роботехники, этого не случится. Роботы могут стать нашими партнерами, внести свой вклад в великую борьбу за разгадку законов природы и мудрое управление ею. При таком сотрудничестве человечество могло бы достигнуть гораздо большего, чем в одиночку, причем роботы всегда стояли бы на страже интересов человека.
- Но если на протяжении двух веков Три Закона успешно удерживали роботов в границах повиновения, в чем же источник недоверия людей?
- Ну... - Харриман яростно поскреб затылок, взъерошив седые волосы. - В основном, конечно, предубеждение. Но, к несчастью, есть тут некоторые сложности, за которые, конечно же, сразу ухватились противники роботов.
- Это касается Трех Законов?
- Да, в особенности Второго Закона. Видишь ли, с Третьим проблем нет, это закон абсолютный. Робот всегда должен жертвовать собой ради людей, ради любого человека.
- Естественно, - согласился Джордж Десять.
- Первый Закон, похоже, не столь универсален, потому что нетрудно придумать ситуацию, в которой робот обязан предпринять взаимоисключающие действия А или Б, и каждое из них в результате причинит человеку вред. Поэтому робот должен быстро выбрать меньшее из двух зол. Однако сконструировать позитронные мозговые связи таким образом, чтобы робот мог сделать нужный выбор, крайне нелегко. Если действие А нанесет вред молодому талантливому художнику, а действие Б - пяти престарелым людям, не имеющим особой ценности, - что предпочесть?
- Действие А, - без колебаний ответил Джордж Десять. - Вред, причиненный одному, меньше, чем вред, причиненный пяти.
- Да, роботов всегда конструировали с таким расчетом, чтобы они принимали подобные решения. Считалось непрактичным ожидать от робота суждения о таких тонких материях, как талант, ум, польза для общества. Все это настолько замедлило бы решение, что робот практически был бы парализован. Поэтому в ход идут числа. К счастью, такие критические ситуации достаточно редки... И вот тут мы подходим ко Второму Закону.
- Закону повиновения.
- Именно. Необходимость подчинения приказам реализуется постоянно. Робот может просуществовать двадцать лет и ни разу не оказаться в такой ситуации, когда ему нужно будет защитить человека или подвергнуться риску самоуничтожения. Но приказы он должен выполнять все время. Вопрос - чьи приказы?
- Человека.
- Любого человека? Как ты можешь судить о человеке, чтобы знать, подчиняться ему или нет? "Что есть человек, яко помниши его"1, Джордж?
Джордж заколебался.
- Цитата из Библии, - поспешно проговорил Харриман. - Это неважно. Я имею в виду: должен ли робот повиноваться приказам ребенка; или идиота; или преступника; или вполне порядочного человека, но недостаточно компетентного, чтобы предвидеть, к каким прискорбным последствиям приведет его желание? А если два человека дадут роботу противоречащие друг другу приказы - какой выполнять?
- Разве за двести лет эти проблемы не возникали и не были решены? поинтересовался Джордж.
- Нет, - энергично помотал головой Харриман. - Наши роботы использовались только в космосе, в особой среде, где с ними общались высококвалифицированные специалисты. Там не было ни детей, ни идиотов, ни преступников, ни невежд с благими намерениями. И тем не менее случалось, что глупые или попросту непродуманные приказы наносили определенный ущерб, но его размеры были ограничены тем, что роботов применяли в очень узкой сфере. Однако на Земле роботы должны уметь принимать решения. На этом спекулируют противники роботехники, и, черт бы их побрал, тут они совершенно правы.