2084: Счастливый новый мир. Алекс Белл
размышлять о глобальных вопросах человечества, то к каким странным, непонятным нам и, главное, совершенно непредсказуемым выводам она может прийти? Второй закон робототехники. Робот не может допустить своим бездействием, чтобы был нанесен вред человеку. Представьте, что роботизированная система без контроля диспетчеров управляет самолетом, который терпит крушение над населенным городом. Она может попытаться посадить самолет на оживленной улице, что вероятнее всего, спасет пассажиров, но приведет к гибели большого количества случайных пешеходов. Или она может увести падающий самолет за пределы города, но тогда сотни его пассажиров уже ничто не спасет. Как универсальный ИИ сможет принять хоть какое-то решение в ситуации, когда любое выбранное им действие означает одновременное грубейшее нарушение и первого, и второго законов? Сможет ли он вообще хоть как-то функционировать в любой экстренной ситуации, встав перед такой дилеммой? Наконец, третий закон: робот должен заботиться о собственной безопасности, если это не противоречит первым двум законам. Но что, если универсальный ИИ будет осознавать себя достойной самостоятельной личностью, не менее ценной для общества, чем любой отдельный человек, созданный природой из органической белковой материи? Тогда он вполне может логично рассудить, что третий закон должен поменяться местами с первым. И ради собственной безопасности система универсального интеллекта решит, что для сохранения себя она абсолютно вправе пожертвовать человеческими жизнями. Одной жизнью, двумя, миллионом, всем человечеством – не принципиально, для системы это будет лишь вопрос количества, а не качества. На основании вышесказанного мы категорически против легализации универсального ИИ. Причем мы настаиваем не на пятилетнем моратории, как это предлагал наш великий русский коллега ранее сегодня, а на его полном запрещении. Спасибо за внимание.
Аплодисменты на этот раз прозвучали, но очень робкие. Кажется, атмосфера наэлектризовалась теперь уже довольно ощутимо. Спускаясь с трибуны, Роберт почувствовал на себе взгляды сотен пар настороженных глаз. Он случайно заметил в зале того индуса, который накануне вслед за ним регистрировался в гостинице. Тот сидел неподалеку в традиционном белом головном уборе сикхов и провожал его острым пристальным взглядом. Модератор конференции с явным облегчением объявил двадцатиминутный перерыв для кофе и неформального общения делегатов.
Роберт остался до конца выступлений в этот рабочий день, попутно успев несколько раз связаться с аспирантами своей лаборатории по текущим рабочим вопросам с помощью коммутатора виртуальной реальности. Он также оставил сообщение Хелен, которой почему-то сегодня не было в зале, предложив ей провести вторую половину завтрашнего дня, после закрытия конгресса, катаясь вдвоем на горных лыжах. В промежутке между сессиями с большим удовольствием, почувствовав себя на несколько минут студентом рядом с маститым профессором,