Фантастика и футурология. Том II. Станислав Лем
фундамент интеллектронного программирования. Этой проблемой я занимался в «Summa Technologiae», рассматривая возможную эволюцию отношений между цифровыми машинами и людьми, поэтому не хотелось бы повторять сказанное. Но и робота, снабженного каким-то эрзацем личности, невозможно сделать совершенно безопасным для окружения, учитывая такую рефлексию, которая, правда, не может считаться доказательством, но на след его наводит. Примем оптимистическое (недоказуемое строго) предположение, будто технически осуществимо построение системы, являющейся одновременно самопрограммирующимся роботом, в то же время не могущим предумышленно причинить зло человеку. Моделью такого робота будет ребенок из новеллы Я. Ю. Щепаньского «Бабочка», который, желая помочь бабочке, неумышленно ее убивает. В принципе же моральную оценку такого поступка можно дать лишь постольку, поскольку удается проследить уходящие максимально далеко причинные цепочки, запущенные данным действием. Тот, кто смотрит дальше и замечает такие возможные последствия своих действий, которых кто-либо другой на его месте не в состоянии предвидеть, порой действует не так, как этот другой. Но чем дальше в будущее уходит предвидение последствий действия, тем значительнее в предикции будет участие вероятностных факторов. Добро и зло скорее в виде исключения образуют полярную дихотомию: включение в оценку пробабилистического элемента делает принятие решения все более трудным. Поэтому гипотетический робот, имеющий аксиологически очень сильную защиту, в ходе реальных событий, презентующих присущую им степень сложности, чаще всего бы замирал, не зная, как поступить, тем самым уподобляясь тем восточным мудрецам, которые бездействие чтили превыше действия, кое в запутанных ситуациях просто не может быть этически не рискованным. Но робот, охваченный параличом в ситуациях, требующих активности, не был бы наиболее совершенным из всех технических устройств, и поэтому в конце концов сам конструктор вынужден был бы оставить некоторый люфт его экологическим предохранителям.
Впрочем, это только одна препона среди обильного их множества, поскольку теория решений показала нам сравнительно недавно, скажем, на примерах типа так называемого парадокса Эрроу, что существуют несовыполнимые ценности, хотя подчастую подобное положение интуитивно распознать не удается. Тот, кто принимает решения в запутанных ситуациях, – а таковые относятся к общественно типичным, – никогда не действует ни исходя из полной информации, ни из предположения, что решаясь на это, никому не причинит зла (например, когда он выполняет обязанности законодателя и т. д.). Того же, что логически оказывается невозможным, ни цифровая машина, ни какой-либо робот, так же, как и человек, реализовать не сумеет. Сверх того – и это уже третий пункт доказательства – разумное устройство – это не более чем самопрограммирующийся комплекс, то есть прибор, способный преобразовывать – даже фундаментально – действовавшие до того законы собственного поведения под влиянием опыта (или обучения). А поскольку заранее невозможно точно предвидеть ни чему, ни каким образом такое устройство будет научаться,