На краю пропасти. Экзистенциальный риск и будущее человечества. Тоби Орд
катастрофы “нет пути назад”. Это досадно, но я считаю, что игра стоит свеч.
Я оставляю слабую надежду на восстановление, чтобы мне не могли возразить, что шанс на возрождение всегда есть, пусть даже бесконечно малый. Следовательно, строго говоря, потенциал не может быть уничтожен полностью. Однако от такого строгого прочтения мало пользы. Чтобы сделать выбор, нам не нужно знать, каким именно будет шанс на восстановление при реализации определенного сценария – ровно 0 % или 0,1 %. Обе ситуации почти одинаково плохи в сравнении с текущей, и плохи они по одной причине: их чрезвычайно сложно обратить вспять, и они (почти полностью) уничтожают наш долгосрочный потенциал. Более того, в обоих случаях нам следует действовать схожим образом: принимать предупредительные меры, а не учиться на ошибках. Ситуации, в которой у человечества в буквальном смысле “нет пути назад”, стоит избегать по тем же причинам, что и ситуации, когда “практически нет пути назад”. Таким образом, лучше всего включить почти необратимые ситуации в определение наравне с совершенно необратимыми.
81
Если наш потенциал значительно превосходит текущее состояние цивилизации, то событие, которое просто законсервирует текущее положение вещей, будет считаться экзистенциальной катастрофой. Примером может служить перманентная остановка технического прогресса.
Может показаться странным, что мы называем катастрофой сценарий, который просто крайне далек от оптимального. Мы привыкли считать, что потенциал уничтожают такие события, которые вызывают страдания незамедлительно, а не такие, которые разрушают чей либо потенциал, не меняя качества жизни в настоящий момент. Но рассмотрим, например, решение родителей не давать образование своему ребенку. Оно не вызовет страданий немедленно, но может привести к катастрофическому исходу для ребенка в отдаленном будущем.
82
В некоторых случаях идеи и методики из этой книги могут также применяться к таким местным “экзистенциальным угрозам”, поскольку они имеют определенные сходства (в миниатюре).
83
Здесь тоже есть свои проблемы. Так, порой нам придется говорить, что нечто было риском в прошлом (насколько нам известно), но больше риском не является. Например, раньше были опасения, что ядерное оружие подожжет атмосферу (см. с. 108). Но обратите внимание, что такое случается с рисками любого типа: так, на прошлой неделе мы могли полагать, что существует риск падения лифта из за потертости троса, но теперь этот риск снизился до нуля, поскольку у нас появились новые данные (мы проверили трос и обнаружили, что с ним все в порядке). Подробнее об объективной и логической вероятности при определении экзистенциального риска пишут Bostrom & Сirkovic (2008) и Bostrom (2013).
84
Часто появляются списки потерпевших крах цивилизаций прошлого, таких как Римская империя и цивилизация майя. Но в этой книге, говоря о (глобальном) коллапсе цивилизации, я имею в виду другое. Статистика небольш�