На краю пропасти. Экзистенциальный риск и будущее человечества. Тоби Орд
тому, чего мы можем добиться, почти не существует.
Вымирание человечества закроет наше будущее. Оно уничтожит наш потенциал. Ликвидирует все возможности, кроме одной: мира, лишенного процветающего человечества. Вымирание приведет к возникновению этого обреченного мира и навсегда отрежет любые пути назад.
Философ Ник Бустрём показал, что вымирание – не единственный сценарий, по которому такое может произойти: возможны и другие катастрофические исходы, связанные с потерей не только настоящего, но и потенциала в будущем[76].
Представьте мир в руинах: масштабная катастрофа привела к глобальному коллапсу цивилизации и вернула человечество в состояние, в котором оно пребывало до перехода к сельскому хозяйству. В ходе этой катастрофы окружающей среде был нанесен такой серьезный урон, что у выживших не осталось шанса восстановить цивилизацию. Даже если бы такая катастрофа не привела к вымиранию человечества, она оказала бы сходное влияние на наше будущее. Огромный диапазон возможных вариантов будущего, открытых для нас сегодня, существенно сузился бы. Мы оказались бы в обреченном мире, не имея никакой надежды вернуться назад.
Рисунок 2.1. Классификация экзистенциальных катастроф по типу исхода, который не поддается изменению.
Теперь представьте мир в оковах: в будущем, напоминающем “1984” Джорджа Оруэлла, где вся планета оказалась во власти жестокого тоталитарного режима, решительно настроенного не сдавать своих позиций. Благодаря мощной пропаганде, поддерживаемой технологиями, а также надзору и принуждению, немногочисленные диссиденты не в силах даже отыскать друг друга, не говоря уже о том, чтобы произвести переворот. Так живет все население Земли, и режим не знает угроз – ни внутренних, ни внешних. Если бы такой режим мог поддерживаться бессрочно, погружение в тоталитарный мир имело бы немало общего с вымиранием: у людей осталось бы лишь ограниченное число вариантов будущего и не осталось бы выхода.
Вслед за Бустрёмом я буду называть такие события “экзистенциальными катастрофами”, определяя их следующим образом[77]:
Экзистенциальная катастрофа – это разрушение долгосрочного потенциала человечества.
Экзистенциальный риск – это риск, грозящий уничтожением долгосрочного потенциала человечества.
Эти определения показывают, что исход экзистенциальной катастрофы и плачевен, и необратим. У нас не просто исчезнет возможность реализовать свой потенциал – сам потенциал тоже будет навсегда потерян. Хотя я хочу оставить официальные определения краткими, несколько аспектов этих понятий требуют пояснения.
Во-первых, долгосрочным потенциалом человечества я считаю совокупность всех возможных вариантов будущего, которые открыты для нас[78]. Это огромный диапазон, куда входит все, чего человечество может добиться в будущем, даже если нам только предстоит изобрести средства достижения своих целей
См. Bostrom (2002b; 2013).
Бустрём (2013) определил экзистенциальный риск как риск, “который грозит преждевременным вымиранием возникшей на Земле разумной жизни или необратимым и радикальным уничтожением ее потенциала для желаемого развития в будущем”. Мое определение (и пояснения ниже) соответствует второй половине определения Бустрёма. Я не повторил первую часть, поскольку логически необходимость в ней отсутствует (наше “преждевременное вымирание” само по себе стало бы “необратимым и радикальным сокращением”), а потому она только отвлекает внимание от сути вопроса – от уничтожения нашего долгосрочного потенциала.
Обратите внимание, что в соответствии с моими определениями экзистенциальный риск – это просто риск экзистенциальной катастрофы. Я мог бы так и написать, но хотел, чтобы определение было самостоятельным.
Я намеренно не указываю, как именно совокупность возможных вариантов будущего определяет наш потенциал. Проще всего сказать, что ценность нашего потенциала соответствует ценности лучшего из открытых для нас вариантов будущего, то есть экзистенциальная катастрофа происходит, когда лучший из оставшихся вариантов будущего оказывается во много раз менее ценным, чем лучший из вариантов, который был у нас ранее. Можно также учесть сложность реализации каждого из возможных вариантов будущего, например определив ценность нашего потенциала как ожидаемую ценность нашего будущего в том случае, если мы пойдем лучшим из имеющихся путей. Но над этим еще предстоит поработать.
Определяя, считать ли катастрофу экзистенциальной, я ориентируюсь на уничтожение потенциала человечества, вместо того чтобы сделать акцент на необратимости итога, по двум основным причинам. Во-первых, такое определение удобнее для выявления набора рисков, которые имеют сходные механизмы работы и предполагают сходные стратегии для их предотвращения. Во-вторых, я смотрю на человечество с оптимизмом. Учитывая, что достаточно долгое время наш потенциал оставался невредим, я полагаю, что у нас есть очень большая вероятность его реализовать, а откаты назад будут лишь временными, если только не уничтожат нашу способность к восстановлению. В таком случае вероятность того, что человечество не сможет достичь великого будущего, главным образом связана именно с уничтожением его потенциала, то есть с экзистенциальным риском.