Часто путают глобальные катастрофы, ведущие к вымиранию человечества (англ. термин «existential risks))), и любые другие колоссальные катастрофы, которые могут принести огромный ущерб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Для первых в Критерием глобальных катастроф является необратимость. Для них в русском языке пока нет устоявшегося краткого термина. Так, Моисеев называл их цивилизационными рисками или катастрофами. В данном труде используется название «глобальные катастрофы). Существует также термин-калька — экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей) [Bostrom 2001].) Разница между этими видами катастроф — не в количестве погибших и испытанных людьми страданий, а в будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле вновь будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам (от древних греков остался, по некоторым оценкам, лишь 1 Гб информации, а влияние их на культуру оказалось огромным). Критерием же глобальных катастроф является необратимость.
Примером такой разницы могут служить две катастрофы: в одной вымирает всё человечество, в другой — гибнут все, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. На взгляд отдельного человека никакой зримой разницы между двумя случаями нет. И в том, и в другом он погибнет почти наверняка, вместе со всем, что для него ценно. Однако для человечества как целого разница равнозначна различию между смертью и очень тяжёлой болезнью. Болезнь может быть долгой и мучительной, но закончится выздоровлением, а смерть — лёгкой и мгновенной, но обязательно необратимой.
Недооценка неочевидных рисков. Глобальные риски делятся
на очевидные и неочевидные. Неочевидные риски в некотором смысле
гораздо опаснее, потому что неизвестен их объём и вероятность неизвестны,
а для их снижения ничего не предпринимается. Некоторые неочевидные риски известны лишь узкому кругу специалистов, а мнения в оценке их реальности и вероятности зачастую диаметрально противоположны. Для стороннего наблюдателя эти мнения могут выглядеть в равной мере обоснованными, что заставляет выбирать между ними или исходя из личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в которых остаётся ещё много белых пятен.
С ростом знаний о природе и могущества техники постоянно растёт число известных причин возможного человеческого вымирания. Более того, этот рост ускоряется. Потому вполне разумно ожидать, что есть важнейшие риски, о которых мы не знаем ничего. И хуже из них те, о которых мы физически не можем ничего узнать, пока они не реализуются.
Кроме того, очевидные риски гораздо удобнее анализировать. Огромные объёмы данных по демографии, военному потенциалу и запасам сырья, которые можно исследовать детально и подробно, попросту могут заслонять тот факт, что есть и другие риски, о которых известно очень мало. Такие риски не годятся для анализа в численной форме, но тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).
Известно, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами происходящего: ошибки в оценке высоты, степени опасности процесса и т.д.. Наоборот, когда такое понимание имеется, самолёт часто удаётся спасти в совершенно невероятных условиях. И хотя апостериори причины катастрофы понятны, пилотам в тот момент они были совершено неочевидны.
Глобальные риски нетождественны национальной безопасности Государства тратят на национальную безопасность больше средств, чем на глобальную. Однако глобальные риски — гораздо большая угроза для каждой страны в отдельности, чем национальные: просто потому, что если погибнет мир, то и страна вместе с ним. Причём часто действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны повышает, — во всяком случае, по мнению её руководства — наращивание запасов ядерного и бактериологического оружия. Однако гонка вооружений снижает безопасность мира в целом! Или, например, проблемой РФ является депопуляция, а для всего мира — перенаселение (равно как и для Москвы). Ещё пример: один американский фонд (Lifeboat.com) реализует проект по предотвращению глобальных рисков и террористических атак на США. Но для нас понятно, что первое и второе — не одно и тоже.
Ошибка, связанная с психологизацией проблемы. Издавна существует архетип сторонника «конца света), толкователя апокалипсиса, -как отверженного обществом индивида, пытающегося нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, неудачи в финансах и личной жизни. Однако истинность или ложность такой интерпретации психологических мотивов не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если дело не касается их собственной жизни.
Отождествление глобальной катастрофы со смертью всех людей и наоборот. Вымирание человечества не означает гибели всех людей, и наоборот. Легко представить сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства… Или если, — допустим такой фантастический сценарий, -инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам… Это будет означать конец цивилизации, хоть огромное большинство людей и останется в живых в течение значительного времени
Более того, все живущие в настоящий момент люди, если не изобрести радикальное средство продления жизни, вымрут к началу XXII века, равно как к настоящему моменту вымерли люди, жившие в XIX веке. Однако это мы не рассматриваем как глобальную катастрофу, так как сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.
Стереотип восприятия катастроф, который сложился в результате работы СМИ. СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт просмотра телевизионных репортажей с мест катастроф выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.
Риски в СМИ регулярно освещаются непропорционально. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу: реальный ущерб часто непропорционален его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограничено, сообщения СМИ создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).
Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила.
A) Отвержение некоего сценария как фантастического – но ведь глобальная катастрофа и есть по сути некое «фантастическое» событие!
Б) Ошибка, порождённая неосознанием факта, что глобальную катастрофу можно опознать лишь апостериори, — не заранее и не в процессе событий. Возможно, никто не узнает, что на самом деле произошла глобальная катастрофа. Лишь со смертью последнего человека катастрофа станет глобальной. (Хотя в сценариях медленного вымирания люди могут это осознавать — или заблуждаться на этот счёт. Возможный пример подобного сценария описан в романе Невила Шюта «На берегу», где люди медленно вымирают от последствий радиоактивного загрязнения.)
B) Неприменимость логической операции «индукции» для рассуждений о глобальных катастрофах. Индукция как логический метод состоит в предположении, что если некое утверждение верно в моменты 1,2,3 … N, то оно верно и при N+1 (или при всех N). Оно не обладает абсолютной логической достоверностью, но даёт хорошие результаты при очень больших N и гладких условиях. Например, все физические законы основаны на конечном количестве экспериментов, то есть возникли в результате индукции.
Индукция как логический метод имеет границы применимости. Она неприменима в ситуациях, когда будущее не похоже на прошлое. Иначе говоря, мы не можем на основании того, что нечто было в прошлом всегда, сказать, что так будет и в будущем. Особенно опасно применение индукции в рассуждениях типа: раз этой катастрофы не случилось в прошлом, то её не будет никогда.
Тем не менее, индукция как логическая процедура применима в вопросах безопасности: с точки зрения обеспечения безопасности трёхразовое периодическое повторение опасного события — очень значимо, тогда как с точки зрения доказательства истинности некой закономерности -нет.
Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира». При этом недооценивается опасность конкуренции между группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может сама по себе стать глобальным риском. Можно вспомнить анекдот советских времён: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».
9. Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти.
Людей не волнуют глобальные риски. Личная смерть в ближайшие десятилетия и без того мнится неизбежной, и большинство выработало устойчивые психологические механизмы защиты от «нехороших) мыслей. Наибольший срок реального планирования можно определить по долгосрочным реальным инвестициям людей. Типичное отражение подобного планирования — покупка дома в ипотеку, пенсионные накопления и воспитание детей. Предельный срок таких проектов — 30 лет, за редким исключением. Обычно же — меньше 20. Не факт, однако, что и такое планирование на самом деле эффективно; и люди в большинстве сознают, что жизнь гораздо более непредсказуема. В любом случае, у каждого есть некий горизонт событий, и происходящее за пределами этого горизонта представляет для индивида чисто умозрительный интерес. А ведь большинство людей считает, что глобальные риски отстоят от нас на многие десятилетия!
Ошибки, связанные с тем, что исследователь глобальных катастроф вынужден полагаться на мнения экспертов в разных областях знания. Как правило, по каждой проблеме существует множество мнений, которые выглядят в равной мере аргументировано. А.П.Чехов писал: «Если от болезни предлагается много средств, значит, она неизлечима). Следовательно, исследователь глобальных рисков должен быть экспертом по правильному отбору и сопоставлению экспертных мнений. Поскольку это не всегда возможно, всегда есть вероятность неправильного выбора пула экспертов и неправильного понимания их результатов.
Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов. Глобальные риски должны оцениваться по той же шкале, что и риски всех других составляющих цивилизацию объектов. Например, нет смысла закладывать в самолёт вероятность аварии один на миллион, если вся цивилизация с множеством самолётов имеет меньшую надёжность.
Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество. Идеи такого рода: «Человечеству стоит рискнуть на одну сотую процента ради этого нового необычайного результата) являются порочными. Ведь если так рассуждает одновременно очень много исследователей и конструкторов, каждый из которых при этом завышает безопасность своего проекта, в сумме — риск может стать чрезвычайно высоким.
13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски. Обращены ли они к гражданам? Но ведь те всё равно бессильны перед лицом глобальных рисков! К гражданской ответственности учёных, существование которой ещё надо доказать? Правительствам крупных мировых держав? Или, может, ООН, занятой своими делами? Возможно, к комиссиям и целевым фондам, созданным для предотвращения глобальных рисков, но увы, — даже их способность влиять на ситуацию неизвестна. Удручает и отсутствие систематического досье на все риски — с которым все были бы согласны.
14. Особенность связи теоретического и практического в отношении глобальных рисков. Вопрос о глобальных рисках является теоретическим, поскольку такого события ещё ни разу не происходило. И мы не хотим проверить ни одну возможность экспериментально. Более того, мы и не можем это сделать, поскольку мы, исследователи, не переживём глобальной катастрофы. Однако необходимы практические меры, чтобы этого не случилось. При этом может наблюдаться положительный результат: а именно, что некий риск не реализовался. Но трудно выделить причины благополучного исхода. Невозможно сказать, почему не произошла термоядерная война — потому что была невозможна, или по нашему невероятному везению, или же это результат борьбы за мир.
Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения. Стратегия личного выживания, привитая нам в ходе эволюции, подразумевает правило: кто больше рискует, тот захватывает большую территорию, получает больший авторитет в стае, становится альфа-самцом и, в конце концов, оставляет большее потомство. Те виды, что готовы пожертвовать тысячами особей, направляя их на освоение неизвестных территорий, достигают того, что хоть одна особь попадёт на новые земли. Очевидно, эта стратегия смертельна в применении к человечеству. Даже если оно будет рисковать собой на 1 процент в год, это означает почти гарантированное вымирание в течение столетия. Тем не менее, соображения такого рода не останавливали отдельные страны при вступлении в опаснейшие конфликты.
Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношения к ближайшему будущему. В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности. Многие факторы глобального риска уже созрели, а другие могут оказаться более зрелыми, чем нам об этом известно (передовые био- и ИИ- исследования).
17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти. Это заблуждение порождено ошибочными представлениями, будто гибель в глобальной катастрофе обязательно лёгка и безболезненна, — словно выключили свет. В реальности, наоборот, она может быть мучительна и морально (осознание своей вины и столкновение со смертью близких), и физически. Например, длительное, но неизбежное вымирание от радиоактивного заражения.
Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию. Ситуация в крупных компаниях при принятии критически опасных решений удручает. Даже высказавшийся «против» член правления, высокопоставленное лицо, рискует быть проигнорированным! Так, перед катастрофой шаттла «Челленджер» один из ответственных специалистов до последнего возражал против запуска, понимая опасность. Тем более не стоит ожидать, что люди прислушаются или хотя бы прочитают высказывания кого-то за пределами их «тусовки». Можно вспомнить уместный здесь закон Мерфи: «Что бы ни случилось, всегда найдётся человек, который скажет, что он так и знал, что это произойдёт».
Ошибочность мнения о том, что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно. Напротив, циркуляция в обществе идей о возможности глобальных рисков, о необходимости прилагать усилия для их предотвращения, создаст важный фон и косвенно повлияет на различные механизмы принятия решений. Кроме того, уже сейчас мы подошли вплотную к рубежу, когда риски зависят от решений и действий каждого.
Гордыня исследователя. Занятия анализом глобальных рисков может вызвать у человека ощущение, будто он занят важнейшим делом во вселенной, а потому является сверхценной личностью. Это может привести при определённых обстоятельствах к информационной глухоте: исследователь «закроется» для новых сведений! Окружающие легко будут считывать это состояние личности исследователя, что будет компрометировать тему, которой он занимается. Также не следует забывать закон Паркинсона: каждый человек стремится достичь уровня своей некомпетентности. Глобальный уровень является наивысшим для всех областей знаний. Защита от этого — относиться к глобальным рискам нейтрально, как, например, к препарированию лягушек.
Интуиция как источник ошибок в мышлении о глобальных рисках. Поскольку глобальные риски относятся к событиям, которые никогда не случались, они контринтуитивны. Интуиция может быть полезна для рождения новых гипотез, но не как способ предпочтения и доказательства. Вера в силу интуиции ещё больше способствует ослеплению своими откровениями. Кроме того, интуиция, как проявление бессознательного, может находиться под воздействием неосознанных предубеждений, например, скрытого нежелания видеть разрушения и гибель — или наоборот, потребности видеть там, где их нет.
22. Научное исследование глобальных рисков также сталкивается с рядом проблем. Эксперимент не является способом установления истины о глобальных рисках, ибо экспериментальная проверка — именно то, чего хотим избежать. В связи с невозможностью эксперимента невозможно объективно измерить, какие ошибки влияют на оценку глобальных рисков. Статистика по глобальным рискам невозможна. Фундаментальная концепция «опровержимости) также неприменима к теориям о глобальных рисках.
Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска. Только в случае глобальных рисков начинают действовать такие парадоксальные логические рассуждения, как «Доказательство Конца Света) (Doomsday Argument), а также эффекты наблюдательной селекции. Однако большинству людей они неизвестны, а значительная доля исследователей их отвергает.
Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам. От глобальных рисков не застраховаться, на них невозможно ставить пари: некому и нечего будет выплачивать в страховом случае. И даже малейшая их вероятность неприемлема. Потому же некому оплачивать их исследования. Если же эти исследования проводятся в рамках одной страны или культуры, в результатах может наблюдаться сдвиг от вопросов общечеловеческого выживания к проблемам национальной безопасности.
Трудности в определении понятия глобального риска в связи с нечёткостью его объекта.
Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать «необратимым повреждением его потенциала). «Пограничный вопрос) касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других крайних случаев. Важно помнить историческую изменчивость этих границ: ещё пару веков назад дикаря или раба не считали за человека даже образованные люди, а теперь нередко к разумным существам причисляют китов и дельфинов. Было ли истребление неандертальцев, с точки зрения неандертальцев, гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола. Одни группы людей сочтут «глобальной катастрофой) то, что другие готовы приветствовать. Это рождает возможность опасной конфронтации.
26. Психологическая особенность восприятия рисков: «пренебрежение масштабом». Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе выражаемое в готовности потратить деньги [Yudkowsky 2008b]. В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней.
27. Преувеличение прогностической ценности экстраполяции
Потенциальная ошибочность надежды на то, что «кривая (то есть график роста) вывезет». Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, каковой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, столь комплексный, как если бы эти кривые были самостоятельными живыми организмами. В частности, развито понимание того, что быстрый рост кривой может означать близкий разворот тенденции, «отскок» или «свечу». Тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения «фундамента» — анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная со знаменитого казуса, что уровень навоза в Лондоне сделает движение по городу невозможным, и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой приведёт нас в «золотой век», где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски не исчезнут.
28. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света. А.П. Назаретян [Назаретян 2001] описывает базовую потребность людей в сильных эмоциях и экстремальных ощущениях. Эта потребность побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. Типичный пример: физическое ограничение скорости машин до 50 км/час заметно сократило бы число автомобильных аварий, но большинство водителей на это не согласится. И нельзя недооценивать эту «скуку». При этом люди всегда «рационализируют» свои иррациональные потребности.
29. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска. С
детства выученные представления о поражающих факторах ядерного оружия существенно отличаются от факторов принятия решения о его применении, — и всем эта разница очевидна. В сфере глобальных рисков супервирусы и ИИ перечисляются через запятую. Но вирус убивает непосредственно, а ИИ сам по себе не может причинить вреда — он может только управлять разными видами оружия.
Пример из жизни: ситуация, когда человек погиб на войне, и ситуация, когда его застрелили. Эти два множества пересекаются только частично. Если человек погиб на войне, это лишь очерчивает множество возможных причин его смерти, но не сообщает однозначно, что его застрелили. И наоборот, если человек погиб от огнестрельного оружия, это не означает, что он погиб на войне: дело может быть в бытовой ссоре, или самоубийстве, или даже несчастном случае на охоте. Ясно, что война и выстрел — относятся к двум разным классам причин смерти: опасных ситуаций и непосредственных причин. Однако в отношении глобальных рисков такое разделение проводится более смутно, и упор делается в основном на непосредственные причины, а не на ситуации их возникновения.
30. «Шок будущего»: когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей. Выделяют пять уровней «Шока будущего). Само понятие введено футурологом Э.Тоффлером. Эти уровни описывают не реальные границы возможного, которые нам пока неизвестны, а психологические границы восприятия, разные от человека к человеку. Каждому уровню возможного будущего соответствуют свои глобальные риски — и способы противостояния им. При этом все варианты будущего относятся их сторонниками к XXI веку. Те, кто продвинулся очень далеко в оценке шоков будущего, могут недооценивать традиционные опасности. Есть следующая классификация шоков будущего:
Шок 0-ого уровня — уровень обычных технологий, используемых сейчас в быту. (Уровни катастрофы: ядерная война, исчерпание ресурсов.)
Шок 1-ого уровня — уровень технологий, предлагающихся в продвинутых журналах и на компьютерных выставках. (Биологическая война и применение боевых роботов.)
Шок 2-ого уровня — технологии, описанные классической научной фантастикой середины ХХ века. (Отклонение астероидов в сторону Земли, вторжение инопланетян)
Шок 3-его уровня — сверхтехнологии, возникшие на горизонте лишь в конце ХХ века: нанотехнологии («умная пыль)), ИИ, равный человеку, загрузка сознания в компьютер, полная перестройка человеческого тела. (Катастрофы: «серая слизь), сверхчеловеческий ИИ, перерабатывающий всё земное вещество в роботов, супервирусы, изменяющие поведение людей)
Шок 4-ого уровня — концепция о «Сингулярности) -гипотетическом моменте в будущем, связанным с бесконечным ускорением человеческого прогресса, неким качественным переходом и сменой модели развития (риски: непредсказуемы). См. главу «технологическая сингулярность».
Каждый исследователь будущего имеет свой горизонт возможного и невозможного, определяемый скорее психологическим комфортом, чем точными знаниями. Чем старше человек, тем труднее ему принять новое. Наоборот, возможна и ситуация «ослепления будущим», когда угрозы невероятных катастроф затмят в глазах человека обычные риски. Это порождает специфические ошибки прогнозирования, связанные с уровнем шока будущего. При этом реальные риски глобальной катастрофы имеются на каждом уровне, и крайне сложно учесть все одновременно.
Катастрофа ядерной войны «понятнее», чем «псевдодружественный ИИ».
31. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной. Обычно о глобальных катастрофах думают, как об однократном массовом вымирании, вызванном или вирусом, или падением астероида, или ядерной войной. Однако существуют способы самоорганизации опасных возможностей, ведущие к системному эффекту. Например, система, ослабленная одним событием, может быть легко повержена другим. Или, например, две медленно текущие болезни, соединяясь, могут вызвать быстротекущую — как, например, СПИД и туберкулёз у человека. Возможны разные сценарии конвергенции, например, нанотехнологии упростят создание ядерных бомб, ИИ упростит продвижение нанотехнологий, а нанотехнологии позволят раскрыть тайны мозга, что приблизит создание ИИ. Громадное количество обратных связей приводит к сложным взаимозависимостям глобальных рисков.
Конвергенция рисков происходит параллельно с конвергенцией ключевых современных технологий, называемых NBIC (nano-bio-info-cogno), то есть нанотехнологий, биотехнологий, систем искусственного интеллекта и науки о мышлении и мозге.
32. Недооценка системных факторов глобального риска.
Системные факторы — это не отдельные события, вроде внезапного появления супервируса, а некие свойства, которые относятся ко всей системе. Например, противоречие между природой современной цивилизации, основанной на непрерывной экспансии, и конечностью любых ресурсов. Это противоречие не локализовано в каком-то одном месте, и не зависит ни от одного конкретного ресурса или организации. Реальны самовоспроизводящиеся кризисные ситуации, которые в каждый момент времени вовлекают всё большее число участников, но не зависят от поведения ни одного из них и не имеют центра.
33. Призыва типа: «Мы все должны бороться за мир». Нескоординированное приложение усилий в борьбе за спасение планеты приводит к ситуации, описанной в знаменитой басне. Множество людей и организаций тащит эту телегу с той же эффективностью, как «лебедь, рак да щука).
Недооценка предкризисных событий как элементов наступающей глобальной катастрофы. Если в результате некоторых событий вероятность глобальной катастрофы возросла (иначе говоря, выросла уязвимость человечества к катастрофе), то это событие само может рассматриваться как часть глобальной катастрофы. Например, если в результате ядерной войны выживут отдельные группы людей, то они -немногочисленные и лишённые технологий — окажутся гораздо уязвимее к любым другим факторам риска. Это поднимает значение тех факторов, которые обычно обозначаются как «глобальные риски). Например, падение астероида, размером с Апофис (Apophis 99942, пролёт Земли в 2029 году, диаметр около 400 м.) само по себе не может истребить человечество. Взрыв составит лишь порядка 800 мегатонн, что сопоставимо с взрывом вулкана Санторин в древней Греции, погубившим остров Крит, и только в 4 раза сильнее взрыва вулкана Кракатау в 1883 году (~200 мегатонн тротилового эквивалента). Однако в силу высокой связности современной цивилизации, резко возрастает роль отдалённых последствий катастрофы — как экономических, так и структурных. Огромная волна-цунами от падения Апофиса привела бы к прекращению торговли в тихоокеанском регионе и всеобщему экономическому кризису, чреватому переходом к военному — с соответствующим нарастанием необратимых последствий.
Когнитивное искажение, основанное на мысли: «Это слишком плохо, чтобы быть правдой». Человеку свойственно мысленно защищаться от негативных сценариев, приписывая им меньшую вероятность или вообще отказываясь о них думать. Например, нетрудно представить абстрактный «разбитый автомобиль), но труднее представить будущие обломки своего автомобиля. Иначе говоря, вместо того, чтобы избегать некого события, человек избегает самой мысли о нём. Очевидно, глобальная катастрофа, уничтожающая всё, что нам ценно, в наибольшей мере соответствует определению «слишком плохого). Глобальная катастрофа хуже, чем смерть, потому что включает её в себя.
Когнитивное искажение, основанное на мысли: «Это слишком невероятно, чтобы быть правдой». Имеется множество исторических примеров, как нечто «невероятное) вдруг стало возможным, и даже обыденным: самолёты, атомные бомбы, Интернет. Более того, стало смертельно опасным. Надо отделять «невероятное) от физически невозможного. Но даже и последнее может обрести в будущем реальную вероятность.
Идеи о торможении создания и распространения новых технологий как способе противостояния глобальным рискам. Эта идея кажется привлекательной, так как обещает видимый результат в краткосрочной перспективе. Но любая группа стран, которая продвигает эту идею, в конечном счёте, проиграет другой группе, которая тайно или явно продолжает развивать опасную, но эффективную технологию.
Представления о том, что человеческая адаптируемость высока и продолжает неограниченно расти благодаря новым технологиям. Это верно, однако опасность состоит в том, что средства разрушения, доступные людям, совершенствуются быстрее, чем средства защиты.
Неспособность системы смоделировать саму себя. Хотя мы не можем исследовать глобальные катастрофы экспериментально, можно рассчитывать, что, благодаря успехам компьютерного моделирования, станет возможно просчитать некоторые модели в виртуальном пространстве. Однако эта возможность ограничена рядом обстоятельств. Во-первых, мы всё равно не учтём неизвестные факторы — например, расположение опасных комет или особенности физических законов. Во-вторых, такая модель не может быть полна, так как она не включает моделирование того, что мы осуществляем акт моделирования. Иначе бы получилась бесконечно большая модель, как в случае отражения двух зеркал друг напротив друга. Это является следствием математического принципа: множество не может содержать, в качестве элемента, само себя. То есть одно дело — прогноз будущего, а другое — прогноз с учётом влияния, которое окажет данный прогноз. Только достаточно грубая модель может быть рассчитана. Если мы исследуем будущее системы с искусственным интеллектом, то это не работает, так как модель мира также должна содержать ИИ, который имеет в себе модель мира, в результате чего получается бесконечная цепочка.. В-третьих, наши данные о мире и принципы моделирования должны быть абсолютно точны, что тоже трудно достижимо. Невозможно выбрать правильную модель, не проведя эксперимент. Чтобы предсказать возможность глобального потепления, нам нужна правильная модель. Чтобы узнать, какая именно модель правильная, нам нужен эксперимент. И этот эксперимент будет надёжным, только если в ходе него произойдёт глобальное потепление, иначе это будет лишь интерпретация, то есть ещё одна модель.
40. Неспособность человека представить собственную смерть.
Неспособность людей представить собственную смерть ведёт к недооценке ситуаций, в которых она может произойти, поскольку и сами ситуации непредставимы — или представимы только с точки зрения внешнего наблюдателя, который выжил. Человек не может представить «ничто), которое наступит, в соответствии с атеистическими концепциями, после смерти. На это накладывается нежелание признавать свою смертность. Поэтому легче представлять глобальную катастрофу с точки зрения выжившего, что, соответственно, делает её не глобальной.
41. Подход к жизни в духе: «После нас хоть потоп». В этой модели мышления ожидаемый полезный результат должен быть получен в некий короткий промежуток времени в будущем. Самым ярким примером является ситуация, описанная в приведённой пословице, где граница полезности совпадает с ожидаемой продолжительностью жизни. Однако часто бывает, что эта граница даже ниже. Например, для автогонщика или наркомана вся ожидаемая полезность должна быть получена сегодня вечером, а что будет дальше — не важно. У нормальных людей ожидаемая полезность распространяется на детей и внуков, что закреплено эволюционно, но на прапрапраправнуков — нет. Таким образом, существует определённый психологический горизонт полезности, события после которого человека уже не волнуют — во всяком случае, настолько, чтобы тот был готов ради них на какие-то траты. Конечно, это оправдывается тем, что «они сами там со всем разберутся».
Более того, мысль о том, что «я умру не один, а вместе со мной умрёт всё человечество», может быть более привлекательна, чем мысль, что «я умру, а другие останутся наслаждаться жизнью». Отчасти поэтому некоторые больные СПИДом нарочно стараются заразить как можно больше людей.
Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели. Подобная позиция подразумевает, что можно рискнуть выживанием человечества ради некоторых других целей. Ник Бостром определяет эту позицию через принцип Максипока: «Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы».
Религиозные мировоззрения и эсхатологические культы. Изучению проблем глобальных рисков мешает то, что эта территория испокон веков закреплена за религией. Поэтому за любыми дискуссиями тянется шлейф ненаучности. Ключевое отличие эсхатологических культов -концентрация на дате события и «откровение» или пророчество как способ её обнаружения (в духе распространённого поверия о том, что календарь Майя, и мир вместе с ним, заканчиваются в 2012 году). Такие культы часто носят социально-деструктивный характер, побуждая людей отказаться от жизни в «обречённом» обществе, и поэтому вызывают враждебность в обществе. Так, в 2007 году внимание СМИ привлекла группа сектантов, закрывшихся в пещере в Пензенской области в ожидании «конца света». Наоборот, для научного анализа «дата конца света» не принципиальна, а важны вероятности и механизмы рисков.
Надо отметить цикличность общественного внимания в связи с этими прогнозами. Регулярно возникает очередная «дата» конца света, которая эксплуатируется в кино и в жёлтой прессе, одни люди в связи с этим начинают интересоваться проблемами глобальных катастроф, другие публикуют опровержения. Эта цикличность не согласуется с относительно плавным распределением глобальных рисков.
45. Неопределённость значений новых терминов. Описывая угрозы глобальной катастрофы, мы пользуемся терминами, значения которых пока ещё не имеют однозначной интерпретации, хотя бы в силу того, что они описывают ещё не случившиеся события и не созданные технологии. Совместное использование нескольких таких терминов увеличивает «люфт) возможных значений и приводит к непониманию. Если бы мы знали, что такое «искусственный интеллект), мы бы уже могли его создать. Это создаёт принципиальную неопределённость в значении этого термина до того, как ИИ будет создан.