Очевидно, что цепная реакция лежит не только в основе принципа действия ядерного оружия, но и ядерного распространения и гонки вооружений. Чем больше стран обладает ЯО, тем больше они способны его распространять, тем более доступны и дешевы его технологии и тем больше соблазн у стран, оставшихся без такого оружия, его обрести; чем больше оружия у противника, тем больше нужно оружия и «нам», и тем больше страх у противника, что побуждает его и дальше вооружаться. Такой же сценарий лежит и в основе риска случайной ядерной войны – чем больше страх, что по «нам» ударят первыми, тем больше у «нас» соблазна самим ударить первыми, что вызывает еще больший соблазн ударить первыми у наших противников. (Ядерная зима, кстати, также является самоусиливающейся реакцией за счет изменения альбедо Земли.)
Принцип положительной обратной связи наблюдается и в процессе роста населения и потребления ресурсов. Чем больше население, тем больше оно растет и тем больше оно потребляет ресурсов, а следовательно, чтобы его поддерживать, нужны более эффективные технологии, эти технологии общество способно порождать за счет роста числа изобретателей. Таким образом, скорость роста населения оказывается пропорциональна квадрату числа людей (dN/ Dt= N* N). Первое N происходит за счет роста числа матерей, а второе – за счет роста числа изобретателей.
Решением этого дифференциального уравнения является гиперболическая кривая (достигающая бесконечности за конечное время). Гиперболически растущее население и ресурсы должно потреблять в гиперболически возрастающих объемах (даже если само население не растет, то растет уровень его жизни), что очевидным образом наталкивается на ограниченность любого ресурса и потенциально создает катастрофическую ситуацию. (В принципе данная проблема разрешима через внедрение сберегающих технологий и через скачок на новый технологический уровень, однако важным здесь является то, что проблемная ситуация создается за счет положительной обратной связи.)
Положительная обратная связь создает проблемы и в кредитном цикле Мински. Ярким примером в этой сфере является так называемая финансовая пирамида: чтобы такое учреждение могло функционировать, его долг тоже должен экспоненциально расти (в свою очередь порождая серьезные проблемы).
Самоусиливающийся процесс описывает также и закон Мура. Его механизм не так прост, как в предыдущих случаях, поэтому остановимся на нем подробнее. Более быстрые компьютеры позволяют эффективно проектировать еще более быстрые чипы. Деньги, заработанные на одном этапе миниатюризации, позволяют осуществить следующий этап уплотнения чипов. Темп закона Мура задается той частотой, с которой потребители готовы менять технику на более продвинутые модели. Более быстрый темп был бы невыгоден, так как потребители не успели бы накопить достаточно денег на полный апгрейд системы (даже если бы им удалось внушить, что он необходим), а более медленный не мог бы заставить потребителей тратить деньги на обновление своих систем. Готовность потребителей покупать новую технику требует каждый раз все большего апгрейда, что создает простое дифференциальное уравнение, решением которого является экспоненциальный рост. Как результат: экономические основы закона Мура сильнее технологических проблем на его пути.
Самоусиливающимся процессом является и NBIC-конвергенция разных технологий.
За счет создаваемой цепной реакции представляет опасность и а супернаркотик. Во-первых, каждое новое удовольствие создает точку отсчета для последующих, и в силу этого человек, если у него есть возможность, стремится перейти ко все большим наслаждениям и ко все более сильным раздражителям. Во-вторых, знание о наркотике и увлечение им также распространяется по обществу как цепная реакция.
Явный пример цепной реакции – способность к саморазмножению биологического оружия, которая делает его опасным. Точно так же цепная реакция касается и стратегической нестабильности, создаваемой им, и количества знаний о нем и количества людей, вовлеченных в биохакерство.
Способность к саморазмножению очевидно является основой рисков, связанных с нанотехнологиями – как в связи с «серой слизью», так и в связи с тем, что распространение этих технологий на планете примет характер цепной реакции.
Наконец, основной риск, создаваемый ИИ, также связан с цепной реакцией – или рекурсивным самоулучшением – его усиления. Вторая возможная цепная реакция – это процесс нарастания автономности ИИ. Создатели ИИ зададут такие условия, чтобы они и только они могли бы им управлять. Борьба внутри группы управляющих приведет к выделению лидера, и у ИИ рано или поздно окажется один главный программист (причем им может стать внешне второстепенный человек, который оставил «закладку» в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет «доверять» главному программисту, станет, возможно, необратимым событием (к такому конфликту аутентификаций может привести как раз наличие официального главного программиста и второстепенного программиста, сделавшего закладку) – в результате ИИ откажется аутентифицировать кого бы то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить, – реальная угроза людям.
Наконец, еще одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлением все новых групп по работе над этой темой со все более низкими стандартами безопасности.
Необратимое глобальное потепление, риск которого нам рисуют в наихудшем сценарии, также является процессом, возникающим благодаря многим положительным обратным связям. Рост температуры запускает процессы выделения метана и углекислого газа, которые ведут к еще большему росту температуры.
Самоусиливающиеся процессы описывают и идеи о маловероятных рисках глобальных катастроф в результате физических экспериментов на ускорителях. Например, в случае образования микроскопической черной дыры риск состоит в цепной реакции захвата ею обычного вещества, роста ее массы и все более активного захвата вещества в дальнейшем. То же верно и для сценария с образованием стрейнджлета, способного захватывать обычную материю и превращать ее в другие стрейнджлеты. Наконец, переход фальшивого вакуума в «истинный» также был бы цепной реакцией, которая, начавшись в одной точке, охватила бы всю Вселенную.
Дегазация земных недр в результате экспериментов со сверхглубоким бурением также была бы цепной реакцией, так как нарушение метастабильного равновесия растворенных газов в недрах привело бы ко все более интенсивному их выходу на поверхность, как это происходит в вулканах. Обнаружение сигналов по линии SETI также вызвало бы цепную реакцию интереса к ним во всем мире, что неизбежно привело бы к многократной загрузке инопланетных посланий и в конечном счете к запуску содержащегося в них опасного кода.
Крах мировой системы также предполагает цепную реакцию, при которой один сбой следует за другим, образуя лавину. Возможно, что кризис ипотечного кредитования, пик нефтяных котировок и ряд других современных проблем – это первые стадии такой геополитической цепной реакции. По шкале ХХ века, если считать нынешний год за 1929-й, до новой «атомной бомбы» осталось 16 лет (то есть 2024 год), до идеи новой кобальтовой бомбы – 21 год (2029 год), и до нового Карибского кризиса, реально ставящего мир на грань уничтожения, – почти 33 года (2041 год). Такие цифры не следует считать сколько-нибудь достоверным пророчеством, но ничего лучше этих оценок у нас пока нет. (Нетрудно заметить, что получившиеся цифры близки к датам ожидаемой технологической сингулярности.)