О возможной глобальной катастрофе можно почерпнуть много ценного из русских пословиц и других источников народной мудрости. Начнем с классического: «Пока гром не грянет, мужик не перекрестится». Это означает, что ни одна гипотеза о возможной причине глобальной катастрофы не станет общепризнанной, пока не произойдет некое событие, однозначно удостоверяющее ее возможность, иначе говоря, пока катастрофа не начнется. Многие сценарии глобальной катастрофы оставляют очень маленький зазор между началом события и самим событием. Например, невозможно доказать, что есть шанс случайной ядерной войны, до тех пор, пока она не произойдет. То же самое касается и искусственного интеллекта – невозможно доказать, что возможен универсальный самообучающийся ИИ до того, как он будет создан. Более того, предупреждения алармистов парадоксальным образом действуют успокаивающе, создавая привычный фон. Мы хотим уподобиться Маше из сказки «Маша и медведи», которая и на кроватке полежит, и пирожок надкусит, и уйдет из дома незамеченной – обычно эту аналогию приводят в отношении экономики (Goldilocks economy), но это так же верно и применительно к новым технологиям.
Теперь вспомним такое высказывание, как «после нас хоть потоп» – оно в утрированной форме называет естественно присущую людям склонность резко снижать оценку значения событий, которые могут произойти после их смерти. По этой (но не только) причине многие люди не составляют завещания: им все равно, какие будут проблемы у их родственников после их смерти. Окончательное человеческое вымирание – это событие, которое произойдет после смерти последнего человека, и очень мало шансов оказаться именно этим последним человеком. Эта склонность к прожиганию жизни, «к пиру во время чумы» перед лицом неминуемой смерти, уравновешивается в человеческом сознании ощущением собственного бессмертия. Нам трудно себя убедить в том, что «сколько веревочке ни виться, а конец-то будет», и даже думая о неизбежности собственной смерти, мы прибегаем к абсурдной в данном контексте модели «авось пронесет».
Печальным кладезем научно-технической мудрости являются законы Мерфи в духе классического «все что может испортиться – испортится»: это не означает, что любой проект кончится плохо, но рано или поздно любой возможный сбой где-нибудь произойдет. Другой закон Мерфи, который помогает нам понять значение предсказаний: «Что бы ни случилось, всегда найдется человек, который будет утверждать, что знал это с самого начала».
Американский исследователь глобальных рисков Майкл Анисимов приводит следующий пример непредсказуемости и сложности влияния новых технологий на человеческую историю. Фриц Хабер (1898–1934) – одна из наиболее противоречивых фигур в науке и истории. Будучи химиком, он разработал процесс Хабера, который делает возможным связывание атмосферного азота и синтез аммиака. Аммиак, создаваемый по процессу Хабера, используется для производства синтетических удобрений во всем мире, эти удобрения применяются в сельском хозяйстве более чем третью человеческой популяции, обеспечивая едой миллиарды людей, которые иначе бы вообще не существовали. До этого изобретения добыча удобрений состояла в соскабливании помета летучих мышей со стен пещер или извлечении их из азотосодержащих скал в Чили. За свое открытие Хабер получил Нобелевскую премию по химии в 1918 году.
К сожалению, будучи немецким военным ученым, в ходе Первой мировой войны Хабер провел много других исследований, которые нельзя назвать иначе как чудовищными. Его называют отцом химического оружия за разработку отравляющих газов, которые использовались во время Первой мировой войны, хотя эта практика была запрещена Гаагскими соглашениями 1907 года. И только в 1997 году применение и накопление химического оружия было запрещено во всем мире Конвенцией по химическому оружию. Хабер также разработал знаменитый газ «Циклон Б», который использовался для убийства миллионов евреев, цыган и гомосексуалистов во время холокоста. Ирония судьбы в том, что сам Хабер был евреем, и десятки членов его родни были убиты «Циклоном Б» в концентрационных лагерях.
В 1915 году жена Хабера, химик и его сотрудник, была настолько потрясена исследованиями своего мужа, что выстрелила себе в грудь из его армейского пистолета прямо в саду их дома. Хабера это особенно не озаботило: он нашел себе новую жену, у которой не было проблем с его ужасными занятиями. Он умер в швейцарской лечебнице в 1934 году, так и не узнав о геноциде, который совершался с использованием его газа в ходе Второй мировой войны. Его сын Герман, который эмигрировал в США во время войны, в 1946 году тоже покончил с собой.
Эта история показывает, что нам очень трудно отличить позитивный и негативный смысл тех или иных научных открытий и видов деятельности, и одни и те же направления исследований могут приносить как несметные блага, так и соразмерные им опасности.
Можно задаться вопросом, почему именно глобальная катастрофа, ведущая к человеческому вымиранию, выбрана в качестве самого важного, в отрицательном смысле, возможного будущего события. Ведь можно сказать, что смерть страшна только в той мере, в какой жизнь имеет некую позитивную ценность. Подобное поведение типично для человеческих существ, когда выгоды затмевают риски. Однако я предлагаю рассматривать выживание человечества не как абсолютную ценность саму по себе, а как универсальное средство для любых других целей, которые могут отличаться у разных людей. Выбор какой-то одной ценности, отличной от человеческого выживания, – это всегда шанс, что возникнет ситуация, когда ради нее будет стоить рискнуть всем. Однако выбор «человеческого выживания» как универсального средства (при этом оставляя вопрос о главной цели на усмотрение каждого) исключает такую ситуацию.