Часто путают глобальные катастрофы, ведущие к вымиранию человечества (англ. термин «existential risks))), и любые другие колоссальные катастрофы, которые могут принести огромный ущерб, отбросить цивилизацию далеко назад и истребить…
Книги
Проблемы вычисления вероятностей различных сценариев
Чтение этого раздела можно пропустить без ущерба для дальнейшего понимания текста. Основной вывод состоит в том, что невозможно вычислить объективные вероятности глобальных катастроф, поскольку это уникальные события, и…
Сокращение ядерных вооружений
Сокращение ядерных вооружений должно радовать борца с глобальными рисками, так как снижает вероятность глобальной катастрофы. Уменьшение суммарного числа зарядов у двух сверхдержав уменьшает размер потенциальной максимальной катастрофы (которая…
Система целей
Ключевым после решения проблем создания ИИ является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к хозяевам. Здесь два варианта: или ИИ строго…
Армии крупных боевых роботов, выходящие из-под контроля
Хотя армия США определённо нацелена на полную автоматизацию и замену людей роботами, до достижения этого ещё не менее десяти лет, а скорее всего, значительно больше. Как мы уже…
Падение астероидов
Падение астероидов и комет часто рассматривается как одна из возможных причин вымирания человечества. И хотя такие столкновения вполне возможны, шансы тотального вымирания в результате них, вероятно, преувеличиваются. См….
Крах биосферы
Если люди овладеют генетическими технологиями, то это может позволить как устроить крах биосферы невероятных масштабов, так и найти ресурсы для её защиты и «ремонта». Можно представить себе сценарий,…
Интеграция различных технологий, создающих ситуации риска
Сам факт быстрого развития сильных технологий создаёт особую зону риска. Технологии имеют тенденцию содействовать друг другу в развитии. Скажем, развитие компьютеров помогает рассчитывать свойства новых материалов, а новые…
Процессы с положительной обратной связью как универсальный механизм глобальных катастроф
Те явления, в которых возникает ничем не ограниченная положительная обратная связь, являются основными источниками глобальных рисков, то есть способны распространиться по всей Земле. Этот вопрос подробно рассмотрен мной…
Деградация биосферы
В отличие от человека, животный и растительный мир не может уйти в бункеры сам. В случае необратимого повреждения биологических систем на Земле и особенно среды обитания люди уже…
Средства превентивного удара
Мало иметь систему тотального контроля — нужно обладать возможностью предотвратить риск. Сейчас обычно в качестве крайней меры рассматривается удар ракетно-ядерными силами по точке источника риска. Здесь наблюдается любопытное…
Максимизация функции удовольствия
Мы стремимся сохранить жизнь людей и человечества только потому, что она имеет ценность. Хотя у нас не может быть точного знания о том, что именно создаёт ценность человеческой…
Как когнитивные искажения, которые могут касаться любых проблем, влияют на оценку глобальных рисков
1. Основной причиной человеческих ошибок является сверхуверенность. Сверхуверенность означает повышенную убеждённость в правильности своей картины миры и неспособность её существенно изменить при поступлении новой информации. Иначе говоря, сверхуверенность…
Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами
Далее я привожу известные мне оценки ведущих экспертов в этой области, которые публиковали исследования с оценками рисков человеческого вымирания (но эти оценки могут быть искажены в сторону пессимизма,…
Выводы по рискам применения ядерного оружия
Угроза ядерной катастрофы часто недооценивается или переоценивается. Недооценка в основном связана с рассуждениями о том, что раз катастрофы давно не было, то она маловероятна. Это неверное рассуждение, поскольку…
Борьба ИИ-проектов между собой
Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция и за внимание инвесторов и за правильность идей именно их способа создания универсального ИИ. Когда некая компания создаст первый…
Миниатюризация роботов — путь к нанотехнологическому оружию
Как мы уже говорили, нанотехнологии позволят создавать очень эффективное оружие, которое способно истребить всех людей, даже не обладая способностью к саморепликации. Облако нанороботов может распространиться по некой местности…
Астероидная опасность в контексте технологического развития
Нетрудно заметить, что прямые риски столкновения с астероидом убывают по мере технологического развития. В первую очередь, они убывают за счёт более точного измерения этой самой вероятности — то…
Генетическая деградация и ослабление фертильности (способности к размножению)
Распространение мутагенов (огромное количество разных веществ), накопление генетических дефектов в результате прекращения генетического отбора, нарушение моделей полового отбора, более позднее рождение детей (больше поломок ДНК успевает накопиться) может…
Парные сценарии
Рассмотрим для начала гипотетические парные сценарии глобальной катастрофы, иначе говоря, разные варианты взаимоусиления основных факторов, взятых парами. При этом понятно, что в реальности они будут действовать все вместе,…