Возможность этого риска впервые указана Дрекслером, и исследована в статье Р. Фрейтаса «Проблема серой слизи» [Freitas 2000]. В отношении нанороботов, равно как и ИИ, нам трудно оценить вероятность…
Структура глобальной катастрофы
ИИ и его отдельные экземпляры
Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно,…
Выводы по рискам применения ядерного оружия
Угроза ядерной катастрофы часто недооценивается или переоценивается. Недооценка в основном связана с рассуждениями о том, что раз катастрофы давно не было, то она маловероятна. Это неверное рассуждение, поскольку…
Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами
Далее я привожу известные мне оценки ведущих экспертов в этой области, которые публиковали исследования с оценками рисков человеческого вымирания (но эти оценки могут быть искажены в сторону пессимизма,…
Гипотеза техногуманитарного баланса
Как отмечает А.П. Назаретян [Назаретян 2001], людям свойственно постепенно подстраивать своё социальное поведение к факту существования новых видов оружия. Когда карабины попали в руки горных кхмеров, они перестреляли…
Глобальная система наблюдения
Любая защита от глобального риска опирается на некую систему глобального наблюдения и контроля. Чем опаснее риск и чем в большем числе мест он может возникнуть, тем тотальнее и…
Цена вопроса
Мы можем также измерить вероятность апокалипсического сценария, определив количество денег, времени и прочих ресурсов, которые для него потребуются, — и сравнив их с общем количеством доступных ресурсов. Если…
Уязвимость к сверхмалым воздействиям
Следующим сценарным фактором является уязвимость сверхсложных систем к бесконечно малым воздействиям — что можно использовать для организации диверсий. (За счёт нелинейного сложения несколько очень слабых событий могут иметь…
Возможные общелогические ошибки в рассуждениях о глобальных рисках
1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте. Первое понятие относится к вероятностному процессу, например, радиоактивному распаду, а второе к…
Глобальные катастрофы и текущая ситуация в мире
С одной стороны, может показаться, что вращение политической жизни в современном мире постепенно сосредотачивается вокруг предотвращения отдалённых глобальных катастроф, возможными источниками которых считаются в первую очередь три: развёртывание…
Старение вида
Есть концепция, что виды могут стареть. Майкл Фут и др. в статье «Взлет и падение видов: новые данные подтверждают старую идею «эволюционного цикла» [Foote et al 2007] пишут:…
Астероидная опасность в контексте технологического развития
Нетрудно заметить, что прямые риски столкновения с астероидом убывают по мере технологического развития. В первую очередь, они убывают за счёт более точного измерения этой самой вероятности — то…
Миниатюризация роботов — путь к нанотехнологическому оружию
Как мы уже говорили, нанотехнологии позволят создавать очень эффективное оружие, которое способно истребить всех людей, даже не обладая способностью к саморепликации. Облако нанороботов может распространиться по некой местности…
Борьба ИИ-проектов между собой
Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция и за внимание инвесторов и за правильность идей именно их способа создания универсального ИИ. Когда некая компания создаст первый…
Сокращение ядерных вооружений
Сокращение ядерных вооружений должно радовать борца с глобальными рисками, так как снижает вероятность глобальной катастрофы. Уменьшение суммарного числа зарядов у двух сверхдержав уменьшает размер потенциальной максимальной катастрофы (которая…
Проблемы вычисления вероятностей различных сценариев
Чтение этого раздела можно пропустить без ущерба для дальнейшего понимания текста. Основной вывод состоит в том, что невозможно вычислить объективные вероятности глобальных катастроф, поскольку это уникальные события, и…
Неизвестные нам сейчас причины катастроф
Можно сформулировать своего рода «Закон Мура» в отношении глобальных катастроф. Каждые N лет (примерно оцениваемое мной в 30 лет) удваивается известное нам число природных катастроф, которые могут угрожать…
Технологическая Сингулярность
Одно из глубоких наблюдений в духе идеи «кризиса кризисов» изложено в статье А. Д. Панова «Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии»…
Война как сценарный фактор
Войны были всю историю человечества. Сама по себе обычная война между людьми не может привести к человеческому вымиранию, поскольку всегда остаются выжившие победители. По Клаузевицу, бывают войны двух…
Системные кризисы
Возможно ли, чтобы глобальная катастрофа произошла не по той довольно очевидной схеме, которую мы описали выше? То есть не зародившись в одной точке в конкретный момент времени и…