Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что тем или иным способом сильный ИИ будет создан в течение XXI века, если только какая-либо другая катастрофа не помешает технологическому развитию. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: а именно, — успехи в сканировании мозга позволят создавать его электронные копии, и успехи в генетике — создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, а если при этом это будут копии высоко гениального и правильного обученного мозга, причём они будут объединены тысячами в некий виртуальный НИИ, то, в конечном счёте, мы всё равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.
Затем имеется несколько временных стадий, на которых ИИ может представлять опасность. Начальный этап:
Момент первого запуска: риск неконтролируемого развития и распространения.
Момент, когда владелец первого ИИ осознаёт своё преимущество в том, что может применить его как абсолютное оружие для достижения любых целей на Земле. (При этом владельцем ИИ может быть и государство, и крупная корпорация, хотя в конечном счёте — один или несколько человек.) Хотя эти цели могут быть благими, по крайне мере для некоторых людей, есть риск, что ИИ начнёт проявлять некорректное поведение в процессе распространения по Земле, тогда как в лаборатории он вёл себя идеально.
Момент, когда этот владелец ИИ осознаёт, что даже если он ничего не делает, кто-то другой очень скоро создаст свой ИИ и может использовать его для достижения каких-то других целей на Земле, и в первую очередь для того, чтобы лишить нашего владельца способности использовать свой ИИ в полную силу. Это побуждает создавшего ИИ первым попытаться остановить другие ИИ проекты. При этом он оказывается перед дилеммой: применить ещё сырой ИИ или опоздать. Это создаёт риск применения с невыверенной системой целей.
Следующая фаза риска — борьба между несколькими ИИ за контроль над Землёй. Опасность в том, что будет применяться много разного оружия, которое будет воздействовать на людей.
Понятно, что весь начальный этап может уместиться в несколько дней. Этап функционирования:
5) На этом этапе основной риск связан с тем, что система целей ИИ
содержит некую неочевидную ошибку, которая может проявиться
неожиданным образом спустя многие годы. (См. текст «Таблица
критический ошибок Дружественного ИИ»1 Юдковски.) Она может
проявиться или мгновенно, в виде внезапного сбоя, или постепенно, в виде
некоего процесса, постепенно вымывающего людей из жизни (вроде
сверхнаркотика и безработицы).
Сейчас мы не можем измерить риск, создаваемый на каждом этапе, но ясно, что он не стопроцентный, но значительный, поэтому мы относим его в категорию «10 процентных» рисков. С другой стороны, создание эффективного ИИ резко снижает все остальные глобальные риски, поскольку он может найти решения связанных с ними проблем. Поэтому фактический вклад ИИ в вероятностную картину рисков может быть отрицательный — то есть его создание уменьшает суммарный глобальный риск.
Отметим, что человек, стремящийся к власти на Земле, должен был бы пытаться любой ценой проникнуть в команду, создающую ИИ, и пытаться поместить «закладку» в его программный код. Примеры этому -программные закладки, которые делали в программном обеспечении банкоматов с целью последующего извлечения из них денег.
Чем хуже ИИ понимает людей, тем проще ему будет их просто убить, чем вступать в переговоры и налаживать взаимодействие. Например, если ИИ хорошо понимает в создании изделий из нанотехнологий, но плохо — в человеческой психологии, то ему будет проще произвести массу оружия и уничтожить людей, чем выяснять, представляют ли люди для него риск или могут ему помочь.
Опасность ИИ тем выше, чем больше у него исходный доступ к ресурсам реального мира. Например, есть Скайнет из Терминатора не была очень умна, но она уже была априорно снабжена системой ядерных ракет, которую вряд ли могла бы разработать сама. И дальнейшие усовершенствования могли происходить за счёт работы людей в «шарашках», а не за счёт собственного интеллекта скайнета. Такие системы (сетевые роботы, как скайнет) находятся на грани между «чистым ИИ», который является супермощной программой на голом компьютере, и роботом, который обладает локальной властью над материей и ограниченным интеллектом. Такие ИИ-сети появятся везде, где нужно управление крупным предприятием: в обороне, при освоении космоса.
Таким образом, чем лучшую модель человека может создать для себя ИИ, тем он безопаснее, так как ему не нужно уничтожать человека для уменьшения неопределённости. Но человек способен говорить о своих квалиа, и значит, что точная модель человека должна учитывать квалиа, или даже обладать ими. Таким образом, нам просто необходимо понять, что такое квалиа. Ведь если ИИ будет знать, что у человека есть нечто, принципиально для него недостижимое, то он не сможет быть уверен в своих моделях человека, и может перейти к упрощению.