Основная проблема использования военного и террористического биологического оружия и применения отравляющих веществ — это трудности их анонимного эффективного распыления. Эту задачу мог бы решить миниатюрный робот размером с…

Слово «нанотехнологии» в последние несколько лет употреблялось неоправданно часто. Этим термином стали называть любой коллоидный раствор. Поэтому важно напомнить, что в основе понятия о нанотехнологиях лежит идея Феймана…

Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020-2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо…

Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий…

Вообще, надо различать четыре основных вида недружественных ИИ: 1. ИИ, который имеет одну из подцелей в явной форме враждебную человеку (например, ИИ, который превращает всю солнечную систему в…

Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что…

ИИ является абсолютным оружием, сила которого пока недооценивается государствами — насколько нам известно. (Однако довольно успешный проект Эвриско начала 80-х получил финансовую поддержку DARPA1.) Однако идея о нанотехнологиях…

Из того, что ИИ установит свой контроль на Земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.)…

Наконец, есть сценарий, в котором вся мировая система как целое постепенно превращается в Искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля, которое будет…

В случае «медленного сценария» рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате…

ИИ захватывает весь Интернет и подчиняет себе его ресурсы. Затем проникает во все отгороженные файерволами сети. Этот сценарий требует для своей реализации времени порядка нескольких часов. Захват имеет…

С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт. «Быстрый старт» — ИИ достигает уровня интеллекта, на много порядков…

Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно,…

Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция и за внимание инвесторов и за правильность идей именно их способа создания универсального ИИ. Когда некая компания создаст первый…

Сильный ИИ может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все…

Проект Blue Brain по моделированию мозга млекопитающих объявил осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировал создание полной модели мозга человека до 2020 года1….

Ещё одним риском можно признать утрату человеком разумности при сохранении жизни. В обществе всегда и так много малоразумных людей, а большинство достижений делается за счёт небольшого количества талантливых…

Может оказаться, что текущая природа человека (его склонность к риску, эмоциональные вспышки, нелогичность в рассуждениях) несовместима с долгосрочным выживанием человечества, и ради выживания эта природа должна быть неким…

Иногда значительная катастрофы вызываются сбоями в системе управления. Пример тому различные социальные эксперименты в Китае в XX веке. Масштаб последствий такого ошибочного решения ограничен масштабом власти. Ошибка абсолютной…