Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция и за внимание инвесторов и за правильность идей именно их способа создания универсального ИИ. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором — или применить его для контроля над всеми другими ИИ-проектами в мире, а значит и над всем миром, или оказаться перед риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время — и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества»1. При этом данная необходимость выбора не является тайной — она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подойдут к созданию сильного ИИ2. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями. Даже в XIX веке телефон запатентовали почти одновременно в разных местах, так что и сейчас зазор между лидером гонки и догоняющим может составлять дни или часы. Чем уже этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов.
0
Понравилась статья? Поделиться с друзьями:
Вам также может быть интересно
Распространение мутагенов (огромное количество разных веществ), накопление генетических дефектов в результате прекращения генетического отбора,
Очевидно, что перенаселение само не может никого истребить, но может создать условия, при которых
Вклад вероятностного сдвига из-за прекращения действия защиты, даваемой антропным принципом в суммарную вероятность вымирания
Теоретически возможно облучение планеты с орбиты с помощью специальных спутников гамма-лучами (нечто вроде искусственного
Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои
В разделе 16.5 мы рассмотрим биологические аспекты генетической деградации (и вероятность того, что она