Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция и за внимание инвесторов и за правильность идей именно их способа создания универсального ИИ. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором — или применить его для контроля над всеми другими ИИ-проектами в мире, а значит и над всем миром, или оказаться перед риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время — и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества»1. При этом данная необходимость выбора не является тайной — она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подойдут к созданию сильного ИИ2. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями. Даже в XIX веке телефон запатентовали почти одновременно в разных местах, так что и сейчас зазор между лидером гонки и догоняющим может составлять дни или часы. Чем уже этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов.
0
Понравилась статья? Поделиться с друзьями:
Вам также может быть интересно
Можно предложить следующую метамодель глобальных рисков: основным глобальным риском является, с одной стороны, то,
Все приведённые выше непрямые оценки выполнены независимо друг от друга, хотя дают примерно одинаковые
Глобальное потепление связано как с рядом естественных природных процессов, так и с «суммой технологий»,
Риски, состоящие в том, что на Землю может быть занесена жизнь из космоса, принимались
Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020-2030 годы.
Иногда значительная катастрофы вызываются сбоями в системе управления. Пример тому различные социальные эксперименты в