Жанр требует «хэппи энда». Если бы глобальная катастрофа была абсолютно неизбежна, то не следовало бы и писать этой книги, так как единственное, что оставалось бы людям перед лицом неизбежной катастрофы — это устроить «пир перед чумой». Но даже если шансы катастрофы очень велики, мы можем значительно отсрочить её наступление, уменьшая её погодовую вероятность.
Я (и ряд других исследователей) вижу эти шансы в таком опережающем развитии систем искусственного интеллекта, которое обгоняет развитие других рисков, но одновременно это развитие должно опережаться ростом нашего понимания возможностей и рисков самого ИИ, и нашим пониманием того, как правильно и безопасно поставить перед ним задачу, то есть как создать «Дружественный» ИИ. И затем на базе этого Дружественного ИИ создать единую систему мировых договоров между всеми странами, в которой этот ИИ будет выполнять функции Автоматизированной системы государственного управления. Этот план предполагает плавный и мирный переход к действительно величественному и безопасному будущему.
И хотя я не думаю, что именно этот план легко и безупречно реализуется, или что он является действительно вероятным, я полагаю, он представляет лучшее, к чему мы можем стремиться и чего мы можем достичь. Суть его можно изложить в следующих тезисах, первые два из которых являются необходимыми, а последний — крайне желательным:
Наши знания и возможности по предотвращению рисков будут расти значительно быстрее возможных рисков.
При этом эти знания и возможности управления не будут порождать новых рисков.
Эта система возникает мирно и безболезненно для всех людей.