Ключевым после решения проблем создания ИИ является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к хозяевам. Здесь два варианта: или ИИ строго запрограммирован людьми на некие цели, или он приобрёл цели случайно в процессе своего развития. В первом случае существует развилка: — цели ИИ могут быть опасны для всего человечества или 1. потому что создавшая его группа людей преследует некие разрушительные цели, или 2. потому что при программировании системы целей ИИ в неё вкралась тонкая ошибка, которая ведёт к постепенному выходу ИИ из-под контроля. Был предложен большой список возможных ошибок такого рода1. Например, ИИ может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть рекомендации SIAI 2 относительно того, как правильно программировать сильный ИИ при его создании, но окончательно этот вопрос не решён и есть сомнения, что он вообще может быть решён, поскольку невозможно предсказать поведение более интеллектуальной системы (то есть ИИ) с помощью менее интеллектуальной (то есть человекам).
Законы робототехники Азимова не дают таких гарантий безопасности, поскольку являются внешними ограничениями и, кроме того, являются тавтологией — «безопасность» определена через «отсутствие вреда». В принципе любая глобальная система целей ИИ может быть опасна, поэтому один из вариантов — это сузить ответственность конкретного ИИ в пространстве и времени. Пример небезопасного расширения временного промежутка — можно представить себе ситуацию, что если мы спасём 1 человека, то погибнет 10, но если мы пожертвуем этим 1 и спасём десять, то потом погибнет 100 и так далее. То есть функция полезности может не сходиться. Пример: ИИ уничтожит земную цивилизацию, поскольку если она колонизирует галактику, то неизбежно уничтожит множество потенциальных цивилизаций, которые могли бы зародиться на обитаемых планетах.