1. Путаница между вероятностью, как мерой изменчивости
объекта, и степенью уверенности, как мерой информации об объекте.
Первое понятие относится к вероятностному процессу, например, радиоактивному распаду, а второе к неизвестному процессу — например, угадыванию карты. Однако глобальные риски представляют собой явления, оценивая которые мы вынуждены высказывать вероятностные суждения о процессах, одновременно и вероятностных, и неизвестных. Таким образом, здесь идёт речь о степени уверенности в той или иной вероятности. В этом случае вероятность и степень уверенности перемножаются. Подробнее об этом мы говорили в 1 главе первой части, когда обсуждали смысл понятия вероятность применительно к глобальным катастрофам.
Ошибки, связанные с подменой анализа возможностей анализом целей. К данному типу заблуждений можно отнести рассуждения в духе «террористы никогда не станут применять бактериологическое оружие, потому что оно нанесёт удар и по тем, чьи интересы они защищают). Однако в действительности структура целей может быть очень сложна или просто содержать в себе ошибки.
Неверное употребление индуктивной логики. Умозаключение вида «если нечто очень давно не происходило, то оно не произойдёт ещё очень долго) работает только в том случае, если мы однократно наблюдали некое событие в случайный момент времени, и его вероятность описывается формулой Готта. Данная формула оценивает шанс завершения произвольного события в 50 процентов в промежуток от 1/3T до 3T, где T -возраст объекта в момент его случайного обнаружения. Однако если мы очень долго наблюдаем некий процесс, то он очевидным образом приближается к своему концу. Например, если мы возьмём случайного человека в случайный момент времени, то он, скорее всего, будет среднего возраста. Однако если взять случайного человека и потом очень долго наблюдать за ним, то мы однозначно увидим когда-нибудь глубокого старика, который может умереть в любой момент. (Подробнее см. мою статью «Природные катастрофы и антропный принцип) [Турчин 2007b].)
4. Ошибки, связанные с мышлением, обусловленным желанием найти доказательства. В зависимости от того, что человек хочет доказать, он будет подбирать те или иные аргументы, часто неосознанно. Другое название для этой модели — «рационализация), то есть подбор псевдорациональных аргументов под некое исходно иррациональное утверждение. В английском это называется «wishful thinking)).
Логическая ошибка, возникающая при попытках доказать, что нужно делать, только на основании имеющихся фактов. Если в первой и второй посылке умозаключения содержатся только факты, то и в выводе могут быть только факты. Любое рассуждение о целях должно опираться на некие представления о ценностях, заданных аксиоматически. Однако это означает произвольность таких целей, и их понимание может различаться у разных исследователей глобальных рисков, что может привести к разным определениям понятия катастрофы и различным представлениям о том, что будет из неё выходом. Кроме того, любая система аксиом позволяет формулировать недоказуемые высказывания (как показал Гёдель в теореме о неполноте). И в этом несложно убедиться на примере долженствования: почти любая система базовых ценностей легко порождает внутри себя противоречия, что является основой сюжета многих литературных произведений, когда герой должен сделать выбор между, допустим, любовью к семье и долгом перед родиной (то, что ещё называется «экзистенциальным выбором)). Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как в будущем её нужно будет вложить в машины, обладающие искусственным интеллектом.
Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов лиц, исследующих риски. Можно рассуждать следующим образом: если человек исследует риски бесплатно, то он безработный и маргинал, если он хочет получать за это деньги, то он паразитирует на общественных страхах, если это его прямые должностные обязанности, то доверять ему нельзя, потому что он агент государства и запудривает мозги населению. Отсюда следует, что прямой связи между коммерческим интересом и анализом рисков нет, хотя в некоторых случаях она возможна. Объяснение через упрощение называется «редукционизмом) и позволяет объяснить всё, что угодно.
Использование так называемого «авторитетного знания». «Авторитетное знание) было основным источником сведений о мире в Средние века, когда истину искали в трудах Аристотеля и других мыслителей древности; потом изобрели эмпирический метод. Ссылки на мнения великих людей не должны служить достаточным основанием для того, чтобы признать некое явление безопасным. Только регулярно повторяемые вычисления могут указывать на это.
Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана. Если рассматривать научный метод, как способ получения наиболее достоверных знаний, то эта методология верна. Однако с точки зрения обеспечения безопасности необходим противоположный подход: некое предположение о новом опасном явлении должно приниматься всерьёз до тех пор, пока не доказано обратное. Например, новая модель самолёта считается опасной, до тех пор пока не будет доказано, путём теоретических выкладок и испытательных полётов во всех режимах, что она безопасна; тот же принцип лежит в основе клинического тестирования новых лекарств. Неясно так же, как применять принцип фальсифицируемости (лежащий в основе научного метода) в отношении теорий о тех или иных глобальных катастрофах.
9. Восприятие новой информации через призму старой.
В процессе восприятия внешнего мира человек только часть информации берёт из него, а остальное достраивает, используя свою память, ожидания и ассоциации. Увы, то же касается и восприятия текстов, в том числе и по глобальным рискам. Читая рецензии разных людей на один и тот же текст, нетрудно убедиться, что они восприняли его совершенно по-разному. Вряд ли это связано с принципиально разным уровнем интеллекта рецензентов, скорее, с тем, что они применяли разные фильтры восприятия. Более того, если человек придерживается определённой точки зрения, то он подписывается на те издания и выбирает те статьи, которые её подтверждают. Таким образом, у него создаётся иллюзия, что статистика по данным, подтверждающим его точку зрения, растёт. Это ещё больше укрепляет и его фильтр, и его уверенность в этих данных.
Ошибка в выборе нейтральной позиции. Каждый человек со временем понимает, что он не вполне объективен, и его точка зрения имеет некоторую тенденциозность. Чтобы компенсировать это отклонение, он может выбрать некий нейтральный источник информации. Ошибка состоит в том, что люди, придерживающиеся противоположных взглядов, выберут разные нейтральные точки зрения, каждая из которых будет ближе к позиции того, кто её выбрал. Похожую ошибку мы описывали выше, когда приводили результаты опытов, в которых испытуемые были предупреждены о возможной ошибке и делали на неё поправку — и, тем не менее, всё равно недооценивали. Вероятно, поправку в таком случае нужно давать не только к основному параметру, но и к самой поправке.
Уверенность как источник ошибок. Чем больше человек сомневается в своей точке зрения, тем чаще он меняет её под влиянием новых фактов, и тем больше шансов, что он обретёт достоверное знание. Если человек слишком уверен в своём мнении, ему трудно это мнение изменить. Если же человек слишком часто меняет точку зрения, то он не приближается к истине, а ходит по кругу.
12. Использование полностью ошибочной логики. Увы,
возможна ситуация, когда человек в своих рассуждениях совершает ошибки
буквально «в каждой строчке». Как правило, он не способен обнаружить это
даже при желании. Здесь может возникнуть или одна повторяющаяся систематическая ошибка, или такая плотность разных ошибок, которая делает невозможным правильное рассуждение. Я тоже не могу знать наверняка, не делаю ли каких-то систематических логических ошибок в настоящий момент. Появление таких ошибок может происходить чаще, чем мы думаем: анализ научных текстов показал, что обычно люди пользуются сокращёнными умозаключениями и приёмами эвристики, не осознавая этого.
Смешение преднауки и псевдонауки. В тот момент, когда гипотеза находится в процессе формулирования, она ещё не имеет под собой устойчивого научного фундамента и является, скорее, продуктом мозгового штурма на некую тему, возможно, осуществляемого коллективно путём обмена мнениями в печатных изданиях. И в этот момент гипотеза, являясь по сути преднаукой, нацелена на то, чтобы стать частью науки, то есть готова пройти соответствующий отбор и быть принятой или отвергнутой. Псевдонаука может имитировать все атрибуты научности -звания, ссылки, математический аппарат, тем не менее, её цель — не поиск достоверного знания, а создание видимости достоверности. Все высказывания о глобальных рисках являются гипотезами, которые мы вряд ли когда-нибудь сможем проверить. Однако мы не должны отбрасывать их на ранних фазах созревания. Иначе говоря, фаза мозгового штурма и фаза критического отсева должны существовать наравне, не смешиваясь.
Ошибка, связанная с неправильным определением статуса «универсалий». Проблема реальности универсалий (то есть обобщений) была основной в средневековой философии, и состояла она в вопросе, какие объекты существуют на самом деле. Существуют ли, например, птицы вообще, или есть только отдельные экземпляры птиц, а все виды, рода и семейства птиц — не более чем условная классификация, порождённая человеческим разумом? Одним из возможных ответов является то, что объективно существует лишь наша способность различать птиц и не-птиц. Более того, каждая птица тоже обладает такой способностью, и в силу этого универсалии существуют объективно. В рассуждения о рисках неясность по поводу универсалий закрадывается следующим образом: свойства одного объекта переносятся на класс в целом, и возникают формулировки вроде «Америка хочет.) или «русским свойственно.), за которыми стоит не единичный объект, а множество их, и точное определение этого множества объектов зависит от самого наблюдателя. Любые дискуссии о политике отравлены такого рода сдвигом. Рассуждая об искусственном интеллекте, легко совершить подобную ошибку, так как непонятно, идёт ли речь об одном устройстве или о классе объектов.
15. Неравносильность утверждений о возможности и невозможности. Утверждение о невозможности чего-либо гораздо сильнее, ибо относится ко всему множеству потенциальных объектов, а для доказательства истинности утверждения о возможности достаточно одного объекта. Поэтому утверждения о невозможности чего-либо являются ложными гораздо чаще. Считая какое-то событие или стечение обстоятельств невозможным, мы наносим ущерб собственной безопасности. В определённых обстоятельствах возможно всё. При этом, любые дискуссии о будущих катастрофах — это всегда дискуссии о возможностях. Иными словами, когда мне говорят, что нечто невозможно, я требую доказательств.
16. Очевидности как источник ошибок. Правильное умозаключение всегда опирается на две посылки, два истинных суждения. Однако анализ текстов показывает, что люди очень часто употребляют не полную форму умозаключений, а сокращённую, где явно называется только одна посылка, а другая подразумевается по умолчанию. Умалчиваются обычно очевидности — суждения, которые кажутся настолько истинными и несомненными, что нет нужды их озвучивать. Более того, часто они настолько очевидны, что не осознаются. Понятно, что такое положение дел является причиной многочисленных ошибок, потому что очевидность – не обязательно истинность, и то, что очевидно одному, не очевидно другому.
Недооценка собственной склонности к ошибкам. Как и любой человек, я склонен ошибаться, это зависит как от принципиальной ненадёжности человеческого мозга, связанной с вероятностной природой его работы, так и от неполноты моих знаний о мире и недостаточности навыков устранения ошибок. Я ничего не могу знать на 100 %, потому что надёжность моего мозга не равна 100 %. Я, например, могу установить степень этой надёжности, решив серию логических задач средней сложности, и затем посчитав количество ошибок. Однако обычно этого никто не делает, и собственная склонность к ошибкам оценивается интуитивно. Точно так же человек обычно не измеряет характерную ошибочность своих суждений о будущем, хотя это возможно сделать экспериментально: например, написать прогноз своей и общественной жизни на год или пять лет, а затем оценить степень его достоверности.
Ошибки, связанные с представлением о том, что каждое событие имеет одну причину. В действительности подобное представление ложно, так как:
а) Есть совершенно случайные события.
б) Каждое событие имеет много причин (стакан упал и разбился, потому что его поставили на край стола, потому что он сделан из стекла, потому что есть сила тяжести, потому что пол твёрдый, потому что кошка непослушная, потому что это рано или поздно должно было случиться).
в) Каждая причина имеет свою причину, в результате чего мы имеем разрастающееся в прошлое древо причин. Человеческий ум неспособен целиком охватить это древо причин и вынужден упрощать. Но понятие причины необходимо обществу, потому что связано с понятиями вины, наказания и свободы воли. То есть в данном случае под «причиной) подразумевается принятие свободным вменяемым человеком решения о совершении преступления. Нет нужды говорить о том, сколько здесь неочевидных моментов.
Понятие причины менее всего применимо к анализу сложных уникальных явлений, таких как человеческое поведение и история. Пример тому — масса запутанных дискуссий о причинах тех или иных исторических событий. Именно поэтому рассуждения в духе «причиной глобальной катастрофы будет Х), мягко говоря, несовершенны.
19. Необходимость выбора на основе веры. Если руководитель получает несколько противоречащих друг другу заключений о безопасности того или иного решения, то он делает выбор между ними, просто веря в одно из них — по причинам, не связанным с самой логикой. Здесь также можно вспомнить уже упоминавшийся термин «экзистенциальный выбор), когда человек должен сделать выбор в неформализуемой ситуации.
Например, между любовью и долгом.
Эффект первой и последней прочитанной книги. Как правило, прядок поступления информации влияет на оценку её субъектом, при этом особенно сильное влияние оказывают первый и последний источники. Это тоже одна из форм возникновения ошибок, связанная с доступностью информации.
Преувеличение роли компьютерного моделирования. Две наиболее проработанные компьютерные модели — это метеорологическая и модель атомного взрыва. Обе созданы на основе обширного фактического материала, с учётом сотен испытаний, которые вносили поправки к прогнозам, и обе регулярно давали ошибки. Даже самая точная модель остаётся моделью. Поэтому мы не можем абсолютно полагаться на компьютерное моделирование уникальных событий, к каковым относится глобальная катастрофа.
Доказательство по аналогии как источник возможных ошибок. Дело не только в том, что аналогий уникального события, которое ещё никогда не случалось (необратимой глобальной катастрофы), не может быть в принципе, но и в том, что мы не знаем, как проводить такие аналогии. В любом случае, аналогии могут только иллюстрировать событие. Вероятно, полезно принимать аналогии во внимание, когда они говорят о реальности некой угрозы, но в случае оценки безопасности какого-либо события они неуместны.
23. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной вероятностной функции с помощью линейной. Вероятностную функцию гибели цивилизации — если считать этот процесс гладким в смысле вероятности, что, конечно, неверно, — можно уподобить функции распада радиоактивного атома, которая, как известно, описывается экспонентой. Например, если вероятность гибели цивилизации в течение XXI века равна 50 %, как это предполагает сэр Мартин Рис в книге «Наш последний час», то через 200 лет шанс выживания цивилизации будет 25 %, а через тысячу лет — только 0,1 % — при равномерном сохранении тех же тенденций. Отсюда следует, что заключение в духе «если шансы выживания в течение тысячелетия составляют 0,1 %, то для одного столетия оно будет только в десять раз больше, то есть 1 %» неверно. Эта же ошибка в менее явном виде возникает, если нам нужно экстраполировать те же 50 % выживания в течение 100 лет на погодовую вероятность гибели. Линейная аппроксимация дала бы 0,5 % на год. Однако точное значение погодовой вероятности, вычисленное по формуле 1 2 ~t0 , составляет примерно 0,7 %, то есть в 1,4 раза выше, чем даёт интуитивная линейная аппроксимация.
24. Санкт-Петербургский парадокс. Этот парадокс, названный так по месту открытия, имеет прямое отношение к глобальным катастрофам, поскольку показывает то, что бесконечно большой ущерб от крайне редких событий имеет больший вес, чем все остальные события, однако психологически люди не готовы это воспринять. Г.Г. Малинецкий так описывает этот парадокс в книге «Риск. Устойчивое развитие. Синергетика»: «Рассмотрим следующую игру. Подбрасывается монета до тех пор, пока в первый раз не выпадет орел. Если потребовалось n бросков, то выигрыш составит 2n единиц. То есть выигрыши 2,4,8,…2n будут происходить с вероятностью 1/2,1/4,1/8,…1/2n. Ожидаемый выигрыш в этой игре бесконечен:
Х1=1 (1/2)n ■ 2n =¥
Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц» [Капица, Курдюмов, Малинецкий 2001].
Различия между опасностью и риском. Риск создаётся принимаемыми решениями, а опасность — обстоятельствами. Поскольку основным источником риска глобальных катастроф являются новые технологии, то именно решения об их развитии и применении определяют его. Однако если технологии развиваются стихийно и неосознанно, то они становятся подобны природным опасностям.
Ошибка, связанная с тем, что если вероятность некого события является невычислимой, ей считают нулевой. В данном случае принцип предосторожности требует, чтобы мы приписывали таким событиям стопроцентную вероятность. Однако это привело бы к абсурдным выводам в духе: вероятность высадки инопланетян завтра неизвестна, поэтому мы должны к ней готовиться так, как если бы она была равна 100 процентам. В этом случае можно пользоваться непрямыми способами оценки вероятности, например, формулой Готта.
27. Упущение того факта, что безопасность системы определяется наиболее слабым её звеном. Если в помещение ведут три параллельных двери, одна из которых заперта тремя замками, вторая — двумя, а третья — одним, то помещение заперто на один замок. Как не укрепляй две самые прочные двери, это ничего не изменит.
28. Отвергание гипотез без рассмотрения. Для того, чтобы отвергнуть некую гипотезу, её надо вначале рассмотреть. Но часто эта последовательность нарушается. Люди отказываются рассматривать те или иные предположения, потому что считают их слишком невероятными. Однако окончательно отвергнуть некое предположение можно, только тщательно его рассмотрев, а для этого его необходимо хотя бы на некоторое время принять всерьёз.
29. Невычислимость. Целый ряд принципиально важных для нас процессов настолько сложен, что предсказать их невозможно, поскольку они невычислимы. Невычислимость может иметь разные причины.
Она может быть связана с непостижимостью процесса (например, непостижимость Технологической Сингулярности, или непостижимость теоремы Ферма для собаки), то есть с принципиальной качественной ограниченностью человеческого мозга. Такова наша ситуация с предвидением поведения суперинтеллекта в виде ИИ.
Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть с недетерминированностью систем (погоды, мозга).
Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе событий. К таковым относятся модели глобального потепления, ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая изучает уникальное событие, которое ещё ни разу не происходило, то есть является опережающей моделью.
Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Этот вид невычислимости проявляется в виде хаотической детерминированной системы.
Невычислимость связана также с тем, что хотя мы можем думать, что нам известна правильная теория (наряду со многими другими), мы не можем знать, какая именно теория правильна. То есть теория, помимо правильности, должна быть легко доказуемой для всех, а это не одно и то же в условиях, когда экспериментальная проверка невозможна. В некотором смысле способом вычисления правильности теории, а точнее — меры уверенности в этой правильности, является рынок, где делаются прямые ставки или на некий исход событий, или на цену некого товара, связанного с прогнозом, например, цену на нефть. Однако на рыночную цену влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и некем будет выплачивать страховку, то есть в силу этого можно сказать, что страховая цена равна нулю.)
Ещё один вид невычислимости связан с возможностью осуществления самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой.
Невычислимость, связанная с предположением о собственном положении в выборке (self-sampling assumption — см. об этом книгу Н. Бострома [Bostrom 2003a]). Суть этого предположения состоит в том, что в некоторых ситуациях я должен рассматривать самого себя как случайного представителя из некоторого множества людей. Например, рассматривая самого себя как обычного человека, я могу заключить, что я с вероятностью в 1/12 имел шансы родиться в сентябре. Или с вероятностью, допустим, 1 к 1000 я мог бы родиться карликом. Это иногда позволяет делать предсказания на будущее: а именно, если в России 100 миллиардеров, то шансы, что я стану миллиардером, составляют один к 1,5 миллионам, в предположении, что эта пропорция будет сохраняться. К невычислимости это приводит, когда я пытаюсь применить предположение о собственном положении в выборке к своим знаниям. Например, если я знаю, что только 10 % футурологов дают правильные предсказания, то я должен заключить, что с вероятностью 90% любые мои предсказания неправильные. Большинство людей не замечают этого, поскольку за счёт сверхуверенности и повышенной самооценки рассматривают себя не как одного из представителей множества, а как «элиту» этого множества, обладающую повышенной способностью к предсказаниям. Это особенно проявляется в азартных играх и игре на рынке, где люди не следуют очевидной мысли: «Большинство людей проигрывает в рулетку, следовательно, я, скорее всего, проиграю».
Похожая форма невычислимости связана с информационной нейтральностью рынка. (Сказанное далее является значительным упрощением теории рынка и проблем информационной ценности даваемых им показателей. Однако более подробное рассмотрение не снимает названную проблему, а только усложняет её, создавая ещё один уровень невычислимости, — а именно невозможность для обычного человека охватить всю полноту знаний, связанную с теорией предсказаний, а также неопределённость в том, какая именно из теорий предсказаний истинна. См. об информационной ценности рынка так называемую «no trade theorem))1.) Идеальный рынок находится в равновесии, когда половина игроков считает, что товар будет дорожать, а половина — что дешеветь. Иначе говоря, выиграть в игре с нулевой суммой может только более умный или осведомленный, чем большинство людей, человек. Однако большинство людей не являются более умными, чем все, по определению, хотя и не способны осознать это по причине психологической предвзятости. В результате чего, например, большинство водителей считают себя более аккуратными, чем среднестатистический водитель. Или другой пример: цена на нефть находится на таком уровне, что не даёт явных подтверждений ни предположению о неизбежности кризиса, связанного с исчерпанием нефти, ни предположению о неограниченности нефтяных запасов. В результате рациональный игрок не получает никакой информации о том, к какому сценарию ему готовится. Та же самая ситуация относится и к спорам: если некий человек начал доказывать точку зрения, противоположную вашей, и вам ничего неизвестно о его интеллекте, образованности и источниках информации, — и при этом вы полагаете, что также являетесь средним, человеком, а не особенным (что особенно трудно), а также о своём объективном рейтинге интеллекта, то есть шанс 50 на 50, что прав он, а не вы. Поскольку объективно измерить свой интеллект и осведомлённость крайне трудно из-за неосознанного желания их переоценить, то следует считать их находящимися в середине спектра.
Поскольку в современном обществе действуют механизмы превращения любых параметров будущих событий в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. п., фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли фактами мы не можем узнать наверняка, будет ли глобальное потепление, когда произойдёт исчерпание нефти, или какова реальная угроза птичьего гриппа.
Ещё одна причина невычислимости — секретность. Если мы пытаемся учесть эту секретность с помощью разных «теорий заговора) в духе книги Симмонса «Сумерки в пустыне) [Simmons 2005] о преувеличенности оценок запасов Саудовской нефти, то мы получаем расходящиеся в пространстве интерпретации. То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями. Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные секреты.
Рыночные механизмы побуждают людей лгать о качестве их товаров и о прогнозах своих фирм, с тем, чтобы получить большую выгоду за интересующий их промежуток времени. Яркий пример этого мы видим в последствиях так называемой «революции менеджеров», когда управленцы сменили собственников в директорате фирм в 70-е годы. В результате они стали более заинтересованы получать краткосрочные прибыли в течение срока своей работы в компании, не рассматривая риски для компании за пределами этого срока.
Психологический аспект этой проблемы заключается в том, что люди рассуждают таким образом, будто бы никакой невычислимости нет. Другими словами, можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как не принимается во внимание ограниченность человеческой способности рассуждать о нём достоверно.