Система наблюдения, способная служить предотвращению глобальных рисков, должна обладать определенными свойствами.
Прежде всего, следует учитывать, что система всеобщего контроля, предназначенная для устранения правонарушений, не обязана распространяться глобально или касаться всех людей, живущих в стране. Однако система всеобщего контроля, предназначенная для устранения глобальных рисков, а именно препятствующая деятельности био– и нанохакеров, имела бы смысл только в том случае, если бы она распространялась по всей территории Земли. В противном случае опасные эксперименты проводились бы именно в том «темном уголке», который не охвачен такой системой.
Разумеется, нет нужды следить за всеми людьми, чтобы пресечь деятельность гипотетических «нано-биохакеров». Но как узнать, за кем именно следить? Достаточно ли установить системы контроля во всех известных биолабораториях, а также проконтролировать всех известных выпускников биофаков? Очевидно, что нет. Но и следить за пенсионеркой Марьиванной тоже абсурдно. С другой стороны, как только мы заявим, что есть некий класс людей, за которыми мы не следим, то потенциальные террористы начнут мимикрировать именно под них.
Система всеобщего контроля должна действовать ДО того, как реальное правонарушение совершено, то есть ДО того, как написан опасный вирус. Следовательно, она должна вычислять потенциальных террористов по косвенным признакам. Такая система работала при тоталитарных режимах, когда на всякий случай арестовывали всех подозрительных людей. Очевидно, что террористы будут стремиться избегать контроля такой системы и противостоять ей. В силу этого любой антиглобалист, протестующий против тотального наблюдения, будет причисляться к потенциальным террористам. И чем жестче будет система контроля, тем больший протест она будет вызывать и тем большее число террористов, глобально же борющихся с ней, порождать. Таким образом, система всеобщего контроля не уменьшит реальное число террористов.
Следующая проблема, связанная с системой всеобщего слежения, состоит в том, что у нее есть, по определению, белое пятно: те, кто следит, оказываются вне наблюдения. Любые организации сталкиваются с такой проблемой и, чтобы бороться с ней, создают «службы внутренней безопасности» – но это только уменьшает размер «слепого пятна», но не устраняет его.
Другая очевидная проблема – это возможность злоупотреблений, так как любая система, созданная для предотвращения глобальных рисков, может работать и для устранения мелких правонарушений, для политического контроля и для собственного выживания в конечном счете.
В середине 90-х Пепперштейн первым обратил мое внимание на то, что компьютеры предоставляют возможность организовать идеальное тоталитарное общество с полным контролем над каждым человеком. После терактов 11 сентября, создания и затем утечек в Интернет огромного количества баз данных эта идея стала общим местом.
Безусловно, система контроля над гражданами может «помочь» в очень многих случаях. Например, чтобы отвратить несознательных индивидов от незаконного копирования музыки, употребления неприличных слов, переедания, злоупотребления наркотиками и алкоголем, нарушения правил дорожного движения. Но все это не имеет отношения к проблемам устранения глобальных рисков.
Или, точнее, имеет, но весьма специфическое: если бы все наши ошибки были обнаружены (а человек по своей природе не может не ошибаться), то каждый заслуживал бы места в тюрьме. Страна, установившая такой контроль над гражданами, стала бы тюрьмой. Более того, для реализации такой системы потребовалось бы изменить природу человека: вероятно, только генетически модифицированные и «чипованные» люди никогда не ошибаются. Но такое изменение означало бы, что природе человека, его творческим способностям будет нанесен значительный ущерб, и, возможно, подобное изменение повлекло бы за собой даже катастрофические последствия.
Далее, для эффективной работы контролирующая система должна превосходить по качеству материала (и по уровню организации) контролируемую. Однако в отношении систем действует тот принцип, что их сложность взаимно со-настраивается, то есть если в городе есть преступники, то в полицию рано или поздно проникнет коррупция. Это означает, что всемирная система контроля может быть успешно вскрыта хакерами, которые смогут тем или иным образом обманывать ее и даже использовать в своих целях.
Только сверхчеловеческая система тотального контроля, созданная искусственным интеллектом, будет иммунна к таким атакам – однако в этом случае люди не смогут ее контролировать, и неизвестно, какие сбои в ней могут произойти.