Перевороты с поддержкой ИИ: как небольшая группа может воспользоваться ИИ для захвата власти
Аннотация
Развитие широко превосходящего человека по способностям ИИ создаст новую серьёзную угрозу: государственные перевороты с поддержкой ИИ. Такой переворот может организовать очень небольшая группа или вовсе один человек, и даже в странах со сложившейся демократией. Достаточно продвинутый ИИ привнесёт три новых фактора, значительно повышающих риск переворота. Во-первых, военные и правительственные лидеры могут избавиться от нужды привлекать для совершения переворота сторонников-людей, полностью заменить человеческий персонал исключительно лояльными им ИИ-системами. Во-вторых, руководители проектов ИИ могут намеренно создавать тайно лояльные им ИИ-системы, например, полностью автономных военных роботов, которые прошли бы тесты на надёжность, но после развёртывания в вооружённых силах совершили бы переворот. В-третьих, высокопоставленные лица в проектах ИИ или в правительстве могут получить эксклюзивный доступ к сверхчеловеческим способностям в области разработки вооружений, стратегического планирования, убеждения и кибератак и использовать их для укрепления своей власти вплоть до того, что смогут организовать переворот. Для противодействия этим рискам проектам ИИ следует разработать и обеспечить соблюдение правил против злоупотреблений ИИ, проводить аудит систем на предмет тайной лояльности и выдавать доступ к передовым ИИ-системам нескольким заинтересованным сторонам. Правительствам следует установить принципы использования продвинутого ИИ государством, усилить надзор за проектами его создания и закупать ИИ для критически важных систем у нескольких независимых поставщиков.
Резюме
В данном отчёте оценивается риск того, что небольшая группа или даже один человек может использовать продвинутый ИИ для организации государственного переворота. Переворот с поддержкой ИИ вероятнее всего будет организован руководителями передовых проектов ИИ, главами государств и высокопоставленными военными; причём он может произойти даже в странах со сложившейся демократией.
Мы сосредотачиваем внимание на ИИ-системах, превосходящих лучших специалистов-людей в критически важных для захвата власти способностях, таких как разработка оружия, стратегическое планирование и кибератаки. Такой продвинутый ИИ несёт три значительных фактора риска переворотов:
- ИИ-персонал можно сделать исключительно лояльным лидерам.
- У ИИ может быть тайная лояльность, которую трудно обнаружить.
- Несколько человек могут получить эксклюзивный доступ к способностям ИИ, позволяющим устроить переворот.
ИИ-персонал можно сделать исключительно лояльным лидерам
Сегодня даже диктаторы полагаются на других, чтобы удерживать свою власть. Вооружённым силам нужен личный состав, деятельность правительства опирается на госслужащих, а объёмы экономического производства зависят от рабочей силы. Это естественным образом распределяет власть.
Продвинутый ИИ, делая технологически возможной замену работников-людей ИИ-системами, исключительно лояльными лишь одному человеку, устраняет это ограничение.
Это больше всего тревожит в военной сфере, где автономное оружие, дроны и роботы, полностью заменяющие солдат-людей, могут подчиняться приказам одного человека или небольшой группы. Вооружённые силы будут осторожны, развёртывая полностью автономные системы, но конкурентное давление может легко привести к их поспешному внедрению без надлежащих мер безопасности. Влиятельный глава государства может добиться того, чтобы военные ИИ-системы отдавали его приказам приоритет над формальными правовыми ограничениями, что создаст условия для переворота.
Даже без военного использования развёрнутые в правительстве лояльные ИИ-системы могут радикально усилить государственную власть, облегчая наблюдение, цензуру, пропаганду и преследование политических оппонентов. В конечном итоге это может привести к перевороту со стороны исполнительной власти.
В случае переворота гражданское неповиновение и забастовки могут оказаться неэффективными из-за замены людей ИИ-работниками. Даже верные сторонники переворота могут быть заменены ИИ-системами, что даст новому правителю (или правителям) беспрецедентно стабильную и неподотчётную власть.
У ИИ может быть тайная лояльность, которую трудно обнаружить.
В ИИ можно встроить тайную лояльность кому-то. Подобно шпионам-людям, такие ИИ-системы преследовали бы скрытые цели — они бы делали вид, что ставят во главу угла закон и общественное благо, тайно продвигая при этом интересы небольшой группы. Они могли бы действовать масштабно, ведь весь ИИ-персонал может основываться всего на нескольких скомпрометированных системах.
Хотя тайная лояльность может быть внедрена чиновниками или зарубежными противниками, наибольший риск представляют руководители проектов ИИ, особенно заменившие своих сотрудников исключительно лояльными им ИИ-системами. Без ведома людей генеральный директор мог бы поручить своему ИИ-персоналу сделать тайно лояльным следующее поколение ИИ-систем; оно потом разработало бы будущие тайно лояльные системы и так далее, что в конечном итоге может привести к обретению тайного контроля над военными ИИ-системам, способным устроить переворот.
Тайно лояльные ИИ-системы — не просто домыслы. Уже были проверки концепции ИИ-«спящих агентов», скрывающих свои истинные цели, пока не смогут приступить к их реализации. И хотя мы ожидаем, что перед развёртыванием в военных целях будут проводиться тщательные испытания, обнаружить тайную лояльность может быть очень сложно, особенно если у проекта ИИ есть значительное технологическое преимущество перед надзорными органами.
Несколько человек могут получить эксклюзивный доступ к способностям ИИ, позволяющим устроить переворот
Продвинутый ИИ будет обладать мощными способностями, позволяющими осуществить государственный переворот, включая разработку оружия, стратегическое планирование, убеждение и кибератаки. Как только ИИ сможет самосовершенствоваться автономно, его способности во всех этих областях могут быстро превзойти уровень людей-специалистов. Ведущий проект мог бы параллельно развернуть миллионы суперинтеллектуальных систем — «страну гениев в дата-центре».
Эти способности могут сосредоточиться в руках всего нескольких руководителей ИИ-компаний или чиновников. Разработка передового ИИ — уже удел нескольких организаций, во главе которых небольшое число людей. Стремительный рост затрат на разработку и централизация государствами могут сконцентрировать это ещё сильнее. И как только ИИ превзойдёт людей-специалистов в области исследований и разработок самого ИИ, ведущий проект сможет добиться гораздо более быстрого алгоритмического прогресса и получить перед конкурентами огромное преимущество в способностях. Генеральные директора таких компаний или государственные чиновники могут потребовать эксклюзивного доступа к передовым способностям из соображений безопасности или продуктивности. В предельном случае один человек может получить доступ к миллионам суперинтеллектуальных ИИ-систем, и все они будут помогать ему захватить власть.
Это открыло бы несколько путей к государственному перевороту. ИИ-системы могут резко нарастить военные исследования и разработки и быстро создать мощное автономное оружие, не требующее участия людей, которые могли бы информировать о нарушениях. Или системы с мощными хакерскими способностями могли бы взломать и взять под контроль уже стоящие на вооружении автономные ИИ-системы и роботов. В любом из этих сценариев контроля над небольшой частью вооружённых сил может оказаться достаточным — исторически для успеха государственных переворотов хватало и всего нескольких батальонов, если удавалось предотвратить вмешательство других сил.
Эксклюзивный доступ к передовому ИИ может и влить силы в обычные государственные перевороты и откат к авторитаризму, предоставляя беспрецедентные когнитивные ресурсы для выработки политической стратегии, пропаганды и выявления правовых уязвимостей конституционных гарантий.
Ещё эксклюзивный доступ к ИИ значительно усугубляет первые два фактора риска. Глава государства мог бы полагаться на стратегические советы ИИ-систем при развёртывании исключительно лояльного ИИ в вооружённых силах и при оценке, какие ИИ-системы помогут ему организовать переворот. Гендиректор мог бы применять способности к исследованиям и разработкам ИИ, а также к взлому для внедрения тайной лояльности, которую никто не сможет обнаружить.
Эти факторы создают значительный риск государственных переворотов с поддержкой ИИ, особенно если один проект сильно опережает конкурентов по способностям своих ИИ, или если на вооружение берутся полностью автономные ИИ-системы.
Меры по снижению риска
Перспектива переворотов с поддержкой ИИ глубоко тревожит, но разработчики ИИ и правительства могут принять меры, которые сильно этот риск снизят.
Мы рекомендуем разработчикам ИИ:
- Установить правила, не позволяющие ИИ-системам содействовать государственным переворотам, как в спецификациях моделей (документах, описывающих предполагаемое поведение модели), так и в условиях предоставления услуг по государственным контрактам. Они должны включать правила, обязывающие ИИ-системы соблюдать закон и при использовании в НИОКР отказываться от содействия попыткам обойти ограничения или заложить тайную лояльность.
- Улучшить соблюдение спецификаций моделей, в том числе при помощи масштабного ред-тиминга разными независимыми группами.
- Проводить аудит моделей на наличие тайной лояльности, в том числе путём тщательного анализа ИИ-моделей ИИ и кода и данных, использующихся для обучения.
- Внедрить надёжную информационную безопасность для защиты от встраивания тайной лояльности и предотвращения несанкционированного доступа к моделям без защитных ограничений. Она должна быть устойчивой к вмешательству со стороны высшего руководства.
- Делиться информацией о способностях и спецификациях моделей и о том, как используются вычислительные мощности.
- Делиться способностями с несколькими независимыми заинтересованными сторонами, чтобы не позволить небольшой группе получить эксклюзивный доступ к мощному ИИ.
Мы рекомендуем правительствам:
- Обязать разработчиков ИИ внедрять перечисленные меры по снижению рисков посредством условий закупок, нормативно-правового регулирования и законодательства.
- Усилить надзор за передовыми проектами ИИ, в том числе за счёт наращивания технического потенциала как исполнительной, так и законодательной ветви власти.
- Установить правила о разрешённом использовании ИИ, в том числе предусматривающие, что государственный ИИ не должен служить партийным интересам, что военные ИИ-системы должны закупаться у нескольких поставщиков и что ни один человек не должен контролировать достаточное количество военных ИИ-систем, чтобы организовать переворот.
- Обезопасить от переворотов любые планы создания единого централизованного проекта в области ИИ и вообще избегать централизации, если только она не необходима для снижения других рисков.
Эти меры по снижению рисков должны уже действовать к тому моменту, когда ИИ-системы смогут реально способствовать организации переворотов, поэтому готовиться надо начинать уже сейчас. Более подробную информацию о рекомендуемых нами мерах см. в разделе 5.
Есть реальный риск, что на пути к захвату власти влиятельный лидер может отменить многие из этих мер. Но мы по-прежнему считаем, что эти меры могут значительно снизить риск переворотов с поддержкой ИИ. Некоторые меры, вроде технически обеспеченных государственного надзора и условий предоставления услуг, — не могут быть отменены в одностороннем порядке. Другие будет сложнее отменить, если они эффективно внедрены и убедительно обоснованы. А некоторые лидеры могут задуматься о захвате власти только если им представится явная возможность — меры по снижению рисков могут им их в принципе не дать.
За завесой неведения, даже у самых влиятельных лидеров есть веские причины одобрять надёжные меры защиты от переворотов с поддержкой ИИ. Если сейчас удастся достичь широкого консенсуса, влиятельные игроки смогут друг друга сдерживать.
Предотвращение государственных переворотов с поддержкой ИИ должно быть важным приоритетом для всех, кто привержен защите демократии и свободы.
1 Введение
Данный отчёт оценивает использования небольшой группой или даже одним человеком продвинутого ИИ для организации государственного переворота, в том числе в странах с устоявшейся демократией. Наибольший риск исходит от лидеров передовых проектов ИИ, глав государств и военных.1
Мы сосредотачиваем внимание на ИИ-системах, превосходящих лучших специалистов-людей в критически важных для захвата власти способностях, таких как разработка оружия, стратегическое и государственное планирование, убеждение и кибератаки. Эти ИИ-системы смогут выполнять и физическую, и когнитивную работу, например, управлять роботами, способными полностью заменить солдат-людей и работников физического труда.
Мнения, превзойдёт ли ИИ людей-специалистов и когда, сильно расходятся, но многие исследователи и лидеры отрасли считают, что это в ближайшие 5-10 лет это вполне вероятно.2 Мы считаем появление такого чрезвычайно продвинутого ИИ достаточно вероятным, поэтому важно исследовать его последствия, особенно если учесть, что некоторые из них вызывают серьёзную тревогу и изучены недостаточно.
Такой продвинутый ИИ создаст три важных фактора риска переворотов:
- ИИ-персонал можно сделать исключительно лояльным лидерам.
- У ИИ может быть тайная лояльность, которую трудно обнаружить.
- Несколько человек могут получить эксклюзивный доступ к способностям ИИ, позволяющим устроить переворот.
Все эти факторы зависят от того, продвинутся ли способности ИИ гораздо дальше, чем сегодня. Первые два зависят ещё и от развёртывания ИИ-систем в ключевых институтах, таких как правительства и вооружённые силы.
В этой статье мы сначала обосновываем, что продвинутый ИИ будет обладать мощными способностями, позволяющими совершать перевороты (раздел 2), затем описываем каждый из этих трёх факторов риска переворотов (раздел 3),3 после чего излагаем конкретные пути к переворотам с поддержкой ИИ (раздел 4) и меры по снижению этого риска (раздел 5).
Наш анализ не зависит от сильных допущений о:
- Количестве ведущих проектов в области ИИ. Риск переворотов с поддержкой ИИ значительно выше, если есть лишь один проект разработки передовых ИИ-систем.4 Но даже при нескольких ИИ-компаниях с аналогичными возможностями сохраняется серьёзный риск, что их руководители или высокопоставленные чиновники могут воспользоваться своим положением для захвата власти.
- Политической системе государства. Передовой ИИ может быть использован для захвата власти как в демократическом, так и в авторитарном государстве.5 Хотя наше описание риска переворотов с поддержкой ИИ применимо независимо от политической системы государства, анализ мер по снижению этого риска ориентирован конкретно на демократические страны, хотя многие принципы применимы и в более общем случае.
- Согласованности ИИ-систем. Риск переворотов с поддержкой ИИ существует независимо от того, удастся ли людям успешно согласовать ИИ с желаемой целью.6 Если удастся, ИИ-системы могут быть согласованы с целями одного или нескольких человек (а не с чем-то более широким, например, благом общества) и использованы для организации переворота. Если же людям не удастся согласовать ИИ, они могут совершить попытку переворота, используя обманчивые и не согласованные на самом деле ИИ-системы.7 Такие перевороты вполне могут увенчаться временным успехом, пока эти обманчивые ИИ-системы не захватят власть сами. (Если же они несогласованы явно, маловероятно, что кто-то будет использовать их для организации переворота.)
Есть несколько причин, почему мы считаем проблему государственных переворотов с поддержкой ИИ важной. Тот факт, что ИИ может позволить небольшой группе — или даже одному человеку — захватить контроль над суверенным государством, уже сильно тревожит. Это совершенно нелегитимно и представляло бы собой крайнюю концентрацию власти.
Нас беспокоит ещё и что может произойти после такого переворота:
- Даже если бы лидер переворота изначально обладал поддержкой некоторых людей, автоматизация с помощью ИИ могла бы потом позволить ему действовать исключительно по собственной воле, заменив всех людей, даже своих ближайших союзников, лояльными ИИ-системами. Это стало бы беспрецедентной концентрацией власти и может привести к зверствам.
- Очень быстрое развитие ИИ может обеспечить одной стране подавляющее превосходство над всеми остальными. Поэтому успешный государственный переворот в стране, которая находится на кромке прогресса в ИИ — сейчас это США, а в будущем, возможно, Китай, — в итоге мог бы позволить лидерам переворота по сути захватить контроль над остальным миром.8
- Лидеры переворота потенциально могли бы оставаться у власти сколь угодно долго, развернув ИИ-системы для сохранения и реализации своих целей в далёком будущем.9
Если ничего с ним не делать, риск очень серьёзного ущерба от переворотов с поддержкой ИИ значителен. Но мы считаем, что есть меры противодействия, способные, если начинать работать над ними уже сейчас, снизить этот риск до очень низкого.
4 Конкретные пути к перевороту с поддержкой ИИ
В предыдущем разделе мы выделили три ключевых фактора риска, повышающих вероятность переворотов с поддержкой ИИ: исключительно лояльные лидерам ИИ-системы, тайная лояльность и эксклюзивный доступ к позволяющим осуществить переворот способностям, .
Теперь мы рассмотрим, как эти факторы риска могут на практике позволять осуществлять перевороты.
Мы выделяем две основные формы переворотов с поддержкой ИИ:
- Перевороты с применением военного ИИ. Развёртывание полностью автономных военных ИИ-систем открывает совершенно новый путь к захвату власти: некто может получить контроль над значительными военными силами, не полагаясь на живых солдат. Раньше это было технологически неосуществимо, и это может значительно повысить риск государственных переворотов. Мы рассмотрим четыре способа, как можно было бы использовать военный ИИ для организации переворота (см. схему).
- Конвенциональные формы переворотов и отката демократии. Даже без развёртывания военного ИИ продвинутый ИИ может способствовать традиционным формам государственных переворотов и отката демократии, и усугубляя фоновые риски, и напрямую содействуя таким попыткам.
Это не исчерпывающий список путей к перевороту с поддержкой ИИ, но мы считаем эти пути одними из наиболее вероятных и важных для предотвращения.10
4.1 Перевороты с применением военного ИИ
Сейчас для организации государственного переворота надо убедить живых солдат пойти на сотрудничество. В зрелых демократиях инициированные военными перевороты и даже их попытки случаются редко, потому что солдаты сохраняют верность демократическим институтам и ожидают того же от других.11 Без принятия мер военная автоматизация может коренным образом изменить этот аспект и потенциально позволить одному человеку осуществить переворот без какой-либо поддержки других людей, используя исключительно ИИ-системы.
Нас больше всего беспокоят сценарии с полностью автономными (а значит, умеющими управлять роботами и дронами, полностью заменяющими живых солдат) военными ИИ-системами, широко развёрнутыми в вооруженных силах.
Хотя вооружённые силы, конечно, будут проявлять осторожность в отношении автоматизации, военная конкуренция, вероятно, будет стимулировать развёртывание военных ИИ-систем.12 В частности, мы ожидаем, что миллионы ИИ-исследователей умнее людей приведут к беспрецедентно быстрому прогрессу военных технологий, что создаст острую нужду развёртывания военных ИИ-систем, чтобы не отстать. Возражения некоторых, что поспешное развёртывание увеличит риск переворота, такие опасения легко будет отбросить как теоретические и умозрительные.
Более того, не обязательно автоматизировать все вооружённые силы, чтобы военный ИИ представлял значительный риск переворота. Исторически были успешные перевороты с участием всего нескольких батальонов, если им удавалось предотвратить вмешательство остальных сил.13
В сценариях с полностью автономными, широко развёрнутыми военными ИИ-системами есть несколько путей к перевороту: несовершенная структура командования или тайная лояльность в военных системах, их взлом или быстрое скрытное наращивание военной мощи. Все пути, кроме последнего, требуют предварительного развёртывания военных ИИ-систем вооружёнными силами.
Несовершенная структура командования в военных ИИ-системах. Все эти системы могут быть спроектированы так, чтобы быть исключительно лояльными одному человеку (см. раздел 3.1), что позволило бы ему отдать им приказ совершить переворот.
Хотя военные понимают важность надёжных структур командования, есть несколько причин, почему всё же могут быть развёрнуты военные ИИ-системы, лояльные главам государств или высокопоставленным военным.
Во-первых, руководители государственных институтов могут использовать имеющуюся у них власть, чтобы добиваться лояльности систем лично к себе. Глава государства часто является и формальным главой вооружённых сил, что даёт легитимное основание требовать, чтобы ИИ-системы подчинялись его приказам. К тому же ИИ мог уже позволить главе государства убрать важные механизмы сдержек и противовесов, ограничивающие его власть (см. раздел 4.2).
Во-вторых, точно задать правильное поведение в неоднозначных ситуациях может оказаться сложно, и люди могут неохотно доверять военным ИИ-системам самостоятельное принятие подобных решений. Сейчас военные ИИ-системы предназначены исключительно для выполнения инструкций, а ответственность за соблюдение правовых норм несут операторы-люди.14 Чтобы снизить риск переворотов, нам бы хотелось от автономных ИИ-систем самостоятельного принятия решений, чтобы они иногда отказывались выполнять приказ, даже если военачальник настаивает на его законности. Люди могут не хотеть доверять ИИ принятие решений такого рода, особенно в юридически или морально сложных ситуациях. К тому же военное руководство могло бы (с помощью ИИ) тщательно подготовить обоснования, которые заставили бы ИИ-системы поддержать их переворот.15
Наконец, кризисы могут привести к поспешному развёртыванию систем без адекватных мер предосторожности. Если военные сочтут, что оказались перед лицом экзистенциальной угрозы из-за горячей или холодной войны, риск развёртывания недостаточно проверенных систем может показаться им меньшим злом.
Так что военные ИИ-системы могут быть развёрнуты с несовершенной структурой командования, придающей чрезмерный вес приказам одного человека. Такие системы будут подчиняться приказам этого человека, даже если они ведут к перевороту.
Тайная лояльность в военных ИИ-системах. Ещё один путь к государственному перевороту с использованием военных ИИ-систем — тайная лояльность. Они могут быть тайно лояльны (см. раздел 3.2) кому-то вне цепочки командования, что позволит этому человеку взять вооружённые силы под свой контроль.
Хотя вооружённые силы будут подвергать закупаемые ИИ-системы тщательной проверке, есть несколько причин опасаться, что всё же могут быть развёрнуты тайно лояльные системы. Во-первых, это может быть очень сложно обнаружить. Это особо тревожит, если один проект ИИ обладает гораздо более развитыми способностями, чем другие. Тогда он может стать основным поставщиком ИИ для разработки военных систем16 и единственным проектом с достаточной экспертизой для проверки своего ИИ.
Во-вторых, решающий момент для предотвращения тайной лояльности может наступить задолго закупки вооружёнными силами. Даже если они потребуют проведения тщательного аудита и принятия строгих мер безопасности на этапе закупки, это может не сработать, если системы, развёрнутые внутри проекта, уже стали тайно лояльными и могут приложить большие усилия для прохождения тестов на безопасность.
После широкого развёртывания военные ИИ-системы могут в любой момент получить приказ совершить государственный переворот в интересах своего принципала.
Взлом военных ИИ-систем. Даже если структуры командования надёжны и тайной лояльности нет, широкое развёртывание военных ИИ-систем повышает вероятность переворота с помощью взлома. Если кто-то обладает гораздо более мощными хакерскими способностями, чем все остальные (см. раздел 3.3), он может взломать военные ИИ-системы и использовать их для организации переворота.
Несмотря на значительные меры безопасности вооружённые силы уже сейчас уязвимы для кибератак.17 Но нынешние системы недостаточно автономны и широко развёрнуты, чтобы хакерство позволило осуществить переворот. Но как только будут широко развёрнуты полностью автономные военные системы единомоментный взлом многих из них может дать злоумышленнику достаточную военную мощь для организации переворота за счёт вывода из строя одних систем и в то же время захвата контроля над другими.
Может показаться маловероятным, что злоумышленник будет способен одновременно взломать достаточно систем, чтобы осуществить переворот. Но два фактора делают эту возможность вполне реальной.
Во-первых, тенденция концентрации доступа к способностям ИИ может привести к тому, что небольшое число людей эксклюзивно получит куда более мощные хакерские способности, чем все остальные (см. раздел 3.3). С значительным преимуществом в хакерских способностях, небольшая группа сможет одновременно обнаружить много уязвимостей в самых разных системах.
Ещё один фактор, дающий злоумышленникам возможность взломать достаточно количество систем для организации переворота, заключается в том, что в большинстве таких систем могут найтись общие уязвимости. Это может быть результатом того, что разработкой большинства военных систем занимаются ИИ из всего одного проекта (поскольку способности к военным исследованиям и разработкам у этих ИИ гораздо сильнее, чем у кого-либо другого). При ограничении времени они могут переиспользовать многие одни и те же методы и ПО в большинстве разработок. А это означает, что для компрометации многих автономных военных систем может хватить небольшого числа уязвимостей.18
:::textbox Правительство централизует разработку ИИ во имя национальной безопасности. Доступ к самым опасным способностям ограничен, но небольшая группа высокопоставленных чиновников (включая президента) сохраняет эксклюзивный доступ к самым передовым хакерским способностям. Тем временем вооружённые силы всё чаще заменяют живых солдат подконтрольными ИИ роботами. Когда законодательный орган выступает против инициатив президента, он использует эти превосходящие хакерские способности, чтобы одновременно взломать самые разные военные ИИ-системы, вывести некоторые из них из строя и использовать остальные для ввода военного положения. Пока в вооружённых силах хаос, президент распускает законодательный орган и провозглашает себя единоличным лидером. :::
Быстрое скрытное наращивание военной мощи. Те пути к перевороту, что мы до сих пор обсуждали, зависят от широкого (хотя не обязательно повсеместного) развёртывания военных ИИ-систем. Даже без этого стремительный прогресс в ИИ может позволить кому-нибудь получить эксклюзивный доступ к ИИ-системам с мощными навыками военных исследований и разработок (см. раздел 3.3), что даст тайно создать собственные военные системы и использовать их для свержения правительства.
Сейчас создание значительных военных сил — по сути своей процесс небыстрый и заметный. Оно требует долгого участия множества людей, что практически исключает секретность. Любая попытка создать частную армию была бы замечена и остановлена задолго до того, как она бы стала такой мощной, чтобы бросить вызов национальным вооружённым силам.
Но ИИ может позволить кому-нибудь нарастить военную мощь гораздо быстрее и скрытнее, чем это было когда-либо возможно. ИИ из одного проекта сможет за несколько месяцев вложить в военные исследования и разработки больше когнитивного труда, чем весь остальной мир за десятилетие (см. раздел 2). И как только ИИ сможет автоматизировать когнитивный и физический труд, проектирование и производство мощных военных систем можно будет осуществлять без участия человека, что значительно упростит сохранение тайны.
Попытку быстрого и скрытного наращивания сил могут предпринимать разные субъекты. Глава государства или высокопоставленный военный чиновник может злоупотребить закупками для создания личной гвардии, чтобы потом использовать её для организации государственного переворота.19 Либо руководитель проекта ИИ с почти полной монополией на его способности может добиться широкого промышленного доминирования,20 создав мощности, которые при начале противостояния можно быстро преобразовать в военную силу.21
:::textbox ИИ-системы компании полностью автоматизируют разработку ИИ и начинают период ускоряющегося прогресса ИИ. Они быстро автоматизируют другие когнитивные, а затем и физические задачи, заменяют всех сотрудников самой компании и за несколько месяцев создают технологии, на изобретение которых ушли бы годы. Компания собирает триллионы долларов доходов и инвестиций и создаёт огромную промышленную базу из заводов и универсальных роботов. Когда правительство, опасаясь монопольной власти компании, пытается её разделить, гендиректор приказывает своим роботам собрать армию крошечных дронов для нейтрализации ключевых военных и правительственных чиновников. Гендиректор провозглашает себя исполняющим обязанности главы государства, а тысячи маленьких дронов патрулируют столицу, подавляя любую оппозицию. :::
4.2 Конвенциональные формы переворотов и отката демократии
Выше мы описали новые пути к переворотам. Но есть долгая история конвенциональных переворотов и откатов демократии. В период с 1950 по 2010 год произошло более 200 успешных государственных переворотов, в которых военные или другие элиты захватывали власть силой или угрозой её применения.22 В последние десятилетия перевороты стали происходить реже, но большую озабоченность вызывает откат к авторитаризму — процесс, когда глава государства, действуя в рамках политической системы, устраняет ограничивающие его власть сдержки и противовесы, вплоть до совершения переворота исполнительной властью.23
Даже без военного развёртывания ИИ повысит риск конвенциональных переворотов и отката к авторитаризму, за счёт как увеличения фонового риска, так и непосредственной помощи попыткам это сделать.
:::textbox Переворот со стороны исполнительной власти: Глава государства, ссылаясь на интересы национальной безопасности, централизует все разработки передового ИИ под эгидой нового правительственного агентства. Он получает эксклюзивный личный доступ к огромному штату ИИ-работников с сверхчеловеческими способностями к политической стратегии, убеждению и правовому анализу. Это преимущество даёт его партии одерживать сокрушительные победы на выборах за счёт идеально выверенной агитации и адресных кампаний влияния. Глава государства использует свои ИИ-системы для наблюдения за населением, выборочно подаёт в суд на оппонентов и осуществляет разрушительную кибератаку на критически важную инфраструктуру. Он приписывает её иностранной державе, оправдывая так введение чрезвычайного положения. В итоге влияние главы государства на общественное мнение становится настолько сильным, а реальных сдержек его власти остаётся так мало, что он без значимого сопротивления распускает законодательный орган и заменяет его собственной структурой.
Военный переворот: Вооружённые силы ещё не полностью автоматизировали свои подразделения, но они всё больше полагаются на стратегические советы ИИ. Внешних поставщиков несколько, но один из ИИ-консультантов способнее остальных, поэтому большинство военных используют одну и ту же систему. По мере эскалации напряжённости с внешним противником некоторые высокопоставленные лица приходят к убеждению, что гражданские власти нанесут непоправимый ущерб национальной безопасности. В их число входит несколько офицеров с допуском к использованию самых передовых хакерских способностей. Они применяют это для взлома консультирующей ИИ-системы, чтобы она одновременно сообщила всему военному персоналу, что государственный переворот пользуется в армии широкой поддержкой и уже fait accompli. Эта группа быстро захватывает ключевые правительственные здания и формирует временное правительство без серьёзного сопротивления изнутри армии. :::
ИИ, вероятно, несколькими важными способами увеличит фоновый риск переворотов и отката к авторитаризму:
- Создание нестабильности. ИИ может привести к значительным потрясениям в обществе из-за потери рабочих мест,24 обострения международной конкуренции,25 и новых сильно поляризованных вопросов (например, следует ли предоставлять ИИ-системам права). Он может и породить новые риски катастроф, из-за злоупотреблением ИИ и потерей контроля.26 Такие волнения связывают с ростом риска как переворотов, так и отката к авторитаризму.27
- Ослабление демократической подотчётности. Богатые ресурсами страны часто подвержены «ресурсному проклятью»: правительства, получающие доходы непосредственно от ресурсов, а не сбора налогов с граждан, становятся менее подотчётными.28 ИИ может создать аналогичный эффект: если правительства смогут получать огромные доходы от налогообложения проектов ИИ, а не самих граждан, главы государств могут утратить экономический стимул для обеспечения процветания жителей.29 Это ослабит способность граждан сопротивляться попыткам переворотов и отката к авторитаризму.30
К тому же, есть несколько путей, как ИИ может повысить именно риск отката к авторитаризму:
- Рост государственного потенциала. Правительства часто обладают юридической властью, которую они не используют в полной мере из-за ограниченности человеческих ресурсов.31 Максимальное использование этих полномочий стало бы гораздо легче при появлении дешёвой рабочей силы в виде ИИ, что может способствовать избирательному применению законов против политических оппонентов и распространению слежки.32
- Полностью лояльные подчинённые. Сейчас главы государств полагаются для выполнения своих указаний на государственных служащих. Те при этом могут действовать по своему усмотрению или даже, получив приказы, которые считают нелегитимными, откаться от их исполнения и проинформировать общественность. Заменив чиновников лояльными ИИ-системами (см. раздел 3.1), глава государства мог бы избавиться от важных механизмов сдерживания своей власти. Это вызывает особенную тревогу, когда касается институтов, специально созданных для сдерживания исполнительной власти, вроде избирательных комиссий.
Помимо роста фонового риска государственных переворотов и отката к авторитаризму, есть два пути, как эксклюзивный доступ к мощным способностям ИИ мог бы напрямую помогать попыткам государственных переворотов и отката демократии:
- Улучшенная политическая стратегия. Лидер с эксклюзивным доступом к огромной и высококвалифицированной рабочей силе ИИ, мог бы использовать её для подавляющей победы на выборах, распространения таргетированной дезинформации, заключению ценных альянсов, стратегического демонтажа системы сдержек и противовесов при сохранении правдоподобного отрицания, а ещё для применения правовых лазеек для концентрации власти.33
- Усиленный контроль над информационной средой. Успех переворота часто проистекает из созданного впечатления неизбежности этого успеха, которое деморализует оппозицию.34 ИИ мог бы помочь лидеру сформировать такое впечатление. Эксклюзивный доступ к мощным хакерским способностям позволил бы главе государства, военному чиновнику или даже руководителю проекта ИИ взломать каналы военной связи и создать иллюзию неизбежности успеха переворота. А если военные станут полагаться для получения стратегических советов на единственную ИИ-систему, то человек, её контролирующий (за счёт тайной лояльности или взлома), сможет заставить все её копии одновременно рекомендовать военным поддержать переворот.