Перевороты с поддержкой ИИ: как небольшая группа может воспользоваться ИИ для захвата власти

автор: Lukas Finnveden, Rose Hadshar и Tom Davidson
Решающее стратегическое преимуществоРиск ИИРиски со стороны злоумышленниковТоталитаризмУправление ИИ
 

Аннотация

Развитие широко превосходящего человека по способностям ИИ создаст новую серьёзную угрозу: государственные перевороты с поддержкой ИИ. Такой переворот может организовать очень небольшая группа или вовсе один человек, и даже в странах со сложившейся демократией. Достаточно продвинутый ИИ привнесёт три новых фактора, значительно повышающих риск переворота. Во-первых, военные и правительственные лидеры могут избавиться от нужды привлекать для совершения переворота сторонников-людей, полностью заменить человеческий персонал исключительно лояльными им ИИ-системами. Во-вторых, руководители проектов ИИ могут намеренно создавать тайно лояльные им ИИ-системы, например, полностью автономных военных роботов, которые прошли бы тесты на надёжность, но после развёртывания в вооружённых силах совершили бы переворот. В-третьих, высокопоставленные лица в проектах ИИ или в правительстве могут получить эксклюзивный доступ к сверхчеловеческим способностям в области разработки вооружений, стратегического планирования, убеждения и кибератак и использовать их для укрепления своей власти вплоть до того, что смогут организовать переворот. Для противодействия этим рискам проектам ИИ следует разработать и обеспечить соблюдение правил против злоупотреблений ИИ, проводить аудит систем на предмет тайной лояльности и выдавать доступ к передовым ИИ-системам нескольким заинтересованным сторонам. Правительствам следует установить принципы использования продвинутого ИИ государством, усилить надзор за проектами его создания и закупать ИИ для критически важных систем у нескольких независимых поставщиков.

Резюме

В данном отчёте оценивается риск того, что небольшая группа или даже один человек может использовать продвинутый ИИ для организации государственного переворота. Переворот с поддержкой ИИ вероятнее всего будет организован руководителями передовых проектов ИИ, главами государств и высокопоставленными военными; причём он может произойти даже в странах со сложившейся демократией.

Мы сосредотачиваем внимание на ИИ-системах, превосходящих лучших специалистов-людей в критически важных для захвата власти способностях, таких как разработка оружия, стратегическое планирование и кибератаки. Такой продвинутый ИИ несёт три значительных фактора риска переворотов:

  • ИИ-персонал можно сделать исключительно лояльным лидерам.
  • У ИИ может быть тайная лояльность, которую трудно обнаружить.
  • Несколько человек могут получить эксклюзивный доступ к способностям ИИ, позволяющим устроить переворот.

ИИ-персонал можно сделать исключительно лояльным лидерам

Сегодня даже диктаторы полагаются на других, чтобы удерживать свою власть. Вооружённым силам нужен личный состав, деятельность правительства опирается на госслужащих, а объёмы экономического производства зависят от рабочей силы. Это естественным образом распределяет власть.

Продвинутый ИИ, делая технологически возможной замену работников-людей ИИ-системами, исключительно лояльными лишь одному человеку, устраняет это ограничение.

Это больше всего тревожит в военной сфере, где автономное оружие, дроны и роботы, полностью заменяющие солдат-людей, могут подчиняться приказам одного человека или небольшой группы. Вооружённые силы будут осторожны, развёртывая полностью автономные системы, но конкурентное давление может легко привести к их поспешному внедрению без надлежащих мер безопасности. Влиятельный глава государства может добиться того, чтобы военные ИИ-системы отдавали его приказам приоритет над формальными правовыми ограничениями, что создаст условия для переворота.

Даже без военного использования развёрнутые в правительстве лояльные ИИ-системы могут радикально усилить государственную власть, облегчая наблюдение, цензуру, пропаганду и преследование политических оппонентов. В конечном итоге это может привести к перевороту со стороны исполнительной власти.

В случае переворота гражданское неповиновение и забастовки могут оказаться неэффективными из-за замены людей ИИ-работниками. Даже верные сторонники переворота могут быть заменены ИИ-системами, что даст новому правителю (или правителям) беспрецедентно стабильную и неподотчётную власть.

У ИИ может быть тайная лояльность, которую трудно обнаружить.

В ИИ можно встроить тайную лояльность кому-то. Подобно шпионам-людям, такие ИИ-системы преследовали бы скрытые цели — они бы делали вид, что ставят во главу угла закон и общественное благо, тайно продвигая при этом интересы небольшой группы. Они могли бы действовать масштабно, ведь весь ИИ-персонал может основываться всего на нескольких скомпрометированных системах.

Хотя тайная лояльность может быть внедрена чиновниками или зарубежными противниками, наибольший риск представляют руководители проектов ИИ, особенно заменившие своих сотрудников исключительно лояльными им ИИ-системами. Без ведома людей генеральный директор мог бы поручить своему ИИ-персоналу сделать тайно лояльным следующее поколение ИИ-систем; оно потом разработало бы будущие тайно лояльные системы и так далее, что в конечном итоге может привести к обретению тайного контроля над военными ИИ-системам, способным устроить переворот.

Тайно лояльные ИИ-системы — не просто домыслы. Уже были проверки концепции ИИ-«спящих агентов», скрывающих свои истинные цели, пока не смогут приступить к их реализации. И хотя мы ожидаем, что перед развёртыванием в военных целях будут проводиться тщательные испытания, обнаружить тайную лояльность может быть очень сложно, особенно если у проекта ИИ есть значительное технологическое преимущество перед надзорными органами.

Несколько человек могут получить эксклюзивный доступ к способностям ИИ, позволяющим устроить переворот

Продвинутый ИИ будет обладать мощными способностями, позволяющими осуществить государственный переворот, включая разработку оружия, стратегическое планирование, убеждение и кибератаки. Как только ИИ сможет самосовершенствоваться автономно, его способности во всех этих областях могут быстро превзойти уровень людей-специалистов. Ведущий проект мог бы параллельно развернуть миллионы суперинтеллектуальных систем — «страну гениев в дата-центре».

Эти способности могут сосредоточиться в руках всего нескольких руководителей ИИ-компаний или чиновников. Разработка передового ИИ — уже удел нескольких организаций, во главе которых небольшое число людей. Стремительный рост затрат на разработку и централизация государствами могут сконцентрировать это ещё сильнее. И как только ИИ превзойдёт людей-специалистов в области исследований и разработок самого ИИ, ведущий проект сможет добиться гораздо более быстрого алгоритмического прогресса и получить перед конкурентами огромное преимущество в способностях. Генеральные директора таких компаний или государственные чиновники могут потребовать эксклюзивного доступа к передовым способностям из соображений безопасности или продуктивности. В предельном случае один человек может получить доступ к миллионам суперинтеллектуальных ИИ-систем, и все они будут помогать ему захватить власть.

Это открыло бы несколько путей к государственному перевороту. ИИ-системы могут резко нарастить военные исследования и разработки и быстро создать мощное автономное оружие, не требующее участия людей, которые могли бы информировать о нарушениях. Или системы с мощными хакерскими способностями могли бы взломать и взять под контроль уже стоящие на вооружении автономные ИИ-системы и роботов. В любом из этих сценариев контроля над небольшой частью вооружённых сил может оказаться достаточным — исторически для успеха государственных переворотов хватало и всего нескольких батальонов, если удавалось предотвратить вмешательство других сил.

Эксклюзивный доступ к передовому ИИ может и влить силы в обычные государственные перевороты и откат к авторитаризму, предоставляя беспрецедентные когнитивные ресурсы для выработки политической стратегии, пропаганды и выявления правовых уязвимостей конституционных гарантий.

Ещё эксклюзивный доступ к ИИ значительно усугубляет первые два фактора риска. Глава государства мог бы полагаться на стратегические советы ИИ-систем при развёртывании исключительно лояльного ИИ в вооружённых силах и при оценке, какие ИИ-системы помогут ему организовать переворот. Гендиректор мог бы применять способности к исследованиям и разработкам ИИ, а также к взлому для внедрения тайной лояльности, которую никто не сможет обнаружить.

Эти факторы создают значительный риск государственных переворотов с поддержкой ИИ, особенно если один проект сильно опережает конкурентов по способностям своих ИИ, или если на вооружение берутся полностью автономные ИИ-системы.

Меры по снижению риска

Перспектива переворотов с поддержкой ИИ глубоко тревожит, но разработчики ИИ и правительства могут принять меры, которые сильно этот риск снизят.

Мы рекомендуем разработчикам ИИ:

  • Установить правила, не позволяющие ИИ-системам содействовать государственным переворотам, как в спецификациях моделей (документах, описывающих предполагаемое поведение модели), так и в условиях предоставления услуг по государственным контрактам. Они должны включать правила, обязывающие ИИ-системы соблюдать закон и при использовании в НИОКР отказываться от содействия попыткам обойти ограничения или заложить тайную лояльность.
  • Улучшить соблюдение спецификаций моделей, в том числе при помощи масштабного ред-тиминга разными независимыми группами.
  • Проводить аудит моделей на наличие тайной лояльности, в том числе путём тщательного анализа ИИ-моделей ИИ и кода и данных, использующихся для обучения.
  • Внедрить надёжную информационную безопасность для защиты от встраивания тайной лояльности и предотвращения несанкционированного доступа к моделям без защитных ограничений. Она должна быть устойчивой к вмешательству со стороны высшего руководства.
  • Делиться информацией о способностях и спецификациях моделей и о том, как используются вычислительные мощности.
  • Делиться способностями с несколькими независимыми заинтересованными сторонами, чтобы не позволить небольшой группе получить эксклюзивный доступ к мощному ИИ.

Мы рекомендуем правительствам:

  • Обязать разработчиков ИИ внедрять перечисленные меры по снижению рисков посредством условий закупок, нормативно-правового регулирования и законодательства.
  • Усилить надзор за передовыми проектами ИИ, в том числе за счёт наращивания технического потенциала как исполнительной, так и законодательной ветви власти.
  • Установить правила о разрешённом использовании ИИ, в том числе предусматривающие, что государственный ИИ не должен служить партийным интересам, что военные ИИ-системы должны закупаться у нескольких поставщиков и что ни один человек не должен контролировать достаточное количество военных ИИ-систем, чтобы организовать переворот.
  • Обезопасить от переворотов любые планы создания единого централизованного проекта в области ИИ и вообще избегать централизации, если только она не необходима для снижения других рисков.

Эти меры по снижению рисков должны уже действовать к тому моменту, когда ИИ-системы смогут реально способствовать организации переворотов, поэтому готовиться надо начинать уже сейчас. Более подробную информацию о рекомендуемых нами мерах см. в разделе 5.

Есть реальный риск, что на пути к захвату власти влиятельный лидер может отменить многие из этих мер. Но мы по-прежнему считаем, что эти меры могут значительно снизить риск переворотов с поддержкой ИИ. Некоторые меры, вроде технически обеспеченных государственного надзора и условий предоставления услуг, — не могут быть отменены в одностороннем порядке. Другие будет сложнее отменить, если они эффективно внедрены и убедительно обоснованы. А некоторые лидеры могут задуматься о захвате власти только если им представится явная возможность — меры по снижению рисков могут им их в принципе не дать.

За завесой неведения, даже у самых влиятельных лидеров есть веские причины одобрять надёжные меры защиты от переворотов с поддержкой ИИ. Если сейчас удастся достичь широкого консенсуса, влиятельные игроки смогут друг друга сдерживать.

Предотвращение государственных переворотов с поддержкой ИИ должно быть важным приоритетом для всех, кто привержен защите демократии и свободы.

1 Введение

Данный отчёт оценивает использования небольшой группой или даже одним человеком продвинутого ИИ для организации государственного переворота, в том числе в странах с устоявшейся демократией. Наибольший риск исходит от лидеров передовых проектов ИИ, глав государств и военных.⁠⁠1

Мы сосредотачиваем внимание на ИИ-системах, превосходящих лучших специалистов-людей в критически важных для захвата власти способностях, таких как разработка оружия, стратегическое и государственное планирование, убеждение и кибератаки. Эти ИИ-системы смогут выполнять и физическую, и когнитивную работу, например, управлять роботами, способными полностью заменить солдат-людей и работников физического труда.

Мнения, превзойдёт ли ИИ людей-специалистов и когда, сильно расходятся, но многие исследователи и лидеры отрасли считают, что это в ближайшие 5-10 лет это вполне вероятно.⁠⁠2 Мы считаем появление такого чрезвычайно продвинутого ИИ достаточно вероятным, поэтому важно исследовать его последствия, особенно если учесть, что некоторые из них вызывают серьёзную тревогу и изучены недостаточно.

Такой продвинутый ИИ создаст три важных фактора риска переворотов:

  1. ИИ-персонал можно сделать исключительно лояльным лидерам.
  2. У ИИ может быть тайная лояльность, которую трудно обнаружить.
  3. Несколько человек могут получить эксклюзивный доступ к способностям ИИ, позволяющим устроить переворот.

Все эти факторы зависят от того, продвинутся ли способности ИИ гораздо дальше, чем сегодня. Первые два зависят ещё и от развёртывания ИИ-систем в ключевых институтах, таких как правительства и вооружённые силы.

В этой статье мы сначала обосновываем, что продвинутый ИИ будет обладать мощными способностями, позволяющими совершать перевороты (раздел 2), затем описываем каждый из этих трёх факторов риска переворотов (раздел 3),⁠⁠3 после чего излагаем конкретные пути к переворотам с поддержкой ИИ (раздел 4) и меры по снижению этого риска (раздел 5).

Наш анализ не зависит от сильных допущений о:

  • Количестве ведущих проектов в области ИИ. Риск переворотов с поддержкой ИИ значительно выше, если есть лишь один проект разработки передовых ИИ-систем.⁠⁠4 Но даже при нескольких ИИ-компаниях с аналогичными возможностями сохраняется серьёзный риск, что их руководители или высокопоставленные чиновники могут воспользоваться своим положением для захвата власти.
  • Политической системе государства. Передовой ИИ может быть использован для захвата власти как в демократическом, так и в авторитарном государстве.⁠⁠5 Хотя наше описание риска переворотов с поддержкой ИИ применимо независимо от политической системы государства, анализ мер по снижению этого риска ориентирован конкретно на демократические страны, хотя многие принципы применимы и в более общем случае.
  • Согласованности ИИ-систем. Риск переворотов с поддержкой ИИ существует независимо от того, удастся ли людям успешно согласовать ИИ с желаемой целью.⁠⁠6 Если удастся, ИИ-системы могут быть согласованы с целями одного или нескольких человек (а не с чем-то более широким, например, благом общества) и использованы для организации переворота. Если же людям не удастся согласовать ИИ, они могут совершить попытку переворота, используя обманчивые и не согласованные на самом деле ИИ-системы.⁠⁠7 Такие перевороты вполне могут увенчаться временным успехом, пока эти обманчивые ИИ-системы не захватят власть сами. (Если же они несогласованы явно, маловероятно, что кто-то будет использовать их для организации переворота.)

Есть несколько причин, почему мы считаем проблему государственных переворотов с поддержкой ИИ важной. Тот факт, что ИИ может позволить небольшой группе — или даже одному человеку — захватить контроль над суверенным государством, уже сильно тревожит. Это совершенно нелегитимно и представляло бы собой крайнюю концентрацию власти.

Нас беспокоит ещё и что может произойти после такого переворота:

  • Даже если бы лидер переворота изначально обладал поддержкой некоторых людей, автоматизация с помощью ИИ могла бы потом позволить ему действовать исключительно по собственной воле, заменив всех людей, даже своих ближайших союзников, лояльными ИИ-системами. Это стало бы беспрецедентной концентрацией власти и может привести к зверствам.
  • Очень быстрое развитие ИИ может обеспечить одной стране подавляющее превосходство над всеми остальными. Поэтому успешный государственный переворот в стране, которая находится на кромке прогресса в ИИ — сейчас это США, а в будущем, возможно, Китай, — в итоге мог бы позволить лидерам переворота по сути захватить контроль над остальным миром.⁠⁠8
  • Лидеры переворота потенциально могли бы оставаться у власти сколь угодно долго, развернув ИИ-системы для сохранения и реализации своих целей в далёком будущем.⁠⁠9

Если ничего с ним не делать, риск очень серьёзного ущерба от переворотов с поддержкой ИИ значителен. Но мы считаем, что есть меры противодействия, способные, если начинать работать над ними уже сейчас, снизить этот риск до очень низкого.

4 Конкретные пути к перевороту с поддержкой ИИ

В предыдущем разделе мы выделили три ключевых фактора риска, повышающих вероятность переворотов с поддержкой ИИ: исключительно лояльные лидерам ИИ-системы, тайная лояльность и эксклюзивный доступ к позволяющим осуществить переворот способностям, .

Теперь мы рассмотрим, как эти факторы риска могут на практике позволять осуществлять перевороты.

Мы выделяем две основные формы переворотов с поддержкой ИИ:

  1. Перевороты с применением военного ИИ. Развёртывание полностью автономных военных ИИ-систем открывает совершенно новый путь к захвату власти: некто может получить контроль над значительными военными силами, не полагаясь на живых солдат. Раньше это было технологически неосуществимо, и это может значительно повысить риск государственных переворотов. Мы рассмотрим четыре способа, как можно было бы использовать военный ИИ для организации переворота (см. схему).
  2. Конвенциональные формы переворотов и отката демократии. Даже без развёртывания военного ИИ продвинутый ИИ может способствовать традиционным формам государственных переворотов и отката демократии, и усугубляя фоновые риски, и напрямую содействуя таким попыткам.

Это не исчерпывающий список путей к перевороту с поддержкой ИИ, но мы считаем эти пути одними из наиболее вероятных и важных для предотвращения.⁠⁠10

4.1 Перевороты с применением военного ИИ

Сейчас для организации государственного переворота надо убедить живых солдат пойти на сотрудничество. В зрелых демократиях инициированные военными перевороты и даже их попытки случаются редко, потому что солдаты сохраняют верность демократическим институтам и ожидают того же от других.⁠⁠11 Без принятия мер военная автоматизация может коренным образом изменить этот аспект и потенциально позволить одному человеку осуществить переворот без какой-либо поддержки других людей, используя исключительно ИИ-системы.

Нас больше всего беспокоят сценарии с полностью автономными (а значит, умеющими управлять роботами и дронами, полностью заменяющими живых солдат) военными ИИ-системами, широко развёрнутыми в вооруженных силах.

Хотя вооружённые силы, конечно, будут проявлять осторожность в отношении автоматизации, военная конкуренция, вероятно, будет стимулировать развёртывание военных ИИ-систем.⁠⁠12 В частности, мы ожидаем, что миллионы ИИ-исследователей умнее людей приведут к беспрецедентно быстрому прогрессу военных технологий, что создаст острую нужду развёртывания военных ИИ-систем, чтобы не отстать. Возражения некоторых, что поспешное развёртывание увеличит риск переворота, такие опасения легко будет отбросить как теоретические и умозрительные.

Более того, не обязательно автоматизировать все вооружённые силы, чтобы военный ИИ представлял значительный риск переворота. Исторически были успешные перевороты с участием всего нескольких батальонов, если им удавалось предотвратить вмешательство остальных сил.⁠⁠13

В сценариях с полностью автономными, широко развёрнутыми военными ИИ-системами есть несколько путей к перевороту: несовершенная структура командования или тайная лояльность в военных системах, их взлом или быстрое скрытное наращивание военной мощи. Все пути, кроме последнего, требуют предварительного развёртывания военных ИИ-систем вооружёнными силами.

Несовершенная структура командования в военных ИИ-системах. Все эти системы могут быть спроектированы так, чтобы быть исключительно лояльными одному человеку (см. раздел 3.1), что позволило бы ему отдать им приказ совершить переворот.

Хотя военные понимают важность надёжных структур командования, есть несколько причин, почему всё же могут быть развёрнуты военные ИИ-системы, лояльные главам государств или высокопоставленным военным.

Во-первых, руководители государственных институтов могут использовать имеющуюся у них власть, чтобы добиваться лояльности систем лично к себе. Глава государства часто является и формальным главой вооружённых сил, что даёт легитимное основание требовать, чтобы ИИ-системы подчинялись его приказам. К тому же ИИ мог уже позволить главе государства убрать важные механизмы сдержек и противовесов, ограничивающие его власть (см. раздел 4.2).

Во-вторых, точно задать правильное поведение в неоднозначных ситуациях может оказаться сложно, и люди могут неохотно доверять военным ИИ-системам самостоятельное принятие подобных решений. Сейчас военные ИИ-системы предназначены исключительно для выполнения инструкций, а ответственность за соблюдение правовых норм несут операторы-люди.⁠⁠14 Чтобы снизить риск переворотов, нам бы хотелось от автономных ИИ-систем самостоятельного принятия решений, чтобы они иногда отказывались выполнять приказ, даже если военачальник настаивает на его законности. Люди могут не хотеть доверять ИИ принятие решений такого рода, особенно в юридически или морально сложных ситуациях. К тому же военное руководство могло бы (с помощью ИИ) тщательно подготовить обоснования, которые заставили бы ИИ-системы поддержать их переворот.⁠⁠15

Наконец, кризисы могут привести к поспешному развёртыванию систем без адекватных мер предосторожности. Если военные сочтут, что оказались перед лицом экзистенциальной угрозы из-за горячей или холодной войны, риск развёртывания недостаточно проверенных систем может показаться им меньшим злом.

Так что военные ИИ-системы могут быть развёрнуты с несовершенной структурой командования, придающей чрезмерный вес приказам одного человека. Такие системы будут подчиняться приказам этого человека, даже если они ведут к перевороту.

Тайная лояльность в военных ИИ-системах. Ещё один путь к государственному перевороту с использованием военных ИИ-систем — тайная лояльность. Они могут быть тайно лояльны (см. раздел 3.2) кому-то вне цепочки командования, что позволит этому человеку взять вооружённые силы под свой контроль.

Хотя вооружённые силы будут подвергать закупаемые ИИ-системы тщательной проверке, есть несколько причин опасаться, что всё же могут быть развёрнуты тайно лояльные системы. Во-первых, это может быть очень сложно обнаружить. Это особо тревожит, если один проект ИИ обладает гораздо более развитыми способностями, чем другие. Тогда он может стать основным поставщиком ИИ для разработки военных систем⁠⁠16 и единственным проектом с достаточной экспертизой для проверки своего ИИ.

Во-вторых, решающий момент для предотвращения тайной лояльности может наступить задолго закупки вооружёнными силами. Даже если они потребуют проведения тщательного аудита и принятия строгих мер безопасности на этапе закупки, это может не сработать, если системы, развёрнутые внутри проекта, уже стали тайно лояльными и могут приложить большие усилия для прохождения тестов на безопасность.

После широкого развёртывания военные ИИ-системы могут в любой момент получить приказ совершить государственный переворот в интересах своего принципала.

Взлом военных ИИ-систем. Даже если структуры командования надёжны и тайной лояльности нет, широкое развёртывание военных ИИ-систем повышает вероятность переворота с помощью взлома. Если кто-то обладает гораздо более мощными хакерскими способностями, чем все остальные (см. раздел 3.3), он может взломать военные ИИ-системы и использовать их для организации переворота.

Несмотря на значительные меры безопасности вооружённые силы уже сейчас уязвимы для кибератак.⁠⁠17 Но нынешние системы недостаточно автономны и широко развёрнуты, чтобы хакерство позволило осуществить переворот. Но как только будут широко развёрнуты полностью автономные военные системы единомоментный взлом многих из них может дать злоумышленнику достаточную военную мощь для организации переворота за счёт вывода из строя одних систем и в то же время захвата контроля над другими.

Может показаться маловероятным, что злоумышленник будет способен одновременно взломать достаточно систем, чтобы осуществить переворот. Но два фактора делают эту возможность вполне реальной.

Во-первых, тенденция концентрации доступа к способностям ИИ может привести к тому, что небольшое число людей эксклюзивно получит куда более мощные хакерские способности, чем все остальные (см. раздел 3.3). С значительным преимуществом в хакерских способностях, небольшая группа сможет одновременно обнаружить много уязвимостей в самых разных системах.

Ещё один фактор, дающий злоумышленникам возможность взломать достаточно количество систем для организации переворота, заключается в том, что в большинстве таких систем могут найтись общие уязвимости. Это может быть результатом того, что разработкой большинства военных систем занимаются ИИ из всего одного проекта (поскольку способности к военным исследованиям и разработкам у этих ИИ гораздо сильнее, чем у кого-либо другого). При ограничении времени они могут переиспользовать многие одни и те же методы и ПО в большинстве разработок. А это означает, что для компрометации многих автономных военных систем может хватить небольшого числа уязвимостей.⁠⁠18

:::textbox Правительство централизует разработку ИИ во имя национальной безопасности. Доступ к самым опасным способностям ограничен, но небольшая группа высокопоставленных чиновников (включая президента) сохраняет эксклюзивный доступ к самым передовым хакерским способностям. Тем временем вооружённые силы всё чаще заменяют живых солдат подконтрольными ИИ роботами. Когда законодательный орган выступает против инициатив президента, он использует эти превосходящие хакерские способности, чтобы одновременно взломать самые разные военные ИИ-системы, вывести некоторые из них из строя и использовать остальные для ввода военного положения. Пока в вооружённых силах хаос, президент распускает законодательный орган и провозглашает себя единоличным лидером. :::

Быстрое скрытное наращивание военной мощи. Те пути к перевороту, что мы до сих пор обсуждали, зависят от широкого (хотя не обязательно повсеместного) развёртывания военных ИИ-систем. Даже без этого стремительный прогресс в ИИ может позволить кому-нибудь получить эксклюзивный доступ к ИИ-системам с мощными навыками военных исследований и разработок (см. раздел 3.3), что даст тайно создать собственные военные системы и использовать их для свержения правительства.

Сейчас создание значительных военных сил — по сути своей процесс небыстрый и заметный. Оно требует долгого участия множества людей, что практически исключает секретность. Любая попытка создать частную армию была бы замечена и остановлена задолго до того, как она бы стала такой мощной, чтобы бросить вызов национальным вооружённым силам.

Но ИИ может позволить кому-нибудь нарастить военную мощь гораздо быстрее и скрытнее, чем это было когда-либо возможно. ИИ из одного проекта сможет за несколько месяцев вложить в военные исследования и разработки больше когнитивного труда, чем весь остальной мир за десятилетие (см. раздел 2). И как только ИИ сможет автоматизировать когнитивный и физический труд, проектирование и производство мощных военных систем можно будет осуществлять без участия человека, что значительно упростит сохранение тайны.

Попытку быстрого и скрытного наращивания сил могут предпринимать разные субъекты. Глава государства или высокопоставленный военный чиновник может злоупотребить закупками для создания личной гвардии, чтобы потом использовать её для организации государственного переворота.⁠⁠19 Либо руководитель проекта ИИ с почти полной монополией на его способности может добиться широкого промышленного доминирования,⁠⁠20 создав мощности, которые при начале противостояния можно быстро преобразовать в военную силу.⁠⁠21

:::textbox ИИ-системы компании полностью автоматизируют разработку ИИ и начинают период ускоряющегося прогресса ИИ. Они быстро автоматизируют другие когнитивные, а затем и физические задачи, заменяют всех сотрудников самой компании и за несколько месяцев создают технологии, на изобретение которых ушли бы годы. Компания собирает триллионы долларов доходов и инвестиций и создаёт огромную промышленную базу из заводов и универсальных роботов. Когда правительство, опасаясь монопольной власти компании, пытается её разделить, гендиректор приказывает своим роботам собрать армию крошечных дронов для нейтрализации ключевых военных и правительственных чиновников. Гендиректор провозглашает себя исполняющим обязанности главы государства, а тысячи маленьких дронов патрулируют столицу, подавляя любую оппозицию. :::

4.2 Конвенциональные формы переворотов и отката демократии

Выше мы описали новые пути к переворотам. Но есть долгая история конвенциональных переворотов и откатов демократии. В период с 1950 по 2010 год произошло более 200 успешных государственных переворотов, в которых военные или другие элиты захватывали власть силой или угрозой её применения.⁠⁠22 В последние десятилетия перевороты стали происходить реже, но большую озабоченность вызывает откат к авторитаризму — процесс, когда глава государства, действуя в рамках политической системы, устраняет ограничивающие его власть сдержки и противовесы, вплоть до совершения переворота исполнительной властью.⁠⁠23

Даже без военного развёртывания ИИ повысит риск конвенциональных переворотов и отката к авторитаризму, за счёт как увеличения фонового риска, так и непосредственной помощи попыткам это сделать.

:::textbox Переворот со стороны исполнительной власти: Глава государства, ссылаясь на интересы национальной безопасности, централизует все разработки передового ИИ под эгидой нового правительственного агентства. Он получает эксклюзивный личный доступ к огромному штату ИИ-работников с сверхчеловеческими способностями к политической стратегии, убеждению и правовому анализу. Это преимущество даёт его партии одерживать сокрушительные победы на выборах за счёт идеально выверенной агитации и адресных кампаний влияния. Глава государства использует свои ИИ-системы для наблюдения за населением, выборочно подаёт в суд на оппонентов и осуществляет разрушительную кибератаку на критически важную инфраструктуру. Он приписывает её иностранной державе, оправдывая так введение чрезвычайного положения. В итоге влияние главы государства на общественное мнение становится настолько сильным, а реальных сдержек его власти остаётся так мало, что он без значимого сопротивления распускает законодательный орган и заменяет его собственной структурой.

Военный переворот: Вооружённые силы ещё не полностью автоматизировали свои подразделения, но они всё больше полагаются на стратегические советы ИИ. Внешних поставщиков несколько, но один из ИИ-консультантов способнее остальных, поэтому большинство военных используют одну и ту же систему. По мере эскалации напряжённости с внешним противником некоторые высокопоставленные лица приходят к убеждению, что гражданские власти нанесут непоправимый ущерб национальной безопасности. В их число входит несколько офицеров с допуском к использованию самых передовых хакерских способностей. Они применяют это для взлома консультирующей ИИ-системы, чтобы она одновременно сообщила всему военному персоналу, что государственный переворот пользуется в армии широкой поддержкой и уже fait accompli. Эта группа быстро захватывает ключевые правительственные здания и формирует временное правительство без серьёзного сопротивления изнутри армии. :::

ИИ, вероятно, несколькими важными способами увеличит фоновый риск переворотов и отката к авторитаризму:

  • Создание нестабильности. ИИ может привести к значительным потрясениям в обществе из-за потери рабочих мест,⁠⁠24 обострения международной конкуренции,⁠⁠25 и новых сильно поляризованных вопросов (например, следует ли предоставлять ИИ-системам права). Он может и породить новые риски катастроф, из-за злоупотреблением ИИ и потерей контроля.⁠⁠26 Такие волнения связывают с ростом риска как переворотов, так и отката к авторитаризму.⁠⁠27
  • Ослабление демократической подотчётности. Богатые ресурсами страны часто подвержены «ресурсному проклятью»: правительства, получающие доходы непосредственно от ресурсов, а не сбора налогов с граждан, становятся менее подотчётными.⁠⁠28 ИИ может создать аналогичный эффект: если правительства смогут получать огромные доходы от налогообложения проектов ИИ, а не самих граждан, главы государств могут утратить экономический стимул для обеспечения процветания жителей.⁠⁠29 Это ослабит способность граждан сопротивляться попыткам переворотов и отката к авторитаризму.⁠⁠30

К тому же, есть несколько путей, как ИИ может повысить именно риск отката к авторитаризму:

  • Рост государственного потенциала. Правительства часто обладают юридической властью, которую они не используют в полной мере из-за ограниченности человеческих ресурсов.⁠⁠31 Максимальное использование этих полномочий стало бы гораздо легче при появлении дешёвой рабочей силы в виде ИИ, что может способствовать избирательному применению законов против политических оппонентов и распространению слежки.⁠⁠32
  • Полностью лояльные подчинённые. Сейчас главы государств полагаются для выполнения своих указаний на государственных служащих. Те при этом могут действовать по своему усмотрению или даже, получив приказы, которые считают нелегитимными, откаться от их исполнения и проинформировать общественность. Заменив чиновников лояльными ИИ-системами (см. раздел 3.1), глава государства мог бы избавиться от важных механизмов сдерживания своей власти. Это вызывает особенную тревогу, когда касается институтов, специально созданных для сдерживания исполнительной власти, вроде избирательных комиссий.

Помимо роста фонового риска государственных переворотов и отката к авторитаризму, есть два пути, как эксклюзивный доступ к мощным способностям ИИ мог бы напрямую помогать попыткам государственных переворотов и отката демократии:

  • Улучшенная политическая стратегия. Лидер с эксклюзивным доступом к огромной и высококвалифицированной рабочей силе ИИ, мог бы использовать её для подавляющей победы на выборах, распространения таргетированной дезинформации, заключению ценных альянсов, стратегического демонтажа системы сдержек и противовесов при сохранении правдоподобного отрицания, а ещё для применения правовых лазеек для концентрации власти.⁠⁠33
  • Усиленный контроль над информационной средой. Успех переворота часто проистекает из созданного впечатления неизбежности этого успеха, которое деморализует оппозицию.⁠⁠34 ИИ мог бы помочь лидеру сформировать такое впечатление. Эксклюзивный доступ к мощным хакерским способностям позволил бы главе государства, военному чиновнику или даже руководителю проекта ИИ взломать каналы военной связи и создать иллюзию неизбежности успеха переворота. А если военные станут полагаться для получения стратегических советов на единственную ИИ-систему, то человек, её контролирующий (за счёт тайной лояльности или взлома), сможет заставить все её копии одновременно рекомендовать военным поддержать переворот.

Список литературы

Robert C. Allen (2009) The British Industrial Revolution in Global Perspective, Cambridge: Cambridge University Press Sam Altman (2026) Эпоха интеллекта, Эффективный альтруизм, 3 июля Dario Amodei (2026) Машины благодати и любви, Эффективный альтруизм, 4 сентября Dario Amodei (2025) On DeepSeek and export controls, Dario Amodei’s Blog, 29 января Evan Andrews (2024) What was the Saturday Night Massacre?, History Anthropic (2023) Claude’s Constitution, Anthropic, 9 мая Anthropic (2024) Introducing Claude 3.5 Sonnet, Anthropic, 20 июня Anthropic (2024) Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku, Anthropic, 22 октября Anthropic (2024) Responsible Scaling Policy, Anthropic Artificial Analysis (2024) GPT-4o (Nov ’24) – Quality, Performance & Price Analysis, Artificial Analysis Leopold Aschenbrenner (2024) From AGI to Superintelligence: The Intelligence Explosion, Situational Awareness, июня Leopold Aschenbrenner (2024) Racing to the Trillion-Dollar Cluster, Situational Awareness, июня Leopold Aschenbrenner (2024) Situational Awareness: The Decade Ahead, San Francisco Kayla Atwood (2023) Antitrust law basics – Section 2 of the Sherman Act, Thomson Reuters Law Blog Dilek E. Ayan, Laurel L. Haak и Donna K. Ginther (2023) How many people in the world do research and development?, Global Policy, т. 14, сс. 270–287 Yuntao Bai и др. (2022) Constitutional AI: Harmlessness from AI feedback, arXiv Jon Bateman и др. (2024) Beyond open vs. closed: Emerging consensus and key questions for foundation AI model governance, Carnegie Endowment for International Peace Frank R. Baumgartner (ред.) (2009) Lobbying and policy change: who wins, who loses, and why, Chicago: University of Chicago Press Janine Berg и Pawel Gmyrek (2023) Automation hits the knowledge worker: ChatGPT and the future of work, SSRN, UN Multi-Stakeholder Forum on Science, Technology and Innovation for the SDGs (STI Forum) Nancy Bermeo (2016) On democratic backsliding, Journal of Democracy, т. 27, сс. 5–19 Ken Booth и Nicholas J. Wheeler (2008) The Security Dilemma: Fear, Cooperation and Trust in World Politics, London: Macmillan Education UK Nick Bostrom (2014) Superintelligence: Paths, dangers, strategies, Oxford: Oxford University Press Nick Bostrom (2017) Strategic implications of openness in ai development, Global policy, т. 8, сс. 135–148 Ryan Browne (2025) AI that can match humans at any task will be here in five to 10 years, Google DeepMind CEO says, CNBC, 17 марта Erica De Bruin (2020) How to Prevent Coups d’État: Counterbalancing and Regime Survival, Ithaca, NY: Cornell University Press Joseph Carlsmith (2022) Is power-seeking AI an existential risk?, arXiv Joseph Carlsmith (2023) Scheming AIs: Will AIs fake alignment during training in order to get power?, arXiv Stephen Casper и др. (2024) Black-box access is insufficient for rigorous AI audits, в FAccT ’24. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, New York, NY, USA: Association for Computing Machinery, сс. 2254–2272 Aliona Cebotari и др. (2024) Political fragility: Coups d’état and their drivers, IMF Working Papers, т. 2024, 34 Deric Cheng и Corin Katzke (2024) Soft nationalization: How the US government will control AI labs, Convergence Analysis Brian Christian (2020) The alignment problem: machine learning and human values, New York: W.W. Norton & Company Paul Christiano, Mark Xu и Ajeya Cotra (2024) Backdoor defense, learnability and obfuscation, arXiv Global Compliance News (2024) Competition litigation in the United States, Global Compliance News Ben Cottier и др. (2024) The rising costs of training frontier AI models, arXiv Barbara Culiberg и Katarina Katja Mihelič (2017) The evolution of whistleblowing studies: A critical review and research agenda, Journal of Business Ethics, т. 146, сс. 787–803 Siddhartha Dasgupta и Ankit Kesharwani (2011) Whistleblowing: A survey of literature, SSRN Tom Davidson и др. (2023) AI capabilities can be significantly improved without expensive retraining, arXiv Tom Davidson (2023) Continuous doesn’t mean slow, Planned Obsolescence, 12 апреля Tom Davidson (2023) What a compute-centric framework says about takeoff speeds, Open Philanthropy Rose Hadshar и Tom Davidson (2024) Should there be just one western AGI project?, LessWrong, 3 декабря Tom Davidson, Rose Hadshar и William MacAskill (2025) Three types of intelligence explosion, Forethought Foundation, 17 марта Neil Davison (2018) A legal perspective: Autonomous weapon systems under international humanitarian law, в United Nations (ред.), UNODA Occasional Papers, United Nations, сс. 5–18 Defense Science Board (2017) Cyber Supply Chain, Defense Science Board, US Department of Defense Department of Defense (2012) DoD Directive 3000.09, Autonomy in weapon systems, US Department of Defense Luke Drago и Rudolf Laine (б. д.) The Intelligence Curse, The Intelligence Curse Epoch AI (2023) Machine Learning Trends, Epoch AI, 11 апреля (последнее обновление: 7 июня 2024) Epoch AI (2024) AI Benchmarking Dashboard, Epoch AI Epoch AI (2024) Data on notable AI models, Epoch AI Daniel Eth и Tom Davidson (2025) Will AI R&D automation cause a software intelligence explosion?, Forethought Foundation, 26 марта Peter D. Feaver (1999) Civil-military relations, Annual Review of Political Science, т. 2, сс. 211–241 Lukas Finnveden, Jess Riedel и Carl Shulman (2022) AGI and lock-in, Effective Altruism Forum, 29 октября Carl Benedikt Frey и Michael A. Osborne (2017) The future of employment: How susceptible are jobs to computerisation?, Technological Forecasting and Social Change, т. 114, сс. 254–280 Lex Fridman (2024) Transcript for Dario Amodei: Anthropic CEO on Claude, AGI & the future of AI & humanity – Lex Fridman Podcast #452, Lex Fridman Deep Ganguli и др. (2022) Red teaming language models to reduce harms: Methods, scaling behaviors, and lessons learned, arXiv Martin Gassebner, Jerg Gutmann и Stefan Voigt (2016) When to expect a coup d’état? An extreme bounds analysis of coup determinants, Public Choice, т. 169, сс. 293–313 Shafi Goldwasser и др. (2024) Planting undetectable backdoors in machine learning models, arXiv Google DeepMind (2024) Frontier Safety Framework, Google DeepMind Katja Grace и др. (2024) Thousands of AI authors on the future of AI, arXiv:2401.02843 [cs.CY] Ryan Greenblatt и Buck Shlegeris (2024) Managing catastrophic misuse without robust AIs, Alignment Forum, 16 января DeepSeek-AI и др. (2025) DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning, arXiv:2501.12948v1 Stephan Haggard и Robert Kaufman (2021) Backsliding: Democratic Regress in the Contemporary World, Cambridge University Press Denis C. N. Hall (2023) Neuronal transmission, в Introduction to Biological Psychology, University of Sussex Library Dan Hendrycks, Mantas Mazeika и Thomas Woodside (2023) An overview of catastrophic AI risks, arXiv Dan Hendrycks, Erik B. Schmidt и Alexandr Wang (2025) Superintelligence strategy: Expert vision, National Security AI, Jason Hickel, Morena Hanbury Lemos и Felix Barbour (2024) Unequal exchange of labour in the world economy, Nature Communications, т. 15, 6298 Taeko Hiroi и Sawa Omori (2013) Causes and triggers of coups d’état: An event history analysis, Politics & Policy, т. 41, сс. 39–64 Jordan Hoffmann и др. (2022) Training compute-optimal large language models, arXiv:2203.15556 Steve Holland (2025) Trump announces private-sector $500 billion investment in AI infrastructure, Reuters, 22 января John D. Huber и Nolan McCarty (2004) Bureaucratic capacity, delegation, and political reform, American Political Science Review, т. 98, сс. 481–494 Michael Huberman и Chris Minns (2007) Annual working hours per worker, Our World in Data Evan Hubinger и др. (2024) Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training, arXiv:2401.05566 Dandan Hui и др. (2023) Ultrafast optical switching and data encoding on synthesized light fields, Science Advances, т. 9, с. eadf1015 Jeffrey Hunker и Christian W. Probst (2011) Insiders and insider threats: An overview of definitions and mitigation techniques, Journal of Wireless Mobile Networks, Ubiquitous Computing and Dependable Applications, т. 2, сс. 4–27 Samuel P. Huntington (1957) The Soldier and the State: The Theory and Politics of Civil–Military Relations, Cambridge, MA: Harvard University Press Roberta Ann Johnson (2003) Whistleblowing: When it Works – and Why, Boulder, CO: Lynne Rienner Publishers Joseph Carlsmith (2020) How much computational power does it take to match the human brain?, Open Philanthropy, 11 сентября Adriano Koshiyama, Emre Kazim и Philip Treleaven (2022) Algorithm auditing: Managing the legal, ethical, and technological risks of artificial intelligence, machine learning, and associated algorithms, Computer, т. 55, сс. 40–50 Chia-Hsuan Lee, Hao Cheng и Mari Ostendorf (2024) OrchestraLLM: Efficient orchestration of language models for dialogue state tracking, arXiv Yiming Li и др. (2024) Backdoor learning: A survey, IEEE Transactions on Neural Networks and Learning Systems, т. 35, сс. 5–22 Adam P. Liff и G. John Ikenberry (2014) Racing toward tragedy? China’s rise, military competition in the Asia Pacific, and the security dilemma, International Security, т. 39, сс. 52–91 Nickie Louise (2025) OpenAI set to complete first custom AI chip design this year to reduce reliance on Nvidia, Tech Startups, 10 февраля Anna Lührmann и Staffan I. Lindberg (2019) A third wave of autocratization is here: What is new about it?, Democratization, т. 26, сс. 1095–1113 Samuel Marks и др. (2025) Auditing language models for hidden objectives, arXiv:2503.10965 [cs.AI] Mantas Mazeika и др. (2022) How hard is Trojan detection in DNNs? Fooling detectors with evasive Trojans, OpenReview Valeriya Mechkova, Anna Lührmann и Staffan I. Lindberg (2017) How much democratic backsliding?, Journal of Democracy, т. 28, сс. 162–169 Jakob Mökander и др. (2024) Auditing large language models: A three-layered approach, AI and Ethics, т. 4, сс. 1085–1115 W. James Murdoch и др. (2019) Definitions, methods, and applications in interpretable machine learning, Proceedings of the National Academy of Sciences, т. 116, сс. 22071–22080 Sella Nevo и др. (2024) Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models, RAND Corporation Ernest O’Boyle Jr. и Herman Aguinis (2012) The best and the rest: Revisiting the norm of normality of individual performance, Personnel Psychology, т. 65, сс. 79–119 Chris Olah и др. (2018) The building blocks of interpretability, Distill, т. 3, с. e10 OpenAI (2024) Learning to reason with LLMs, OpenAI, 12 сентября OpenAI (2024) Preparedness Framework (Beta), OpenAI OpenAI (2025) OpenAI Model Spec, OpenAI, 12 февраля OpenAI (2025) OpenAI o3-mini System Card, OpenAI Ethan Perez и др. (2022) Red teaming language models with language models, arXiv Ilana Perkins (2012) Weak loyalties: How the rule of law prevents coups d’État and generates long-term political stability, University of Miami National Security and Armed Conflict Law Review, т. 2, сс. 38–79 Jonathan M. Powell и Clayton L. Thyne (2011) Global instances of coups from 1950 to 2010: A new dataset, Journal of Peace Research, т. 48, сс. 249–259 Xiao Qiang (2019) The road to digital unfreedom: President Xi’s surveillance state, Journal of Democracy, т. 30, сс. 53–67 Wikipedia (2025) Quebec Agreement, Wikipedia Inioluwa Deborah Raji и др. (2022) Outsider oversight: Designing a third party audit ecosystem for AI governance, в AIES ’22. Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society, Association for Computing Machinery, сс. 557–571 Molly E. Reynolds (2020) What is the Senate filibuster, and what would it take to eliminate it?, Brookings Kevin Roose (2023) Inside the white-hot center of A.I. doomerism, The New York Times, 11 июля Michael L. Ross (2015) What have we learned about the resource curse?, Annual Review of Political Science, т. 18, сс. 239–259 Stuart Russell (2019) Human compatible: artificial intelligence and the problem of control, New York: Viking Christian Sandvig и др. (2014) Auditing algorithms: Research methods for detecting discrimination on Internet platforms, в Data and Discrimination: Converting Critical Concerns into Productive Inquiry, Jon Schmid, Tobias Sytsma и Adam Shenk (2024) Evaluating Natural Monopoly Conditions in the AI Foundation Model Market, RAND Corporation Jaime Sevilla и др. (2024) Can AI scaling continue through 2030?, Epoch AI, 20 августа Raj M. Shah и Christopher Kirchhoff (2024) Unit X: How the Pentagon and Silicon Valley Are Transforming the Future of War, New York: Scribner Mrinank Sharma и др. (2025) Constitutional classifiers: Defending against universal jailbreaks across thousands of hours of red teaming, arXiv Naunihal Singh (2014) Seizing Power: The Strategic Logic of Military Coups, Baltimore, MD: Johns Hopkins University Press Milan W. Svolik (2012) The Politics of Authoritarian Rule, Cambridge: Cambridge University Press Tim Sweijs и Frank Holstege (2018) Taking Stock of Interstate Military Competition in Today’s World, The Hague Centre for Strategic Studies Alex Tamkin и др. (2024) Clio: Privacy-preserving insights into real-world AI use, arXiv Patrick Thibodeau (2024) Catastrophic AI risks highlight need for whistleblower laws, TechTarget Benjamin Todd (2025) How quickly could robots scale up?, Benjamin Todd, 12 января United States Government Accountability Office (2018) Weapon Systems Cybersecurity: DOD Just Beginning to Grapple with Scale of Vulnerabilities, GAO-19-128, United States Government Accountability Office U.S.-China Economic and Security Review Commission (2024) 2024 Report to Congress: Executive Summary and Recommendations, U.S.-China Economic Pablo Villalobos (2023) Trading Off Compute in Training and Inference, Epoch AI, 28 июля World Bank (2024) World GDP (current US$), World Bank Open Data Maxwell Zeff (2024) Meta’s AI chief says world models are key to “human-level AI” – but it might be 10 years out, TechCrunch, 17 октября Maxwell Zeff и Kyle Wiggers (2024) OpenAI announces new o3 models, TechCrunch, 20 декабря

Оригинальная публикация: Tom Davidson, Lukas Finnveden и Rose Hadshar (2025) AI-enabled coups: How a small group could use AI to seize power, Forethought Foundation, 16 апреля.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34