В поисках стабильности в борьбе за преимущество в ИИ

автор: Iskander Rehman, Karl P. Mueller и Michael J. Mazarr
Гонка к ИИИскусственный интеллектКонфликт великих державМеждународные отношенияСуперинтеллектУправление ИИ
 

В новом важном докладе Superintelligence strategy: Expert vision Дэн Хендрикс, Эрик Шмидт и Александр Ван предлагают смелое видение, как США и Китай могли бы безопасно и надёжно конкурировать, разрабатывая всё более мощный искусственный интеллект (ИИ). Авторы стремятся увязать императивы национальной безопасности, экономическую конкурентоспособность и управление ИИ в целостный подход для срочных правительственных мер. Мало кто из экспертов предлагал комплексные стратегии управления ускоряющимся развитием ИИ, так что эссе вносит важнейший вклад в дискуссию о политике касательно ИИ.

Многие из рекомендаций статьи обоснованны и своевременны. Самое провокационное предложение — новая идея, как предотвратить нестабильность из-за конкуренции государств — лидеров в ИИ. Авторы называют её «взаимной гарантированной неисправностью ИИ» (MAIM), по аналогии с ядерным взаимным гарантированным уничтожением (MAD). Они считают, что в рамках MAIM «любая агрессивная попытка какого-либо государства добиться одностороннего доминирования в ИИ пресекается упреждающим саботажем со стороны его соперников». Проводить параллели между ядерной революцией и революцией ИИ может быть поучительно, но различия этих технологий и их экосистем очень важны для стратегии. Поэтому у нас возникают опасения как о практической жизнеспособности MAIM для преодоления рисков нестабильности в ИИ-гонке, так и о рисках эскалации в результате её ключевых предписаний.

Ключевые элементы стратегии касательно ИИ

Superintelligence strategy: Expert vision рассматривает всё более вероятный сценарий, при котором США и Китай агрессивно соревнуются в гонке к важнейшим рубежам в разработке суперинтеллектуального ИИ, превосходящего человека в практически любых когнитивных задачах, а в сочетании с передовой робототехникой («воплощением») — и во многих других. (Этот уровень искусственного интеллекта часто называют «обобщённым» или «сильным» (СИИ) искусственным интеллектом, но этот термин расплывчат и нередко вводит в заблуждение.) Многие энтузиасты ИИ утверждают (PDF), а авторы признают возможность, что первое разработавшее эту технологию государство может добиться взрывного экономического роста и обрести беспрецедентную военную мощь, ведь ИИ будет рекурсивно перепрограммировать и размножать себя на машинных скоростях, что будет делать его всё способнее. Другие государства могут остаться далеко позади. Этот сценарий несёт серьёзные риски: если обе стороны будут рассматривать суперинтеллектуальный ИИ как ключ к экономическому и технологическому господству и как возможно экзистенциальную угрозу в руках у противника (из-за явно враждебных намерений или из-за потери соперником контроля над своим ИИ), то опасность взаимной вражды и агрессии будет ожидаемо расти по мере приближения к его созданию.

Чтобы справиться с таким сценарием, Хендрикс, Шмидт и Ван предлагают стратегию из трёх частей. Две выглядят весьма убедительно. Они предлагают политику нераспространения ИИ — усилия по ограничению рисков распространения с помощью законов и мер на аппаратном уровне, ограничивающих доступ негосударственных акторов к передовым чипам для ИИ и весам передовых моделей. Учитывая ущерб, который могут нанести небольшие группы, получив доступ к сверхмощному ИИ, такой план, хоть его и невероятно сложно реализовать на практике (особенно учитывая взлёт общедоступных ИИ-моделей с открытыми весами), — важный приоритет.

Вторая часть их стратегии — управляемая конкуренция. Они отстаивают идею, что США должны продолжать лидировать в разработке и внедрении ИИ, и стремятся это обеспечить. Мы согласны и хотели бы ещё подчеркнуть, что конкуренция в эпоху ИИ предполагает больше, чем просто создание технологического стека — речь идёт и о формировании общества, способного эффективно внедрять суперинтеллектуальный ИИ, справляясь с вызванными им изменениями.

Многие рекомендации статьи по этим двум стратегическим направлениям — безопасность вычислительных мощностей, экспортный контроль, информационная безопасность, меры обеспечения безопасности ИИ, инвестиции в экономические основы преимущества в ИИ — должны стать частью любой дальновидной стратегии США по этому поводу. А вот третий компонент предлагаемой стратегии — способ удержать государства от безрассудного стремления к монополии на передовой ИИ — вызывает серьёзные вопросы.

В описанном Хендриксом, Шмидтом и Ваном международном порядке угрозы парализовать развитие ИИ соперника, если тот рвётся к монополии, могут предотвращать попытки кого бы то ни было добиться такого технологического господства:

«Государство может всячески вмешиваться для срыва такого ИИ-проекта: от тайных операций, саботирующих процесс обучения, до физического вывода из строя инфраструктуры ИИ. Так мы приближаемся к ситуации, схожей с ядерным взаимным гарантированным уничтожением (MAD); ни одна держава не осмелится на открытый захват стратегической монополии, ведь любая такая попытка спровоцирует разрушительный ответ. Это стратегическое состояние, которое мы называем взаимной гарантированной неисправностью ИИ (MAIM), потенциально может быть стабильным режимом сдерживания. Но его надо осторожно поддерживать.

Как они дальше отмечают в докладе: «Если соперничающее государство устремится к стратегической монополии, другие государства не будут сидеть сложа руки… Они будут не ждать, пока соперник превратит суперинтеллект в оружие против них, а предпримут действия для вывода из строя угрожающих проектов ИИ».

Эта идея заставляет задуматься. Но мы считаем, что у двух её аспектов есть серьёзные проблемы. Во-первых, она вряд ли окажется выполнимым средством сдерживания на практике. Во-вторых, способность сорвать попытки противника создать передовой ИИ скорее усугубит, чем ослабит нестабильность ИИ-гонки, создав мощные стимулы нанесения первого удара.

Сложности нацеливания на незаметную и распределённую технологию общего назначения

Заявленная MAIM «относительная лёгкость саботажа программы ИИ соперника» полагается на несколько оптимистичных допущений. Есть ряд причин, почему многие предлагаемые методы «выведения из строя» было бы очень сложно эффективно реализовать. Здесь мы разберём лишь три.

Во-первых, в докладе обрисовываются варианты, как государства могут вывести из строя инфраструктуру соперника для разработки передового ИИ. Они варьируются от кибератак и менее чётко определённых форм саботажа до кинетических ударов гиперзвуковыми ракетами по датацентрам и другим обеспечивающим работу ИИ объектам. Предполагается, что ИИ-программы противника будут располагаться на конкретных объектах, которые можно легко обнаружить и вывести из строя. Но распределённые облачные вычисления, децентрализованное обучение и алгоритмические разработки всё чаще могут обходиться без централизованных физических объектов, что повышает устойчивость ИИ-систем к ограниченным атакам и усложняет мониторинг чужого процесса разработки ИИ. Более того, по мере приближения ведущих держав к суперинтеллекту, они, по-видимому, будут работать над укреплением и всё большей избыточностью своих ИИ-лабораторий, датацентров и энергетической инфраструктуры для защиты от кибератак и физического саботажа. И переход при необходимости, как это допускает MAIM, от виртуальных вмешательств к открытой комплексной атаке с целью вывода из строя датацентров, ИИ-лабораторий, и энергогенерации на территории противника сегодня просто не является реалистичным вариантом для вооружённых сил США или Китая без применения ядерного оружия.

Вторая практическая проблема кроется в ожидании, что каждая из сторон сможет точно оценивать секретные достижения других стран в ИИ и определять, когда потребуются упреждающие меры. Вопреки утверждениям в докладе, маловероятно, что у государств будет чёткое понимание, когда наступит время применить MAIM против своего оппонента. Концепция называет триггером «агрессивные попытки любого государства добиться одностороннего доминирования в ИИ», но термины агрессивные и доминирование досадно расплывчаты, и неясно, можно ли определить их достаточно точно для документа по планированию крупномасштабных упреждающих атак территории другой страны. И недавние события, и история соперничества великих держав указывают, что точно определить технологический уровень противника может быть очень сложно даже в случае технологий вроде разработки ядерного оружия с специфической инфраструктурой, хорошо изученной научной базой и относительно чёткими вехами развития.

Сложность во многом в фундаментальном различии между ядерным сдерживанием (и сейчас, и во время холодной войны) и MAIM. Взаимное гарантированное уничтожение (MAD) было направлено на сдерживание не разработки, а применения оружия. Это весьма упрощает определение триггера ответных действий (хотя в случаях вроде ложных или неоднозначных сигналов о нападении всё равно могли быть проблемы). А для оправданного MAIM как оборонительной меры нет столь же чёткого и очевидного «края пропасти». Например, учитывая провозглашённые США стратегии по поводу ИИ, заявления высокопоставленных чиновников, масштабное частное финансирование ИИ-лабораторий, Закон о чипах (CHIPS Act), экспортный контроль и новый, поддерживаемый правительством проект Stargate, можно привести убедительные аргументы с точки зрения Китая, что Соединённые Штаты уже изо всех сил мчатся к монополии на суперинтеллект. Но даже самые оптимистичные наблюдатели американского прогресса ИИ редко предсказывают упреждающий удар со стороны Китая или хотя бы крупномасштабные кибератаки лабораторий. От США такие идеи тоже не исходят, несмотря на растущие опасения по поводу ускоряющегося китайского прогресса ИИ.

В-третьих, не факт, что правдоподобная угроза MAIM удержит соперника от разработки суперинтеллектуального ИИ. Остановка собственных разработок ИИ повлекла бы за собой практически те же издержки, что и сама атака MAIM, — потерю программы. Весьма эффективные в прошлом режимы запрета вооружений (такие как Договор о нераспространении ядерного оружия и Конвенция о биологическом оружии) опираются на явную или неявную угрозу более широкого экономического, политического или военного наказания за нарушения, а не лишь на угрозу уничтожения запрещённой программы.

У государства, близкого к суперинтеллекту, было бы много путей, как уклониться от угрозы MAIM, помимо «сдаться». Попытаться скрыть свои исследования, пригрозить пропорциональным ответом на любые атаки, заручиться глобальной поддержкой и многое другое. Ещё оно могло бы решить ускорить, а не приостанавливать свою работу над ИИ, считая, что явно враждебные и подавляющие намерения соперника оставляют единственный путь к подлинной безопасности — достичь цели первым.

Суперинтеллектуальный ИИ стал бы самой мощной широконаправленной технологией в истории человечества. Он может кардинально изменить общество, экономику и войну. Трудно поверить, что великая держава, движимая либо стремлением к глобальному господству, либо страхом стать жертвой чужого решающего технологического преимущества, позволила бы столь ограниченной угрозе парализовать свои разработки ИИ.

Проблематичные отличия MAIM от MAD

В стратегической логике MAIM кроется проблема ещё серьёзнее опасений об осуществимости. При всех своих благих намерениях MAIM рискует усугубить некоторые из проблем со стабильностью, что призвана решить.

Сродни афоризму Роберта Джервиса о том, что «MAD — это факт, а не политика», авторы часто представляют MAIM как зарождающуюся реальность. Они, видимо, рекомендуют США принять такой путь к безопасному развитию ИИ. Но активная поддержка MAIM была бы открытым заявлением о готовности США при необходимости вступить в войну, чтобы предотвратить получение Китаем широконаправленной технологии с колоссальным потенциалом применения. Подобная угроза лишь подтолкнёт Китай упрятать свои самые передовые разработки ИИ под землю (как в буквальном, так и в переносном смысле), снизив так возможности американской разведки за ними наблюдать. Другие страны вряд ли одобрят такой откровенно односторонний и принудительный подход, особенно если Китай предложит миру доступ к открытым версиям своих ИИ.

Ещё больше тревожит, что состояние взаимной уязвимости ИИ может повысить, а не снизить риск кризиса и войны. Ведь, как мы уже обсуждали, будет очень сложно понять, когда именно наступит критический опасный момент разработки конкурентом передового ИИ. Баланс при MAIM может оказаться крайне нестабильным: обе стороны будут постоянно неверно интерпретировать сигналы, корректировать красные линии ответных действий и пытаться прикидывать наугад правильные пороговые значения. Каждая сторона будет почти параноидально следить за развитием ИИ противника, и вероятность неверного восприятия может стать огромной. Триггеры эскалации могут полагаться на оспариваемые, необщепринятые и алгоритмически непрозрачные интерпретации достижений в ИИ. В итоге такое равновесие угроз атак по ИИ может оказаться очень неустойчивым.

Такая нестабильность усугублялась бы тем, что приближающееся к рекурсивному самоулучшению ИИ государство могло бы решить, что оно сможет нейтрализовать атаки другой стороны, и MAIM больше не взаимна. И так две (или более) стороны постоянно были бы на иголках, панически боясь промедлить. Не склонные к риску структуры национальной безопасности, имея задачу не допустить скачка соперника к суперинтеллекту, не будут доверять идеальности своих разведданных. Они вполне могут настаивать на опасных упреждающих действиях.

Выборочный удар по передовой инфраструктуре ИИ может быть истолкован и как первая волна более масштабной атаки на другое государство. Инфраструктура ИИ, вероятно, будет тесно переплетена с экономической и военной мощью, так что удар по ИИ-датацентрам (не говоря уж об электросетях) может быть воспринят как явный акт войны, что спровоцирует быструю эскалацию. Сложно, если не невозможно, отличить приближающуюся ракетную (или иную) атаку на свои датацентры от более общего нападения.

Одна из проблем стратегической логики MAIM — она не отражает функционирования ядерного сдерживания в годы холодной войны. В статье MAIM представляется как аналог MAD, в рамках которого «любая агрессивная попытка государства добиться одностороннего доминирования в ИИ встречает упреждающий саботаж со стороны соперников». Но MAD работало не так. MAD ближе к обратному: ни одна из сторон не способна на эффективный и ничего не упускающий упреждающий саботаж или удар. В этом весь смысл: никто не может нанести удар первым и избежать сокрушительного ответа. Именно такое положение дел и стремились закрепить десятилетия усилий по контролю над вооружениями.

Ещё MAD, появившись, не была устоявшейся и стабильной системой отношений. США и СССР приняли принцип гарантированного уничтожения, но не «взаимность» — они часто пытались обойти ограничения MAD с помощью способных на первый удар ядерных систем и доктрин ядерных боевых действий и «ограничения ущерба» и постоянно опасались, что у противоположной стороны это получится. Суть и огромная разрушительная сила технологии не позволили им преодолеть MAD, но они пытались. Разумно полагать, что «баланс угрозы ИИ» быстро спровоцирует кучу шагов по возвращению преимущества.

Стоит отметить и что описанный Хендриксом, Шмидтом и Ваном мир MAIM совершенно несовместим с нынешней реальностью развития ИИ частным сектором. В мире, где прогресс ИИ — экзистенциальная угроза для государств, они наверняка не будут позволять частному сектору делать что-то, способное спровоцировать войну. И единственным возможным решением казался бы государственный контроль над исследованиями и разработками ИИ.

Заключение

Superintelligence strategy: Expert vision — важное напоминание, что надо выработать более последовательную общегосударственную стратегию касательно ИИ. Ещё эта работа играет роль полезного катализатора, поднимая ряд интересных вопросов для дальнейшего изучения.

Ещё многое надо понять. Если, цитируя Айзека Азимова, мы хотим быть уверенными, что наука не накапливает знания быстрее, чем мы коллективно обретаем мудрость, куда больше усилий должно идти на полноценный план обеспечения стабильности на пути к суперинтеллекту. Но мы считаем, что уже сейчас можно определить несколько важных потенциально полезных шагов и без угроз сдерживающих атак инфраструктуры ИИ.

Например, США могли бы инициировать многосторонний диалог о геополитической стабильности на пути к ИИ, чтобы выявить явные точки риска и выработать совместные обязательства по сдерживанию. Можно предложить коммуникацию военных ведомств о порождаемых суперинтеллектом дестабилизирующих военных технологиях и мерах по смягчению их эффектов. Как и советуют Хендрикс, Шмидт и Ван, Соединённые Штаты могли бы предложить взаимовыгодное сотрудничество лидеров ИИ (обязательно включая частную индустрию) по контролю за распространением. Наконец, самое важное: Соединённые Штаты могли бы объявить намерение отказаться от некоторых конкретных применений всё более мощного ИИ, вроде вмешательства в системы ядерного командования и контроля других стран, чтобы предоставить некоторые гарантии о потенциальных последствиях суперинтеллекта, хотя сейчас наивно было бы ожидать, что такие заявления США в полной мере успокоят Китай.

Что Superintelligence strategy: Expert vision отлично проясняет, так это необходимость стратегии поддержания стабильности между великими державами на пути к трансформативно мощному ИИ. Угроза упреждающих мер против разработок ИИ у соперников заслуживает серьёзного внимания. Но возникают разумные вопросы, не приведёт ли основанная на упреждении доктрина сдерживания к усилению, а не снижению нестабильности, осуществима ли эта концепция на практике, и о слабости аналогий с концепциями времён холодной войны, вроде MAD. MAIM, может, и не правильный ответ, но, чтобы пройти этот опасный переходный период, США и Китаю потребуется больше готовности изучать такие смелые и новые идеи, причём уже скоро.


Оригинальная публикация: Iskander Rehman, Karl P. Mueller и Michael J. Mazarr (2025) Seeking stability in the competition for AI advantage, RAND Corporation, 13 марта.