В поисках динамичного подхода к созданию безопасного сверхчеловеческого ИИ

Поощрять творчество, готовность идти на риск и конкуренцию, при этом трезво оценивая риски

автор: Helen Toner
Безопасность ИИПолитикаРиск ИИУправление ИИЭкзистенциальный риск
 

Этот пост вышел ещё и на AI Frontiers, новой платформе для диалогов и дебатов специалистов о влиянии искусственного интеллекта, под заголовком «Мы неправильно обсуждаем безопасность ИИ».

Силуэты двух голов в профиль, обращённых друг к другу: одна в тёплых оранжевых тонах, другая — в холодных синих. Их соединяют струящиеся переплетённые белые линии, выходящие из голов, — символ общения, обмена мыслями или связи между двумя умами.

В прошлом именно классический либерализм позволял нам успешно справляться с быстро развивающимися недоизученными процессами.

— Дваркеш Патель

Я не ожидала, что книга 1998 года сможет объяснить разногласия 2023–2024 годов по поводу безопасности ИИ, но труд Вирджинии Пострел The Future and Its Enemies, прочитанный по совету Адама Тирера, либертарианского эксперта по политике в области ИИ, на удивление хорошо справляется с этой задачей.

Книга Пострел помогла мне переосмыслить то, что давно вертелось у меня в голове. Я считаю, что в идеях и в самом сообществе безопасности ИИ есть многое, заслуживающее критики, но, когда они попадают под раздачу (а за последние пару лет такое случалось очень часто), эта критика обычно мимо цели. Один из частых мотивов — выставлять сторонников безопасности ИИ противниками технологий, что совершенно не вяжется со знакомой мне тусовкой нёрдов, обожающих прогресс и пробующих всё новое в первых рядах. Ещё один частый упрёк — что безопасность ИИ вписывается в более широкий феномен «перестраховщиков», желающих искоренить все источники риска без оглядки на цену.⁠⁠1 Но и это не так: сообщество безопасности ИИ, наверное, из-за тесных связей с миром эффективного альтруизма, очень уважает мышление через ожидаемую ценность, венчурные ставки с крошечным шансом на огромную отдачу и тому подобное.

Эти дихотомии — «за технологии» и «против технологий», «принятие риска» и «избегание риска» — плохо подходят для споров об идеях безопасности ИИ. В своей книге Пострел описывает иное деление, которое, на мой взгляд, куда лучше указывает на именно ту черту идей безопасности ИИ, которая вызывает у критиков раздражение.

The Future and Its Enemies — это манифест того, что Пострел называет «динамизмом — миром постоянного созидания, открытий и конкуренции». Ему противопоставляется «стазис** — регулируемый, сконструированный мир… [в котором ценятся] стабильность и контроль».**

Пострел описывает, как противопоставление динамизма и стазиса лучше традиционного спектра левых-правых даёт понять некоторые политические дебаты конца девяностых. В вопросах торговли динамисты, сторонники свободного подхода, столкнулись с коалицией стазистов, обеспокоенных угрозами суверенитету (правые) и социальной справедливости (левые). В вопросе иммиграции динамисты, выступающие за более высокие квоты, сталкиваются со стазистами, частично движимыми страхом перенаселения, а частично — ксенофобией.

Она не могла это тогда знать, но через противопоставление динамизма и стазизма удобно смотреть и на разногласия о том, как справляться с трудностями на пути к сверхчеловеческому ИИ.

Стазизм: поиск «единственно верного пути»

Во избежание недопонимания скажу прямо: я не считаю, что безопасность ИИ — стазистская по своей сути. Но считаю, что некоторые политики, которые отстаивает сообщество безопасности ИИ, весьма стазистские, и вайбы этого сообщества в целом — иногда тоже.

Что я имею в виду? Вот что ещё Пострел говорит о стазизме:

Стазисты ищут для каждой новой ситуации конкретные предписания, чтобы зарегулировать её и держать всё под контролем […] [они] хотят, чтобы их подробные правила применялись ко всем.

«[Стазист Уильям Грейдер] беспокоится, что кто-то должен стоять во главе; неудержимая махина глобального капитализма вырвалась на свободу, а „у руля никого нет“. Но напрашивается вопрос: кого мы на самом деле хотим видеть у руля мировой экономики?»⁠⁠2

[Стазизм] не допускает таких потрясений. Он централизован и негибок. Он требует, чтобы люди с новыми идеями обосновывали их перед советами и комиссиями. Он устанавливает правила — от регламентов вещания до запрета работы на дому, — исходя из того, что ни технологии, ни вкусы не изменятся.

Мне эти описания напоминают кое-что из безопасности ИИ.

Во-первых, мою, пожалуй, самую нелюбимую статью об экзистенциальных рисках — The vulnerable world hypothesis Ника Бострома. Эта философская статья построена на абстракциях и мысленных экспериментах вокруг идеи, что в мешке потенциальных технологий может оказаться «чёрный шар», который уничтожит цивилизацию. Следствие для политики:

Чтобы цивилизация обладала общей способностью справляться с изобретениями типа «чёрного шара», ей понадобилась бы система повсеместного глобального наблюдения в режиме реального времени. В некоторых сценариях такая система должна быть создана ещё до изобретения самой технологии.

И представить трудно более «стазистский», ориентированный на стабильность и контроль, подход, чем повсеместное глобальное наблюдение в режиме реального времени.

Это философская статья, написанная философом, так что неясно, в какой степени «гипотеза уязвимого мира» предполагается нейтральным исследованием пространства возможностей, а в какой — искренним набором предписаний. Но это в любом случае влиятельный текст в сообществе экзистенциальных рисков, а значит — и в сообществе безопасности ИИ. По моему опыту, подспудная установка «единственный способ справиться с достаточно опасной технологией — это контроль сверху вниз» укоренилась во многих (хотя, конечно, не всех) частях сообщества безопасности ИИ.⁠⁠3

Некоторые другие проявления стазистских тенденций в мире безопасности ИИ:

  • Широко распространённое (и долго не оспаривавшееся) предположение, что ведущих проектов ИИ должно быть поменьше; в идеале, наверное, всего один.⁠⁠4 Так ведущим проектам, приблизившимся к созданию СИИ, ещё не решив проблему согласования, было бы проще координироваться. Внешний надзор, например, через государственное регулирование, тоже проще, если ему надо охватывать меньше организаций.
  • Попытки предотвратить злоупотребление ИИ через упор на нераспространение, чтобы как можно меньше людей имело доступ к Опасной (с большой буквы) технологии. Я критиковала этот подход в предыдущем посте об адаптационных буферах. Там я не упоминала динамизм Пострел напрямую, но имела в виду именно его.
  • Кратковременная кампания 2023 года за введение режима лицензирования для обучения передовых моделей. В статье Frontier AI regulation, впервые предложившей этот подход, лицензирование было лишь одним из вариантов, но большая часть специалистов по политике в области ИИ, сосредоточенных на экзистенциальных рисках, месяцами рассматривала его как основную политическую рекомендацию.⁠⁠5
  • Иногда в сообществе безопасности ИИ встречается манера спрашивать, в чём ваша «теория победы». Это не так часто, как вопросы о ваших p(гибели) и сроках развития ИИ, но всё же нередко. Рассуждать о стратегии, исходя из желаемого конечного состояния, — хороший подход. Но ошибочно слишком зацикливаться на одном заранее заданном результате. Выражаясь словами Пострел, я надеюсь на «динамичное и по сути своей нестабильное» будущее «эмерджентного сложного хаоса». Мышление в категориях конечных «победных» состояний может быть не лучшим способом к этому прийти.⁠⁠6

Не во всех краях мира безопасности ИИ наблюдаются эти стазистские тенденции, и я не первая, кто их критикует. В последние год-два само сообщество безопасности ИИ всё больше проявляет интерес к движению в менее стазистском направлении. В перечни экзистенциальных рисков ИИ всё чаще входят риски «концентрации власти». Я считаю Дэниела Кокотайло, информатора об OpenAI и ведущего автора AI 2027, видным сторонником схожих идей.⁠⁠7 За пределами сообщества выделяется Джереми Ховард, который серьёзно относится к потенциальной мощи продвинутого ИИ, но заявляет, что риски централизованной власти более серьёзны, чем риск несогласованного суперинтеллекта. Растёт консенсус, что попытки управления рисками ИИ через масштабный контроль «сверху вниз» могут закончиться крайне плачевно.

Передовой ИИ как угроза динамичному будущему

Есть, однако, та проблема, что критика решений сообщества безопасности ИИ не отменяет множества вполне реальных вызовов, с которыми мы столкнёмся при дальнейшем развитии ИИ. Я даже полагаю, реакцией многих специалистов по безопасности ИИ на предыдущий раздел будет «Ну да, в идеале мы, конечно, хотим динамизм, но он не поможет, если все люди погибнут или будут полностью лишены власти».

Я не спорю. Но считаю полезным ставить проблему перехода к миру с передовым ИИ так, чтобы в первую очередь думать не о безопасности, а об угрозах динамичному будущему. Для этого надо чётко обозначить, что человеческая субъектность — ключевой компонент динамизма. Пострел не пишет об этом прямо, но из её книги ясно: она не одобрила бы мир, где созидание, открытия и конкуренция — удел богатых корпораций, а большинство людей никак не может в этом участвовать. Точно так же и мир, где все решения принимают ИИ, а люди мертвы или лишены власти, нельзя назвать подлинно динамичным, даже если там процветает ИИ-экономика изобретений и творчества.⁠⁠8

Если подумать, как ИИ может угрожать динамичному будущему, ясно, что предотвращение наихудших сценариев — лишь первый шаг. Классические риски ИИ — катастрофическое злоупотребление и катастрофическая несогласованность — действительно могут положить динамизму конец, поэтому нам надо с ними справиться. Но решение этих проблем путём масштабной концентрации власти не приведёт нас к успеху. Чтобы будущее действительно сложилось благополучно, надо найти путь к какому-то новому равновесию, где возможны децентрализованные эксперименты, спонтанные адаптации, творчество и принятие рисков. Не исключено, что оно будет похоже на нашу нынешнюю систему либерально-демократических национальных государств с суверенными границами и относительно свободными рынками. Но скорее всего оно будет отличаться от нашей нынешней системы так же сильно, как сегодняшний мир — от феодального.

Может, стремление к «динамизму» не сильно отличается от стремления к другим благозвучным понятиям, вроде «процветания человечества» или «демократии». Но концепция Пострел показалась мне полезным способом взглянуть на некоторые из этих идей под новым углом, точнее указывая на недостатки и цену (например, что децентрализация влечёт за собой неразбериху, а готовность к риску — неудачи) подходов, не ограничиваясь лишь позитивным восприятием.

Динамизм: «будущее с открытым финалом»

Кажется, в этой части эссе мне полагается предлагать решения. Но на самом деле у меня их нет.

Я всё равно это пишу, надеясь, что это полезная перспектива, которая поможет нам вместе во всём разобраться. Дискурс безопасности ИИ уже немного сдвинулся в этом направлении, чему я очень рада.

А вот Пострел описывает пять характеристик «динамистских правил»:

В общих чертах, динамистские правила:

  1. Позволяют людям (и группам людей) действовать на основе собственных знаний.

  2. Относятся к простым и базовым элементам и позволяют им комбинироваться многими разными способами.

  3. Дают возможность принимать надёжные, понятные и долгосрочные обязательства и обеспечивать их соблюдение.

  4. Защищают свободу критики, конкуренции и обратной связи.

  5. Создают базовую систему, внутри которой можно формировать вложенные и конкурирующие между собой более конкретные системы правил.

Я вижу некоторые сходства с частыми идеями о политике в области ИИ:

  • Прозрачность — всеобщая любимая рекомендация, которая хорошо вписывается в динамистское мировоззрение. Она помогает пунктам № 1 (даёт людям больше информации, на основе которой они могут действовать сами), № 3 (проверка выполнения обязательств) и № 4 (критика и обратная связь). То же можно сказать и о защите информаторов.

  • Развитие экосистемы стороннего аудита тоже сюда вписывается. Она помогает надёжности обязательств (пункт № 3) и может считаться своего рода вложенной структурой (пункт № 5).

  • Открытые модели стимулируют децентрализованное использование, тестирование и исследования. Ценность этого очевидна с точки зрения динамистского подхода и пунктов № 1 и № 4. (Я всё же считаю, что до открытого выпуска передовых моделей должны приниматься некоторые меры предосторожности, но это узкое исключение из общей ценности открытых ИИ-ресурсов.)

Другое хорошее направление — дифференциальное технологическое развитие, также известное как оборонительный акселерационизм — проактивное создание технологий, помогающих справляться с вызовами, порождаемыми другими технологиями. Мне, впрочем, трудно соотнести его с пятью характеристиками Пострел. Я была бы рада услышать идеи читателей о других продуктивных направлениях.

Но цель этого поста не в продвижении конкретных решений. Цель — помочь удерживать в голове следующие две вещи одновременно.

Да, некоторые рекомендации курса действий от сообщества безопасности ИИ, да и некоторые его настроения, Пострел назвала бы «стазистскими», приоритизирующими контроль и стабильность в ущерб динамистским свободе, исследованию и децентрализованной адаптации.

Но в то же время создание сверхчеловеческого ИИ несёт множество других угроз динамичному будущему, включая риски использования ИИ для захвата и удержания власти, захвата власти самими ИИ-системами, постепенной сдачи людьми способности управлять своей судьбой. Надо уметь критиковать решения, не закрывая глаза на проблемы, которые они решают.


Оригинальная публикация: Helen Toner (2025) In search of a dynamist vision for safe superhuman AI, Rising Tide, 12 мая.

1 2 3 4 5 6 7 8