Переосмысление моделей угроз СИИ
Всем привет. Этот доклад основан на ряде исследований, которые я провел в OpenAI. А еще это доклад-провокация. Вчера я задумался: люди много о чём спорят, но в чем все докладчики сошлись? Хоть нет согласия, сколько типов рисков ИИ — три или четыре, но все принимают, что есть как минимум злоупотребление и несогласованность. Первое — когда люди используют ИИ для плохих целей — и второе — когда ИИ автономно решает делать что-то плохое. Главный вопрос доклада: что, если нам просто отбросить это различие и больше его не использовать?
Я аргументирую это в два шага. Во-первых, это различие просто бесполезно на техническом уровне. А во-вторых, оно не особо полезно и на уровне управления.
Примерная десятисекундная версия: сейчас ИИ — инструменты, а люди их используют. Но по мере того как ИИ становятся агентами, злоупотребление ИИ по сути будет сводиться поручению ему автономного выполнения какой-то задачи. И несогласованные действия ИИ будут во многом выглядеть так же, как его злоупотребление человеком, — за исключением самого начального этапа. Возможно, этот первый этап — вовсе не главное, на что стоит обращать внимание, разделяя модели угроз.
Хорошо, это была примерно десятисекундная версия аргумента. А вот четырехминутная.
Вы можете сказать: «Послушайте, я, конечно, согласен, что на практике многие угрозы от злоупотребления и от несогласованности — одни и те же. Но на техническом уровне разграничение необходимо. Нам нужно убедиться, что наша работа сосредоточена на недопущении несогласованности». Но я на самом деле считаю, что если очень стараться на техническом уровне предотвратить злоупотребление, в итоге вы проделаете много той же работы, что и для исключения несогласованности. И такую аналогию можно увидеть во многих аспектах того и другого.
Например, со стороны несогласованности вам нужно отслеживать поведение ИИ. А со стороны злоупотребления вам нужно отслеживать поведение пользователей и их взаимодействие с ИИ. Эти задачи отличаются не так уж сильно. Для них потребуется во многом одна и та же инфраструктура, одна и та же система мониторинга.
Со стороны несогласованности вам нужно выявлять обманчивую согласованность ИИ-систем. Они иногда могут менять свои намерения и начинать следовать совершенно иной стратегии. Эта техническая проблема весьма схожа с обнаружением, не внедрён ли в ИИ бэкдор. В обоих случаях будет некий ввод, который приведёт к радикальному изменению поведения и к совершенно выходящими из распределения действиям.
Со стороны несогласованности вас может тревожить стеганография, верно? Обмен ИИ сообщениями друг с другом. Но это, в каком-то смысле, техническая проблема: «Может ли один ИИ передать другому такой ввод, который заставит его совершить что-то плохое?» Это, в некотором роде, тот же джейлбрейк, только там ввод обычно осуществляет человек.
Ради экономии времени я не буду разбирать все примеры, но, на мой взгляд, во многих технических задачах, которые может быть нужно решить в обоих случаях, прослеживаются близкие аналогии.
Я подробнее остановлюсь на ещё одном пункте с точки зрения управления. Неподконтрольный ИИ как аналог концентрации власти. Что я имею в виду? На уровне управления проблема в том, что и злоупотребление, и несогласованность выглядят совершенно иначе в зависимости от того, кто именно злоупотребляет.
Возьмём биологическое оружие. Многие говорят о нём как о проблеме злоупотребления, верно? Мы выпускаем открытый ИИ, террористы создают биологическое оружие — очень плохо. Но так-то большинство самых опасных видов биологического оружия, вероятно, разрабатывается (а иногда уже созданы) военными из государств, верно? И когда вы начинаете рассматривать проблему биологического оружия от государственных субъектов, многие выводы могут полностью перевернуться. Например, вы можете захотеть, чтобы открытых моделей было больше, потому что они полезны для обороны, а вот у государств, разрабатывающих биологическое оружие, ИИ будет независимо от того, открытый он или нет, и они в любом случае будут использовать его для нападения, верно? Так что на самом деле даже такая, казалось бы, простая тема, как биологическое оружие — это совсем разные модели угроз в зависимости от того, какие вовлечены субъекты.
Аналогично, модели угроз несогласованности сильно различаются в зависимости от того, работает ли несогласованный ИИ на просто каком-то сервере где-то на Багамах, на серверах ИИ-компании с доступом для миллиона пользователей, или же он широко внедрен в крупных вооруженных силах. Всё это — совершенно разные модели угроз несогласованности.
Вот моё предложение. Мы определяем несогласованную коалицию как группу людей и ИИ-систем, которые пытаются незаконно захватить власть. Их много типов: террористические группы, нарушающие закон корпорации и так далее. И чаще всего, как в технической работе, так и в сфере управления, нам не нужно знать, кто именно там во главе. Руководить могут ИИ-системы, могут люди, а возможно, никто вообще не знает, кто главный. Но мы можем пытаться подходить к решению этой проблемы одинаково в любом случае.
У меня нет чёткой классификации разных типов несогласованных коалиций, но я бы отметил, что они бывают как мелкими, так и крупными игроками. Если вас больше беспокоят мелкие игроки, то вас больше тревожат риски децентрализации ИИ; если же вас беспокоят крупные игроки — то риски централизации. У меня есть сценарий, в котором демократы больше обеспокоены первым, а республиканцы — вторым. Я не хочу, чтобы безопасность ИИ на этой почве слишком сильно раскололась на две противостоящие коалиции, поэтому я очень хочу, чтобы мы обратили внимание на это разделение, и попытались выработать подход, который охватывает обе стороны и позволит раскол преодолеть.