Что такое согласование ИИ?

автор: Adam Jones
Безопасность ИИИскусственный интеллектСогласование ИИТрансформативный искусственный интеллектУправление ИИЭкзистенциальный риск
 

В этой статье объясняются ключевые понятия, возникающие в контексте согласования ИИ.

Сами термины — лишь попытка указать на лежащие за ними идеи, и именно идеи важны. Нет строгого консенсуса, какое название должно означать какую идею, и разные люди по-разному используют эти термины.⁠⁠1 Здесь мы описываем, как эти слова используются в нашем курсе по согласованию ИИ и как исследования согласования способствуют безопасности ИИ.

Как обеспечить благополучное развитие ИИ

ИИ, вероятно, окажет беспрецедентное влияние на мир — возможно, сопоставимое с Промышленной революцией, или даже большее. Для описания этих систем используются термины:

Сильный искусственный интеллект, или СИИ/AGI: крайне спорный термин, открывающий бесконечный простор для дискуссий. Чтобы избежать этих споров, мы можем говорить об определённых свойствах, таких как:

  • эффективность при решении конкретных задач; и
  • универсальность (т. е. какой спектр задач может выполнять ИИ).

Например, некоторые авторы определяют ИИ человеческого уровня как ИИ, способный выполнять не менее 95 % экономически значимых задач на уровне человека или выше.

Трансформативный ИИ, или ТИИ/TAI: ещё одна попытка обойти дебаты о СИИ — говорить о влиянии, а не о свойствах ИИ. Радикально трансформативный ИИ (или, чаще, просто трансформативный ИИ, ТИИ) — это ИИ, который приводит к удесятерению роста инноваций по сравнению с эпохой до ИИ.⁠⁠2

Это было бы схоже с влиянием промышленной революции, когда среднегодовой рост ВВП подскочил с 0,2 % до 2 %. Ещё одна такая революция привела бы к ежегодному росту ВВП на 20%. (Это было бы похоже на переход от мира без широко распространённого интернета к миру со смартфонами за 2–3 года, а потом изменения такого же уровня за следующие 2–3 года, и так далее.)

Чтобы проиллюстрировать разницу между терминами ТИИ и СИИ, рассмотрим сценарий, в котором большинство рабочих мест в экономике занимают специально разработанные ИИ-системы. Это, вероятно, было бы чрезвычайно значимым и квалифицировалось бы как трансформативный ИИ, независимо от того, обладает ли хоть одна из отдельных систем «общим интеллектом».

Наша конечная цель — сделать так, чтобы эти значительные последствия оказались хорошими, а не плохими. Спектр потенциальных последствий ИИ широк:

Вымирание: многие эксперты и общественные деятели опасаются, что ИИ может привести к буквальному вымиранию человечества. О том, как это может произойти, мы поговорим позже.

Экзистенциальная катастрофа: родственное вымиранию понятие экзистенциальной катастрофы — это исход, сопоставимый по тяжести с вымиранием человечества. Сюда могут входить сценарии захвата власти над человечеством деспотичным тоталитарным режимом.

Неэкзистенциальные риски: потенциальный вред от ИИ, конечно же, не ограничивается экзистенциальными катастрофами. Сюда относятся и проблемы вроде усугубления ИИ предвзятости, роста безработицы или вклада в глобальную нестабильность.

Экономический рост: условия жизни людей за последние 200 лет колоссально улучшились, и можно сказать, что главной движущей силой этого прогресса был экономический рост. Но прогресс и автоматизация на базе ИИ могут сделать мир ещё лучше — возможно, в невообразимой степени.⁠⁠3

Подзадачи «обеспечения благополучного развития ИИ»

«Обеспечение благополучного развития ИИ» — наша конечная цель, но у неё есть недостаток: она слишком широка и неформальна. Ниже мы выделяем более узкие подзадачи, поддающиеся практическому решению. В частности, этот курс в первую очередь сосредоточен на согласовании ИИ:

Согласование: обеспечение того, чтобы ИИ-системы стремились делать то, что задумывали их создатели (некоторые называют это согласованием намерений).

Примеры несогласованности: генераторы изображений создают утверждающие стереотипы или нереалистично разнообразные изображения, медицинские классификаторы ищут линейки, а не значимые с точки зрения медицины признаки, а чат-боты говорят людям то, что те хотят услышать, а не правду. В будущем мы, возможно, передадим чрезвычайно способным системам больше власти — и если эти они будут делать не то, что мы задумали, последствия могут быть катастрофическими. Чуть позже мы подробнее рассмотрим подзадачи согласования.

Это часто противопоставляется задаче способностей ИИ:

Способности: разработка ИИ-систем, эффективно выполняющих задачи, которые они пытаются решить.⁠⁠4

Примеры провалов компетентности: медицинские ИИ-системы, которые дают опасные рекомендации, или алгоритмы оценки стоимости недвижимости, которые приводят к значительным финансовым потерям. (Но в обоих этих случаях ИИ-системы пытаются давать точные рекомендации или точно прогнозировать цены.)

Надёжное согласование ИИ и его развитые способности, скорее всего, необходимы, но не достаточны для благоприятных исходов. К прочим составляющим задачи относятся:

Моральная философия: определение, какие намерения было бы «хорошо» закладывать в ИИ-системы. Ведь даже если мы сможем заставить ИИ-системы делать то, что мы задумали (согласование), нам всё равно понадобится знать, что за намерения следует в них закладывать. Это сложно: споры о том, что такое «хорошо», ведутся тысячелетиями, а у людей разные и порой противоречащие друг другу интересы.

Управление: предотвращение вредоносной разработки и использования ИИ-систем. Примеры провалов управления: безрассудная или злонамеренная разработка опасных ИИ-систем; развёртывание систем без мер защиты от серьёзного злоупотребления. Если согласование даёт нам инструменты для того, чтобы направлять ИИ, а моральная философия указывает, куда мы должны его направлять, то управление призвано гарантировать, что люди действительно направляют ИИ туда, куда следует.

Устойчивость: подготовка прочих систем к негативным последствиям ИИ. Например, если ИИ-системы повышают способность некоторых субъектов осуществлять кибератаки, меры устойчивости могут включать в себя укрепление защиты от таких атак, повышение способности организаций функционировать во время киберинцидента и ускорение восстановлений после атак.

Хотя такое разделение — полезная отправная точка, не все проблемы можно чётко вписать в эти рамки. Например, джейлбрейки — это:

  • проблема согласованности (создатели хотят, чтобы их модели следовали системным промптам, но этого не происходит); и
  • проблема управления (субъектов ничто не удерживает от злоупотребления ИИ-моделями); и
  • проблема устойчивости (может, джейлбрейки бы не были страшны, если бы возможный ущерб был ограничен).

К тому же часто трудно различить провалы компетентности и согласованности: неясно, на что на самом деле способны ИИ-модели и означает ли конкретный сбой:

  • неспособность правильно выполнять задачи (компетентность); или
  • то, что модель может их выполнять, но пытается сделать что-то другое (согласованность).

Это особенно верно в отношении больших языковых моделей, учитывая огромное пространство возможных ответов: методы промптинга вроде few-shot или цепочки мыслей, по-видимому, «вытаскивают» более качественные ответы из одной и той же модели.

Наконец, два предостережения относительно неоднозначности термина «безопасность ИИ». Во-первых, интуитивно он понимается как «предотвращение аварий с участием ИИ», но многие исследователи вкладывают в него неявную коннотацию фокуса именно на радикально трансформативном ИИ. Во-вторых, термины «безопасность ИИ» и «согласование ИИ» иногда применяют некорректно — для так называемого «безопасностного пиара», когда организации пытаются убедить публику, что приоритет для них — безопасность, хотя на деле это может быть не так.

Согласование ИИ

Заставить ИИ-системы пытаться делать то, что мы задумали, — удивительно сложная задача. Обычно эту проблему разделяют на внешнее и внутреннее согласование.⁠⁠5 ⁠6

Диаграмма иллюстрирует концепцию согласования ИИ, показывая связь между задуманной человеком «истинной целью X» и тем как в ИИ-системе «внешняя согласованность» преобразует её в «прокси-цель X'», а затем «внутренняя согласованность» — во «внутреннюю цель X''».
Рисунок 1: Упрощённая иллюстрация внешней и внутренней несогласованности. Внешняя несогласованность возникает, когда X’ ≠ X. Внутренняя несогласованность — когда X” ≠ X’.

В этой модели у нас есть человек и ИИ-система.

У человека есть некая истинная цель, X, которой он хочет достичь. Это может быть что-то вроде «повысить ценность моей компании».

Эту цель необходимо перевести в форму, понятную ИИ-системе (например, в функцию потерь, по которой будет выполняться градиентный спуск). Для этого создаётся прокси-цель X’ (скажем, «повысить цену акций»), которая и загружается в ИИ.

Затем мы обучаем ИИ и получаем от него действия. ИИ выбирает их на основе того, чему научился. Его действия могут подразумевать иную внутреннюю цель, X”, поскольку он не усвоил прокси-цель напрямую. Скажем, он может научиться оптимизировать критерий «написания новостных статей о росте цены акций».

Если действие ИИ не направлено на достижение истинной цели, мы называем это несогласованностью — внешней или внутренней, в зависимости от того, где кроется проблема: снаружи «коробки» (то есть в нашей спецификации цели) или внутри неё (в том, чему модель научилась на основе этой спецификации).

  • Пример внешней несогласованности: ИИ понимает, что может взломать биржу, чтобы повысить цену акций. Это проблема снаружи «коробки», связанная с нашей спецификацией: технически ИИ достиг поставленной цели, но не повысил ценность компании, значит, X ≠ X’.
  • Пример внутренней несогласованности: на этапе обучения ИИ получает вознаграждение, когда появляются положительные новостные статьи о цене акций. При развёртывании он способен нанять группу журналистов, чтобы те писали новостные статьи о взлёте акций (приходя к своей внутренней цели X”), которого на самом деле не было. Это проблема внутри «коробки»: внутренние механизмы не достигают прокси-цели X’ — фактического повышения цены акций, поэтому X’ ≠ X”.

Теперь мы подробнее рассмотрим эти неудачи и в заключение прокомментируем ограничения такого подхода.

**1. Внешнее согласование: правильно задать цели ИИ-системе.\ **Также известно как решение: неверной спецификации вознаграждения, взлома вознаграждения, обхода спецификации, закона Гудхарта.

Речь идёт о проблеме задания функции вознаграждения для ИИ-системы так, чтобы она точно отражала наши намерения. Ошибки в этом процессе могут привести к тому, что ИИ-системы будут оптимизировать достижение лишь прокси-показателей того, чего мы хотим на самом деле.

Пример внешней несогласованности: компании хотят обучить большие языковые модели (LLM) правдиво отвечать на вопросы. Для этого они используют функцию вознаграждения на основе оценок ответов людьми. Люди же склонны высоко оценивать всё, что правдоподобно звучит, независимо от того, верно ли это. В итоге ИИ-система приучается генерировать правдоподобно звучащие, но по факту ложные ответы, например, с вымышленными цитатами.

Ещё один пример внешней несогласованности: компании, владеющие социальными сетями, стремятся максимизировать прибыль от рекламы. Они могут использовать ИИ-системы для максимизации вовлечённости пользователей, но в итоге их платформы начинают продвигать кликбейт, дезинформацию или экстремистский контент. Это, в свою очередь, снижает прибыль, поскольку рекламодатели уходят с платформы.

**2. Внутреннее согласование: заставить ИИ следовать этим целям.\ **Также известно как решение проблемы неверного обобщения цели.

При обучении ИИ-систем мы даём им обратную связь (через градиентный спуск) на основе нашей функции вознаграждения. В результате получаются ИИ-системы, которые хорошо себя показывают по функции вознаграждения на обучающих данных.

Но это не означает, что они обучаются поведению, которое действительно отражает заданную нами функцию вознаграждения. Это может вызвать проблемы, если при обучении и при развёртывании будут разные распределения данных (что известно как сдвиг области или сдвиг распределения).

Согласование цели, которой пытается достичь ИИ-система, с заданной целью — и есть внутреннее согласование. Под «пытается достичь» мы понимаем то, что система, по всей видимости, оптимизирует, судя по тому, как она выбирает между разными действиями.

Пример внутренней несогласованности: ИИ-система корректно получает вознаграждение за прохождение лабиринтов. Но при обучении у всех лабиринтов выход в правом нижнем углу. Система усваивает поведение, которое даёт хорошие результаты: всегда идти в правый нижний угол (а не «идти к выходу»). При развёртывании же у некоторых лабиринтов выходы в других местах, но ИИ-система просто застревает в правом нижнем углу.

Пример внутренней несогласованности (гипотетический): беспилотный автомобиль обучается с использованием корректно заданного вознаграждения за вождение без аварий. В ходе обучения он усваивает поведение: никогда не проезжать на красный свет, ведь это даёт хорошие результаты во всех обучающих сценариях. При развёртывании автомобиль останавливается у светофора на красный свет. У едущего сзади грузовика отказывают тормоза, и он сигналит. К сожалению, транспортные средства сталкиваются: автомобиль отказывается уступить дорогу, ставя соблюдение запрета на проезд на красный свет выше предотвращения аварии.

Критика разделения согласования на внутреннее и внешнее

Иногда сбои сложно однозначно классифицировать как внешнюю или внутреннюю несогласованность. Они могут быть двусмысленными или результатом обеих несогласованностей сразу, а некоторые исследователи и вовсе классифицируют одни и те же сбои по-разному, смотря, как их рассматривать.

Неясно, насколько напрямую функция вознаграждения связана с фактически усвоенным поведением. Это ставит под сомнение значимость внешнего согласования, если системы вроде обучения с подкреплением могут не оптимизировать вознаграждение напрямую. Одно из направлений исследований, теория осколков, пытается изучить взаимосвязи между функциями вознаграждения и усвоенным поведением и предлагает задавать функцию вознаграждения на основе ценностей, которые она прививает модели, а не пытаться найти цель, в точности совпадающую с тем, чего мы хотим.

Наконец, будущие ИИ-системы могут разрабатываться и без заданных функций вознаграждения. У современных LLM обычно есть цель «генерировать связный текст, который люди высоко оценят». Но построенные поверх них системы вроде AutoGPT стараются сделать LLM агентнее и целенаправленнее с помощью многократного промптинга и подключения к инструментам. И пока неясно, как парадигма внешнего и внутреннего согласования соотносится с такими системами.

Несмотря на эту критику, мы считаем знакомство с этими концепциями полезным. Они широко применяются в области. На курсе мы будем использовать их для осмысления проблем, возникающих при разработке согласованных ИИ-систем.

Альтернативные определения

Многие до нас и, вероятно, многие после нас пытались и будут пытаться дать определение согласования и согласованности. Вот другие популярные определения:

  • Ян Лейке: «ИИ-система выполняет поставленную задачу так хорошо, как только может».
  • Пол Кристиано: «Когда я говорю, что ИИ A согласован с оператором H, я имею в виду: A пытается делать то, чего от него хочет H».
  • Ричард Нго: «обеспечение того, чтобы ИИ-системы преследовали цели, соответствующие человеческим ценностям или интересам, а не непреднамеренные и нежелательные цели»
  • Райан Гринблатт (в конкретном контексте): «Убедитесь, что ваши модели не строят коварных планов».
  • Нейт Соарес: «как в принципе направить мощную ИИ-систему на достижение конкретной цели»
  • Холден Карнофски: «создание очень мощных систем, которые не стремятся разрушить цивилизацию»
  • Anthropic: «создавать безопасные, надёжные и управляемые системы, когда они начинают становиться такими же умными и осведомлёнными об окружающей среде, как их разработчики»
  • OpenAI: «сделать так, чтобы сильный искусственный интеллект (СИИ) был согласован с человеческими ценностями и следовал человеческим намерениям»
  • Google DeepMind: «обеспечить, чтобы ИИ-системы были должным образом согласованы с человеческими ценностями»
  • IBM: «кодирование человеческих ценностей и целей в большие языковые модели, чтобы сделать их максимально полезными, безопасными и надёжными»

Оригинальная публикация: Adam Jones (2024) What is AI alignment?, AI Safety Fundamentals, 1 марта.

1 2 3 4 5 6