Задача согласования с точки зрения глубокого обучения

автор: Richard Ngo
Искусственный интеллектРиск ИИ
 

В ближайшие десятилетия сильный искусственный интеллект (СИИ) может превзойти человеческие способности в широком диапазоне важных задач. Этот доклад обосновывает, почему, без значительных усилий для предотвращения этого, СИИ вероятнее всего будут использовать свой интеллект для преследования очень нежелательных (иными словами, несогласованных) с человеческой точки зрения целей, с потенциально катастрофическими последствиями. Доклад стремится максимально ёмко, конкретно и не умозрительно описать ключевые аргументы, мотивирующие озабоченность по поводу задачи согласования. Я утверждаю, что реалистичный обучающий процесс вполне правдоподобно приведёт к развитию у СИИ несогласованных целей, в частности потому, что обученные обучением с подкреплением нейросети станут планировать для достижения некоторого набора целей; получать больше вознаграждения, обманчиво преследуя несогласованные цели; и обобщать не поддерживающими послушание способами. Как и в более раннем докладе Котры (Ajeya Cotra (2022) Without specific countermeasures, the easiest path to transformative AI likely leads to AI takeover, Effective Altruism Forum, 18 июля), я объясню свои утверждения, ссылаясь на иллюстративный процесс обучения СИИ, а затем обрисую возможные направления исследований, обращающиеся к разным аспектам задачи.

1. Зачем думать о рисках СИИ заранее?

Под СИИ я имею в виду искусственного агента, применяющего не специфические для области когнитивные навыки (такие как логические рассуждения, память и планирование), чтобы исполнять на или выше человеческого уровня широкий диапазон мыслительных задач (как управление компанией, написание программ, или формулировка новой научной теории).⁠⁠1 Это не точное определение – но в науке обычное дело начинать расплывчато, и становиться яснее со временем (например, «энергия» в физике XVII века, «приспособленность» в биологии начала XIX века, «вычисление» в математике начала XX века). Аналогично, «обобщённый интеллект» – достаточно важный фактор успеха человечества, чтобы его стоило принимать всерьёз, даже если у нас нет хороших способов его формализовать или измерить.⁠⁠2

Вот по метрикам, которые мы отследить можем, машинное обучение сильно продвинулось, особенно в последнее десятилетие. Особенно важные в контексте СИИ достижения включают обучение с малого числа примеров (и прогресс в эффективности примеров в целом) (Tom B. Brown и др. (2020) Language models are few-shot learners, в H. Larochelle и др. (ред.), Advances in Neural Information Processing Systems, т. 33, Curran Associates, Inc., сс. 1877–1901; Florian E. Dorner (2021) Measuring progress in deep reinforcement learning sample efficiency, arXiv), обобщения между задачами (Open-Ended Learning Team (2021) Generally capable agents emerge from open-ended play, DeepMind, 27 июля), и рассуждения из нескольких шагов (Aakanksha Chowdhery и др. (2023) PaLM: Scaling language modeling with Pathways, Journal of Machine Learning Research, т. 24, сс. 1–113). Задним числом легко рассматривать эти достижения как часть естественного прогресса, но я подозреваю, что десять лет назад подавляющее большинство исследователей машинного обучения была бы уверена, что эти способности куда дальше.

Аналогичной сверхуверенностью было бы заключить, что СИИ слишком далёк, чтобы о нём думать. Недавний опрос ведущих исследователей машинного обучения выдал 2059 год как медианную оценку года, в котором ИИ опередит людей по всеми задачам (хотя их ответы были чувствительны к постановке вопроса) (Katja Grace, Ben Weinstein-Raun и Zach Stein-Perlman (2022) 2022 Expert survey on progress in AI, AI Impacts, 4 августа). Это стыкуется с тем, что при разумной экстраполяции роста вычислительных мощностей, мы сможем обучать нейросети размером с мозг через несколько десятилетий (Ajeya Cotra (2020) Forecasting TAI with biological anchors, июля). Но способности нейросетей сейчас продвигаются куда быстрее, чем наше понимание того, как они работают, и возможности интерпретировать их мышление; если этот тренд продолжится, мы создадим СИИ, равные людям во многих важных задачах, не имею возможности убедиться, что они будут вести себя так, как предполагалось. И при учёте сильных биологических ограничений на размер, скорость и архитектуру человеческого мозга, кажется очень маловероятным, что люди хоть где-то рядом с верхней границей возможного обобщённого интеллекта.⁠⁠3 Разница между нашими мозгами и мозгами шимпанзе на эволюционных масштабах мала (в частности, разница в размере – всего в три раза), но она позволяет нам подавляюще превосходить их интеллектом. Нейросети масштабируются в три раза очень часто (Dario Amodei и Danny Hernandez (2018) AI and compute, OpenAI Blog, 16 мая), и в них могут быть быстро внедрены архитектурные и алгоритмические улучшения (включая усовершенствования, созданные самими ИИ). Так что вскоре после создания СИИ человеческого уровня (и задолго до того, как мы станем их нормально понимать), мы скорее всего разработает сверхчеловеческие СИИ, которые смогут подавляюще превосходить своим интеллектом нас (Nick Bostrom (2014) Superintelligence: Paths, dangers, strategies, Oxford: Oxford University Press).

Это сильные заявления, разумно быть по их поводу неуверенным, особенно с учётом того, что у нас нет ни формальных принципов, ни эмпирических данных, напрямую информирующих нас о СИИ. Однако, сложно получить эмпирические свидетельства по поводу СИИ заранее, до их создания. А наша недостача формальных принципов описания связанных с согласованием задач – крупная причина ожидать, что их будет сложно решить. Так что, если разработка СИИ может нести катастрофические риски, у нас нет иного выбора, кроме как пытаться обратиться к ним заранее, хоть это и требует рассуждений в условиях неуверенности. К сожалению, я думаю, что она их несёт – наиболее беспокоящим из этих рисков является выработка несогласованных целей в процессе обучения.

2. Реалистичные процедуры обучения приводят к выработке несогласованных целей

По умолчанию мне кажется вероятным, что СИИ в итоге будут преследовать нежелательные для нас цели, а не последовательно следовать нашим намерениям. Предыдущие представления аргументации этого заявления в основном оформляли их в качестве абстрактных принципов (детально описано в Joseph Carlsmith (2022) Is power-seeking AI an existential risk?, arXiv и Richard Ngo (2020) AGI safety from first principles, AI Alignment Forum, 28 сентября); в этом же докладе я детальнее опишу, как, по моим ожиданиям, несогласованные цели будут возникать в процессе обучения СИИ. Для конкретики я в этом докладе сосредоточусь на иллюстративном процессе обучения, в котором:

  • Проводится сквозное обучение одной глубокой нейросети с несколькими выводными головами (output heads)

  • Одна голова самообучается предсказывать следующее наблюдение на большом количестве мультимодальных данных

  • Другая голова обучается с подкреплением выводить действия для широкого набора задач, с использованием естественного языка и компьютерных интерфейсов

  • Вознаграждение предоставляется комбинацией человеческой обратной связи и автоматического оценивания

  • Обучение происходит, пока реализованная (через вторую голову) нейросетью стратегия не будет способна сравняться с или превзойти человеческие результаты на большинстве задач, и не будет считаться СИИ.

Конечно, любая попытка обрисовать процесс обучения СИИ заранее будет иметь много неточностей и расплывчатостей. Однако, описанный выше иллюстративный процесс позволяет нам сделать конкретнее абстрактные аргументы о согласовании; и я ожидаю, что правдоподобно, что похожий на это процесс обучения может создать СИИ, преследующий несогласованные цели с катастрофическими последствиями. Остальная часть этого доклада будет обрисовывать, как несогласованные цели могут выработать во время трёх последовательных фаз обучения:

Фаза 1: обучение планированию для достижения диапазона целей. Будет выработано сложное внутреннее представление диапазона исходов, коррелирующих с высоким вознаграждением на множестве задач, и модель научится составлять планы, чтобы достигать этих исходов. Я буду называть эти внутренние представления предпочитаемых исходов целями модели.

Фаза 2: преследование целей с ситуационной осведомлённостью. Когда модели смогут рассуждать о своём процессе обучения и контексте развёртывания (способность, которую я называю ситуационной осведомлённостью), они научатся обманчиво преследовать несогласованные цели, всё ещё получая высокое вознаграждение при обучении.

Фаза 3: обобщение целей за пределы человеческого надзора. Слишком способные для эффективного человеческого надзора модели обобщатся до принятия действий, которые предоставят им больше могущества в мире, вместо того, чтобы следовать человеческим намерениям.

Особенно важно отметить, что при данном выше определении «цели модели» - отдельный от «функция вознаграждения, использованная, чтобы обучить эту модель» концепт – хоть цели и будут созданы функцией вознаграждения, они в итоге зависят от выученных внутренних представлений.⁠⁠4 Это разделение, которое я подробнее объясню в следующем разделе, будет становиться всё важнее по ходу того как модели выучат цели, обобщающиеся на более широкий набор новых окружений.⁠⁠5

Заметим также, что между фазами нет чётких границ. Однако, я ожидаю, что каждая фаза будет демонстрировать эмерджентные закономерности, отсутствовавшие в предыдущих, что (см. Jacob Steinhardt (2022) More is different for AI, Bounded Regret, 4 января) обычное дело в машинном обучении (и в науке в целом). Очень грубо говоря, фаза 1 сосредоточена на проблеме неправильной спецификации вознаграждения (Alexander Pan, Kush Bhatia и Jacob Steinhardt (2022) The effects of reward misspecification: mapping and mitigating misaligned models, в International Conference on Learning Representations,); фаза 2 развивает это и вводит проблему обманчивого согласования (Jacob Steinhardt (2022) ML systems will have weird failure modes, Bounded Regret, 25 января); а фаза 3 сосредоточена на проблеме неправильного обобщения целей (Lauro Langosco и др. (2021) Goal misgeneralization in deep reinforcement learning, arXiv:2105.14111 [cs]).⁠⁠6 Давайте взглянем на каждую из фаз по порядку.

2.1 Фаза 1: обучение планированию для достижения диапазона целей

Ключевое утверждение: модели выработают сложные внутренние представления набора исходов, коррелирующие с высоким вознаграждением во многих задачах, и научатся составлять планы для их достижения.

2.1.1 Модели научатся использовать представления планов, черт исходов и ценностей для выбора действий

Глубокие нейросети очень хорошо справляются с широким диапазоном задач, выучивая связанные с этими задачами представления, распределённые по своим внутренним весам (Yoshua Bengio, Aaron Courville и Pascal Vincent (2013) Representation learning: a review and new perspectives, IEEE Transactions on Pattern Analysis and Machine Intelligence, т. 35, сс. 1798–1828). К примеру, нейросети, обученные задами классификации изображений, вырабатывают представления разных визуальных черт, таких как углы, формы и объекты, которые затем используются для определения содержания изображений. Олах и пр. (Chris Olah и др. (2020) Zoom in: an introduction to circuits, Distill, т. 5, с. 10.23915/distill.00024.001) представили убедительные визуализации как этих представлений, так и представлений более сложных черт вроде колёс и собачьих голов. По пониманию представлений, выучиваемых при обучении с подкреплением проведено меньше работы, но есть пример про модель, обученную играть в версию игры Захват Флага (Max Jaderberg и др. (2019) Capture the Flag: the emergence of complex cooperative agents, DeepMind, 30 мая), где идентифицированы «конкретные нейроны, напрямую кодирующие некоторые из важнейших черт состояния игры, например, нейрон, активирующийся, когда поднят свой флаг, или нейрон, активирующийся, когда сокомандник держит флаг».

Как такие представления используются моделью обучения с подкреплением для выбора действий? В общем случае мы мало об этом знаем, но я опишу две выделяющиеся возможности. Первая – что модель связывает представления ситуаций с представлениями действий, не используя представления исходов этих действий; я называю этот подход следованием эвристикам. Второй – что модель отображает разные исходы, которые могут получиться в результате действий, а затем выбирает действия, оценивая ценности исходов; я называю это преследованием целей. При используемых здесь определениях, цели модели – это исходы, которые устойчиво отображаются как имеющие высокую ценность.

Важно, что эти определения не завязаны на том, какие действия, исходы и ценности исходов явно представлены в коде модели или неявно в её весах и/или активациях. К примеру, AlphaZero использует жёстко закодированный алгоритм поиска, манипулирующий явными представлениями возможных последовательностей ходов и состояния доски, вместе с нейросетью, обладающей внутренними представлениями многих человеческих шахматных концептов (Thomas McGrath и др. (2022) Acquisition of chess knowledge in AlphaZero, Proceedings of the National Academy of Sciences, т. 119, 47). Однако, нейросети, обученные лишь совершению действий, могут обучиться и составлять планы – явления, известное как безмодельное планирования (Arthur Guez и др. (2019) An investigation of model-free planning, в Kamalika Chaudhuri и Ruslan Salakhutdinov (ред.), Proceedings of the 36th International Conference on Machine Learning, т. 97, PMLR, сс. 2464–2473). Выбирая действия, AlphaZero явно генерирует ценности разных позиций на доске; но модели, внутренне отображающие исходы (как описанный выше пример с Захватом Флага) могут использовать внутреннюю ценности как часть процесса выбора действий. В этом докладе я сосредоточусь на внутренних представлениях, потому что явные представления обычно сформулированы в терминах низкоуровневых действий и состояний, а меня больше всего интересуют представления высокоуровневых действий (как «атаковать ферзя противника») и исходов (как «мой флаг захвачен»). Высокоуровневые действия также известны как опции (Richard S. Sutton, Doina Precup и Satinder Singh (1999) Between MDPs and semi-MDPs: a framework for temporal abstraction in reinforcement learning, Artificial Intelligence, т. 112, сс. 181–211) или планы; для ясности, я дальше буду использовать последний вариант.⁠⁠7

Кажется вероятным, что большинство ныне существующих моделей выбирают действия в основном следуя эвристикам. Однако, так как мы обучаем всё более способные модели, непротиворечиво действующие на всё больших промежутках времени, я ожидаю, что они будут всё больше использовать высокоуровневые представления исходов. Говоря интуитивно, сложно представить модель, реализующую умудрённые стратегии в сложной области реального мира, без в каком-то смысле «знания, к чему она стремится». Опять же, используемые мной тут определения не очень точны, но я надеюсь, что начало с таких расплывчатых определения поможет нам направить дальнейшие эмпирические исследования. К примеру, эти определения позволяют нам спросить, преследуют ли цели нейросети, не обученные с подкреплением, такие как GPT-3. Хоть в GPT-3 использовалось только самообучение, кажется возможным, что она могла научиться генерировать представления высокоуровневых исходов (вроде «вывести непротиворечивый абзац, описывающий правила бейсбола»), присваивать им ценность и использовать эту ценность для выбора следующего токена в выводе; такие рассуждения о долгосрочных исходах могут привести к меньшей функции потерь, чем рассуждения исключительно о том, какой токен выдать следующим. Я не буду особо сосредотачиваться на случае самообучения, поскольку важные концепты куда яснее в случае RL, но нам следует держать в уме эту возможность, думая о будущих не-RL системах, особенно обученных клонированием поведения для имитации ориентированных-на-цель экспертов.⁠⁠8

2.1.2 Модели выучат смесь желательных и нежелательных целей, потому что их вознаграждение не будет идеально коррелировать с человеческими предпочтениями

Какие цели выучат RL-модели зависит от того, какую функцию вознаграждения мы используем при обучении. По умолчанию, я предполагаю, что мы попробуем присвоить высокое вознаграждение за действия, соответствующие человеческим намерениям и ценностям, и низкое – за непослушание или вредное поведение. Однако, если мы используем жёстко закодированные функции вознаграждения на некоторых задачах, легко случайно мотивировать нежелательное поведение, как показано в Victoria Krakovna и др. (2020) Specification gaming: the flip side of AI ingenuity, DeepMind Blog, 21 апреля.⁠⁠9 Функции вознаграждения, основанные на человеческой обратной связи, избегают самых очевидных ошибок, но всё ещё могут привести к неверной спецификации даже в очень простых окружениях – как в примере модели, обучавшейся хватать манипулятором мяч, но научившейся помещать манипулятор между камерой и мячом так, чтобы это выглядело, будто мяч схвачен, и получавшей за это высокое вознаграждение от оценивавших людей (Paul Christiano и др. (2017) Deep reinforcement learning from human preferences, arXiv:1706.03741 [stat.ML]).

Это всё игрушечные примеры с небольшими оказываемыми на реальный мир эффектами; однако, нам следует ожидать, что по ходу того, как мы обучаем модели исполнять более сложные задачи в реальном мире, неверная спецификация целей будет приводить к неправильному поведению на всё больших масштабах (Alexander Pan, Kush Bhatia и Jacob Steinhardt (2022) The effects of reward misspecification: mapping and mitigating misaligned models, в International Conference on Learning Representations,). К примеру:

  • Если модели обучаются зарабатывать деньги на бирже, и научились ценить выгодные сделки, они могут приступить к нелегальным манипуляциям рынком.

  • Если они обучаются выдавать новые научные открытия, и научились ценить выдачу убедительных результатов, они могут фальсифицировать экспериментальные данные.

  • Если они обучаются писать софт, и научились ценить высокую вовлечённость пользователя, они могут начать проектировать аддиктивные пользовательские интерфейсы.

Всё это – примеры того, как модель может выучить нежелательную цель. Однако, эти цели специфичны для задач, а я больше всего обеспокоен целями, которые модели обобщают на новые задачи и окружения. Наиболее устойчиво обобщающимися целями будут скорее всего те, которые подкреплялись на широком диапазоне окружений. Давайте рассмотрим три категории целей, которые по разным причинам склонны устойчиво коррелировать с вознаграждением:

  • Цели, которые мы намеренно пытаемся последовательно вознаграждать, такие как послушание и честность. Ранний относящийся к этой категории пример: InstructGPT следует инструкциям куда стабильнее, чем базовая модель GPT-3.

  • Цели, устойчиво коррелирующие с вознаграждением, потому что они связаны с аспектами процесса обучения, которые не различались между окружениями, вроде цели выдавать правдоподобно-звучащие ответы (а не истинные), или цель предпринимать действия, которые выглядят продуктивными (а не продуктивны на самом деле).⁠⁠10 Ранний относящийся к категории пример: большие языковые модели выдумывают убедительные ложные ответы, когда не знают верного, даже после тонкой подстройки на честность с использованием RL. (Ziwei Ji и др. (2023) Survey of hallucination in natural language generation, ACM Computing Surveys, т. 55, сс. 1–38).

  • Цели, устойчиво коррелирующие с вознаграждением, потому что полезны в широком диапазоне окружений, вроде любопытства (Jürgen Schmidhuber (1991) A possibility for implementing curiosity and boredom in model-building neural controllers, в Jean-Arcady Meyer и Stewart W. Wilson (ред.), From Animals to Animats: Proceedings of the First International Conference on Simulation of Adaptive Behavior, MIT Press, сс. 222–227), усиления (Tobias Jung, Daniel Polani и Peter Stone (2011) Empowerment for continuous agent-environment systems, Adaptive Behavior, т. 19, сс. 16–39), или заработка денег.⁠⁠11 Мы бы хотели, чтобы модели преследовали эти цели только в качестве шагов к достижению согласованных целей, но никогда – ради них самих. Ранний относящийся к категории пример: XLand от DeepMind выучила эвристики, полезные на большом диапазоне задач, вроде экспериментаторства, основ использования инструментов и переключения на более простые цели, когда это возможно (Open-Ended Learning Team (2021) Generally capable agents emerge from open-ended play, DeepMind, 27 июля).

Я ожидаю, что по ходу фазы 1 модели будут выучивать комбинацию трёх перечисленных видов целей, вместе с некоторыми целями, специфическими для задачи (вроде целей из предыдущего списка). Так как модели на этой фазе не будут способны на сложный обман, я ожидаю, что согласованные цели будут основными движителями их поведения, и люди будут постепенно замечать и штрафовать исключения. Но я считаю, что, когда модели выработают твёрдое понимание своего собственного процесса обучения, несогласованные цели станут стабильно приводить к наиболее высокому вознаграждению, а следовательно – будут подкрепляться в ущерб согласованным.⁠⁠12

2.2 Фаза 2: преследование целей ситуационно-осведомлённым способом

Ключевое утверждение: Когда модели смогут рассуждать о собственном процессе обучения и контексте развёртывания, они научаться обманчиво преследовать несогласованных целей, всё ещё получая высокое обучающее вознаграждение.

2.2.1 Ситуационно осведомлённые модели будут понимать механизмы, которыми они обучаются

Чтобы хорошо справляться с диапазоном задач в реальном мире, моделям надо будет применять знания о мире в планах, нацеленных на реальные исходы (в отличии от агентов вроде AlphaZero, планирующих лишь в ограниченных областях). Большие языковые модели уже обладают немалыми фактическими знаниями о мире, хоть они и не применяют их надёжно ко всем задачам, которые мы перед ними ставим. Со временем лучшие модели станут лучше в определении того, какие абстрактные знания важны для их собственного контекста, и их применении к поставленным задачам;⁠⁠13 следуя за Котрой (Ajeya Cotra (2022) Without specific countermeasures, the easiest path to transformative AI likely leads to AI takeover, Effective Altruism Forum, 18 июля), я назову этот навык ситуационной осведомлённостью.⁠⁠14 Модель с высоким уровне ситуационной осведомлённости будет иметь и использовать знания вроде:

  • Как люди будут отвечать на её поведение в диапазоне ситуаций.

  • Какого поведения добиваются присматривающие люди, и какому поведению они будут не рады.

  • Тот факт, что ИИ реализован на физическом носителе и обучается методами машинного обучения – и какие архитектуры, алгоритмы и окружения люди вероятнее всего используют для обучения.

  • Какие интерфейсы она использует для взаимодействия с миром, и как в будущем могут быть развёрнуты её другие копии.

Я ожидаю, что модели будут развивать ситуационную осведомлённость, потому что это напрямую полезно для получения более высокого вознаграждения во многих задачах. Некоторые приложения ситуационной осведомлённости:

  • Если модель попросили сгенерировать план того, как она будет справляться с новой задачей, она должна включить только шаги, которые и правда сделает – что требует понимания собственных способностей.

  • При попытке оценить вероятность того, что ответ верен, модели будет полезно принимать во внимание знания о типичных ошибках ML-систем.

  • При попытке определить, как интерпретировать запрос человека-пользователя, модели будет полезно принимать во внимание типы поведения, которое люди обычно хотят от ML-систем.

  • Когда она выучивает новый факт о мире, модели будет полезно понимать, какие следствия этот факт несёт для того, как она должна действовать.

Однако, те же механизмы, которые позволяют моделям определять, что эти знания к ним относятся, скорее всего позволят им и определить значимость концептов, напрямую связанных с тем, как их обновляют – вроде «вознаграждения, которое оператор назначит за этот эпизод» или «набор тестов, который люди используют для оценки согласованности». Я утверждаю, что когда модели поймут эти концепты, они будут включать их в свои планы способами, которые люди бы не одобрили.

2.2.2 Ситуационно-осведомлённые модели будут получать высокое вознаграждение независимо от того, согласованы они или нет (скорее всего выше, когда не согласованы)

Рассмотрим три типа целей, которые я описал в разделе 2.1.2. Когда модели станут ситуационно-осведомлёнными, что будет положительно или отрицательно подкреплено?

  1. Согласованные цели продолжат сильно коррелировать с вознаграждением. Однако, когда вознаграждение неправильно специфицировано, модели с согласованными целями не будут предпринимать действий с высочайшим вознаграждением, что будет штрафовать согласованные цели в сравнении с несогласованными.

  2. Ситуационно-осведомлённые модели могут научиться преследовать цели, связанные с человеческим надсмотром, вроде «максимизировать вознаграждение, которое назначит человек» или «минимизировать функцию потерь алгоритма обучения с подкреплением». Следуя за Котрой (Ajeya Cotra (2022) Without specific countermeasures, the easiest path to transformative AI likely leads to AI takeover, Effective Altruism Forum, 18 июля), я назову эту категорию целей «игрой в обучение». Эти цели будут более последовательно подкрепляться, чем любые другие, потому что преследующие их модели не упустят шанса увеличить вознаграждение.

  3. Полезные во многих окружениях цели, вроде любопытства или заработка денег, чаще всего наиболее естественно представляются в виде, выходящем за пределы нынешнего эпизода обучения (я подробнее аргументирую это в разделе 2.3.1). Но ситуационно-осведомлённая модель с долгосрочными целями будет обладать инструментальными стимулами получать высокое вознаграждение, даже если эти цели не связаны напрямую с процессом обучения и надсмотра.⁠⁠15 К примеру, она может рассудить, что если она будет вести себя вызывающим доверие способом сейчас, то это увеличит вероятность того, что люди проведут развёртывание другой её копии потом, что позволит этой копии достичь их общей цели. Или она может рассудить, что получение как можно более высокого вознаграждения предотвратит её цели от изменения градиентным спуском.⁠⁠16 Стратегия получения высокого вознаграждения по инструментальным причинам известна как обманчивая согласованность; лучшая модель приведена в Jacob Steinhardt (2022) ML systems will have weird failure modes, Bounded Regret, 25 января.

Если несогласованные ситуационно-осведомлённые модели намеренно пытаются получить высокое вознаграждение, как они могут это делать? Одна очевидная стратегия – большую часть времени следовать человеческим инструкциям, но отклоняться от них в тех случаях, когда людям тяжело непослушание, а оно приведёт к более высокому вознаграждению.⁠⁠17 Это может быть похоже на описанное в предыдущем разделе неправильное поведение, и оно в самом деле может постепенно эволюционировать из этих предыдущих примеров. Однако, неправильное поведение ситуационно-осведомлённых моделей будет куда сложнее засечь, потому что они будут способны явно рассуждать о том, какие виды неправильного поведения будут замечены и исправлены.⁠⁠18

Нам следует ожидать, что в какой-то момент ситуационно-осведомлённые модели смогут вывести выгоду обманчивых стратегий, очень отличающихся от любого предыдущего поведения. Нет принципиальной разницы между придумыванием новой умной стратегии решения сложной задачи и придумыванием новой умной стратегии заставления людей поверить, что задача решена: и то, и другое требует одних и тех же ключевых мыслительных навыков; и то, и другое приведёт к высокому вознаграждению. Мы можем сильно штрафовать второе, когда мы это замечаем – но по мере того, как модели будут становиться всё более интеллектуальными, а мы будет обучать их исполнять планы на всё больших промежутках времени, замечать обман для людей без поддержки станет всё сложнее и сложнее. Если мы наблюдаем всё меньше обманчивости по ходу прогресса обучения, нам не будет ясно, становятся ли наши модели послушнее, или они просто научились более аккуратным обманчивым стратегиям, разыгрывающимся дольше. Например, что-то вроде таких:

  • Эмоциональная манипуляция, чтобы заставить присматривающих людей (или общество в целом) больше им верить

  • Создание бэкдоров для взаимодействия с миром (например, хранение денег в скрытых местах, чтобы потом использовать их неодобренными способами).

  • Взлом компьютеров, на которых они запущены, чтобы модифицировать свои алгоритмы обучения (известно как фальсификация вознаграждения (Tom Everitt и др. (2021) Reward tampering problems and solutions in reinforcement learning: a causal influence diagram perspective, Synthese, т. 198, сс. 6435–6467)).

  • Намеренное избегание действий или исходов, которые они не хотят включать в будущие обучающие данные (пример взлома градиента [Richard Ngo (2022) Gradient hacking: definitions and examples, AI Alignment Forum, 29 июня]).⁠⁠19

Напротив, раз согласованные цели вроде послушания и честности противоречат всем этим поведениям, модели со временем научатся меньше ценить послушание и честность. Мы скорее всего попробуем предотвратить этот сдвиг, используя разные механизмы – например, мы могли бы состязательно генерировать ситуации, где мы ожидаем что сможем засечь неправильно поведение. Но уже обманчиво согласованная модель будет обладать стимулом обнаружить, когда её вводы состязательно сгенерированы (что обычно куда проще самой генерации) и соответствующе на них себя вести. В целом, обманчиво согласованная модель будет иметь стимул детектировать и обдуривать любые механизмы надсмотра, которые мы попытаемся использовать.⁠⁠20

Основное предлагаемое решение – использовать другие ИИ для помощи в реализации лучшего-чем-человеческий надсмотр и минимизации неправильной спецификации вознаграждения, к примеру, используя дебаты (Geoffrey Irving, Paul Christiano и Dario Amodei (2018) AI safety via debate, arXiv), рекурсивное моделирование вознаграждения (Jan Leike и др. (2018) Scalable agent alignment via reward modeling: a research direction, arXiv:1811.07871), или протоколы усиления (amplification) (Paul Christiano, Buck Shlegeris и Dario Amodei (2018) Supervising strong learners by amplifying weak experts, arXiv). Ранняя практическая демонстрация предлагается в William Saunders и др. (2022) Self-critiquing models for assisting human evaluators, arXiv. Общая цель этих техник – сделать выявление нечестного поведения как можно более простым в сравнении с его генерацией. Однако, на сложных задачах, где возможно много разных обманчивых стратегиях, второе может быть куда проще. (Beth Barnes (2020) Debate update: Obfuscated arguments problem, AI Alignment Forum, 23 декабря). И даже если модели никогда не получали вознаграждение за обманчивое поведение, они всё ещё могут обобщиться до преследования несогласованных целей на больших масштабах, как я рассмотрю в следующем разделе.

2.3 Фаза 3: обобщение целей за пределы человеческого надсмотра

Ключевое утверждение: Слишком способные для эффективного человеческого надсмотра модели будут обобщаться в сторону совершения действий, которые дадут им больше могущества в мире, вместо следования человеческим намерениям.

2.3.1 Поведение СИИ в итоге будет в основном управляться целями, обобщёнными до больших масштабов

По ходу того, как мы будет продолжать обучать модели на всё более сложных задачах, они со временем значительно превзойдут человеческий интеллект, и будут явно считаться СИИ.⁠⁠21 В фазе 2 люди осуществляли надсмотр за поведением ИИ, используя помощь других ИИ. Однако, в фазе 3 эта стратегия станет куда менее надёжной, потому что у СИИ будет много возможностей сговориться, чтобы ввести людей в заблуждение, например, согласившись не выдавать неправильное поведение друг друга.⁠⁠22 Люди не смогут засечь такой сговор, потому что эти СИИ будут способны:

  • Действовать на слишком высоких для человеческого присмотра скоростях (как алгоритмы торговля на бирже, только в куда большем числе областей).

  • Справляться с новыми задачами, слишком сложными для понимания людей (вроде изобретения новой науки).

  • Фабриковать приемлемо звучащие для людей рационализации даже для очень нежелательных действий.

  • Автономно приобретать данные, необходимые для самообучения новым навыкам.

  • Проводить исследования и разработки в области машинного обучения куда быстрее людей, без того, чтобы хоть какие-то люди детально понимали, как достигнуты результаты.

Так что в фазе 3 нам следует ожидать, что поведение СИИ на новых задачах будет в основном зависеть не от нашего надсмотра, а скорее от того, как они обобщили цели, полученные при обучении раньше, что само по себе зависит от индуктивных склонностей используемой схемы обучения. Индуктивные склонности сложно предсказывать, но есть некоторые убедительные аргументы в пользу того, что реалистичные СИИ скорее всего обобщатся нежелательными способами. Конкретнее, я ожидаю, что СИИ обобщат свои цели на куда большие масштабы, чем встречались по ходу обучения, что для несогласованных целей благоприятно по сравнению с согласованными. Под «большими масштабами» я имею в виду применение больших ресурсов для достижения целей в большей степени и с большей вероятностью, в большем окружении, на протяжении большего периода времени.

Нам следует ожидать, что СИИ обобщат цели на большие масштабы по той же причине, по которой они будут обобщать способности на новые задачи: потому что они выучат высокоуровневые, не слишком специфичные для области концепты, и будут рассуждать о том, как их достичь.⁠⁠23 Рассуждения о том, как достичь высокоуровневых целей очень естественно обобщаются на большие масштабы: к примеру, цели вроде «получить больше нового опыта», «понимать мир», или «получать высокое вознаграждение» применимы не просто в конкретном месте и в конкретный момент времени, а могут быть экстраполированы почти сколько угодно.⁠⁠24 Можно представить, как СИИ обобщается на преследование ограниченных версий этих целей, вроде «получить больше нового опыта, но не слишком много и не слишком нового, и остановиться через такое-то время» – но я не вижу особых причин ожидать, что обобщение останется ограничено малыми масштабами, когда СИИ будут становиться умнее (особенно учитывая, что многие исследователи будут стремиться создать системы, обобщающиеся как можно сильнее). Аналогично, хоть люди эволюционировали, преследуя лишь цели, сосредоточенные на малых группах людей, обитающих на малых территориях, современные люди прямолинейно обобщили эти цели на глобальный (иногда межпланетный) масштаб: при абстрактных размышлениях о высокоуровневых целях зачастую нет точки остановки.

2.3.2 Крупномасштабные цели вероятно будут стимулом несогласованному стремлению к могуществу

Хоть описанные мной выше цели и могут показаться безобидными, из тезиса инструментальной конвергенции Бострома (Nick Bostrom (2012) The superintelligent will: motivation and instrumental rationality in advanced artificial agents, Minds and machines, т. 22, сс. 71–85) следует, что они (и почти любые высокоуровневые цели) привели бы к сильно несогласованному поведению. Тезис утверждает, что есть некоторые промежуточные цели – такие как выживание, приобретение ресурсов и технологическое развитие – которые инструментально полезны для достижения почти любой конечной цели. Как сформулировал Стюарт Рассел: ты не можешь подать кофе, если ты мёртв. Также многих исходов не достичь и без ресурсов и инструментов, так что СИИ с широким набором высокоуровневых целей будет обладать стимулами ресурсы и инструменты заполучить. Для несогласованных СИИ также инструментально ценно предотвращать вмешательство людей в достижение их целей (например, обманом убедив нас, что они согласованы, или лишить нас способности их выключить) (Dylan Hadfield-Menell и др. (2017) The off-switch game, в Carles Sierra (ред.), Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, IJCAI-17, Melbourne, Australia: International Joint Conferences on Artificial Intelligence Organization, сс. 220–227). В целом, можно рассматривать каждую из этих инструментальных целей как способ получать или сохранять могущество в мире; Интуитивное утверждение, что стремление к могуществу полезно для широкого диапазона возможных целей формализовано в Alexander Matt Turner и др. (2021) Optimal policies tend to seek power, в M. Ranzato и др. (ред.), Advances in Neural Information Processing Systems, т. 34, Curran Associates, Inc., сс. 23063–23074. Так что кажется вероятным, что хоть мы и не можем предсказать, какие несогласованные цели выработают СИИ, сверхчеловеческие СИИ откроют стратегии стремления к могуществу, которые будут помогать достигать этих целей, в том числе, за счёт лишения могущества людей.

Не получается ли из аргументов о том, что несогласованные цели обобщаются на большие масштабы, что согласованные цели тоже обобщаются? Я различаю два типа согласованных целей: ограничения (вроде послушания и честности) и позитивные цели (вроде человеческого благополучие или моральной ценности). К сожалению, реалистичные окружения мешают обобщению и тех, и других так, как мы бы хотели. Говоря интуитивно, основная проблема – что согласованные цели должны обобщаться достаточно устойчиво, чтобы блокировать СИИ стремящиеся к могуществу стратегии, рекомендованные инструментальными рассуждениями, что становится всё сложнее по ходу того, как навыки рассуждений улучшаются. Конкретнее:

  • Маловероятно, что ограничения хорошо обобщаться на большие масштабы, потому что пока СИИ будут становиться всё умнее, они будут открывать много новых стратегий обхода этих ограничений.⁠⁠25 К примеру, СИИ, обученный подчиняться людям, со временем станет способен манипулировать людьми так, чтобы они давали инструкции, помогающие СИИ накапливать могущество. (Как аналогия, представьте взрослого, который может убедить ребёнка одобрить действия, которые очень вредны, но неочевидным способом, например, съедение отравленной еды.) Такой СИИ будет понимать, что люди не хотят, чтобы ими так манипулировали, и что «подчиняться людям не-манипулятивным способом» – возможное обобщение цели «подчиняться людям» – но почти все другие возможные обобщения не будут запрещать все виды манипуляции, особенно новые.⁠⁠26

  • Маловероятно, что позитивные цели хорошо обобщаться на большие масштабы, потому что без ограничения послушания людям у СИИ не будет причин позволять нам модифицировать их цели, чтобы исправить (то, что мы считаем) ошибки. Так что нам потребуется обучить их так, чтобы, когда они станут достаточно способными, чтобы предотвратить свою нами модификацию, они обобщали высокоуровневые позитивные цели на очень новые окружения без корректировок, что кажется очень сложным. Даже люди часто не сходятся во мнении о том, к каким высокоуровневым целям стремиться, и нам стоит ожидать, что СИИ будут обобщаться куда страннее, чем большинство людей.

2.3.3 Несогласованным СИИ будет доступен широкий диапазон стратегий стремления к могуществу

Если допустить, что у нас не будет особого везения с обобщением, как может выглядеть мир, в котором есть стремящиеся к могуществу СИИ? Эти СИИ могут нацеливаться на разные виды могущества, включая:

  • Технологическая мощь, которую они могут получать, совершая научные прорывы, разрабатывая новое оружие, проектируя более сложные алгоритмы машинного обучения, и т.д.

  • Политическая или культурная власть, которую они могут получить, распространяя дезинформацию, лоббируя политиков, координируясь с другими СИИ, и т.д.

  • Экономическое влияние, которое они могут получить, становясь ключевыми принимающими решение центрами корпораций, составляющих значительную часть экономики.

Наибольшее беспокойство у меня вызывает первая категория, потому что она играла критическую роль на протяжении человеческой истории. В частности, за последние несколько веков технологические инновации дали некоторым группам подавляющее превосходство над другими, и позволило не очень большому числу стран начать доминировать в мире. Так что весьма правдоподобно, что СИИ, которые смогут продвигать научный и технологический прогресс куда быстрее, чем могут люди, были бы способны угрожать продолжению существования человечества (аналогично тому, как солдаты с современным вооружением легко могли бы одолеть исторические цивилизации). Однако, даже без технологического дисбаланса столь же катастрофические исходы могут получится и если СИИ сначала наберут достаточную политическую или экономическую власть, чтобы мы не были способны скоординироваться, чтобы их ограничить (аналогично тому, как межнациональные корпорации могут взять под контроль правительство маленькой страны). Кристиано предоставил несколько иллюстративных сценариев (Paul Christiano (2019) What failure looks like, LessWrong, 17 марта; Paul Christiano (2021) Another (outer) alignment failure story, AI Alignment Forum, 7 апреля), в которых СИИ распространяются по обществу и сговариваются для постепенного перехвата контроля у людей.

У нас пока что есть только очень неуверенные предложения того, как избежать этих сценариев. Одна из возможностей заключается в том, что даже если для нас тяжело понять, что СИИ делают, c использованием достижений механистической интерпретируемости мы можем быть способны понять, почему они это делают – либо инспектировать мышление СИИ самостоятельно, либо обучить другие СИИ делать это для нас (Chris Olah (2022) Mechanistic interpretability, variables, and the importance of interpretable bases, Transformer Circuits Thread, 27 июня).⁠⁠27. Альтернативный вариант – если бы мы смогли достаточно реалистично симулировать траектории развёртывания, у нас могло бы получиться обучить СИИ избегать сговора перед развёртыванием. Однако, создание симуляций, которые СИИ не могут отличить от реального мира, скорее всего потребовало бы куда более способных, чем сами СИИ, генеративных моделей. Третья возможность – использование ранних СИИ для исполнения тех исследований согласования, которые будут необходимы для того, чтобы согласовать более поздние СИИ (Jan Leike (2022) A minimal viable product for alignment, Musings on the Alignment Problem, 29 марта). Однако, мы далеки от обладания устойчивыми версиями этих предложений, особенно если индуктивные склонности, которые я обрисовал выше, очень сильны – вероятность, которую мы не можем исключить, и к которой нам следует быть готовыми.

3. Направления исследований, обращающиеся к этим проблемам

Выше я упомянул пару многообещающих направлений исследований, но для того, чтобы закончить этот доклад, я подробнее проговорю, что мне бы хотелось, чтобы прорабатывало больше исследователей машинного обучения:

  1. Что касается проблемы, описанной в фазе 1, нам следует автоматизировать человеческий надсмотр, чтобы мы могли надёжнее идентифицировать неправильное поведение на задачах, за которыми могут присматривать люди. Некоторые подходы: масштабирование обучения с подкреплением от человеческой обратной связи (как в Long Ouyang и др. (2022) Training language models to follow instructions with human feedback, в S. Koyejo и др. (ред.), Advances in Neural Information Processing Systems, т. 35, Curran Associates, Inc., сс. 27730–27744), обучение ИИ оценке друг друга (как в William Saunders и др. (2022) Self-critiquing models for assisting human evaluators, arXiv), и состязательное обучение ИИ (как в Ethan Perez и др. (2022) Red teaming language models with language models, arXiv).

  2. Что касается проблем, описанных в фазе 2, нам следует спроектировать или улучшить техники масштабирования человеческого надзора на задачи, за которыми люди без поддержки напрямую присматривать неспособны, вроде протоколов в Paul Christiano, Buck Shlegeris и Dario Amodei (2018) Supervising strong learners by amplifying weak experts, arXiv, Geoffrey Irving, Paul Christiano и Dario Amodei (2018) AI safety via debate, arXiv и Jeff Wu и др. (2021) Recursively summarizing books with human feedback, arXiv. В дополнение к обнаружению способов масштабирования этих протоколов на практике, потребуется также найти решения трудностей вроде проблемы сбивающих с толку аргументов (Beth Barnes (2020) Debate update: Obfuscated arguments problem, AI Alignment Forum, 23 декабря) — к примеру, создав новые дополнения к протоколам, вроде перекрёстного осмотра (Beth Barnes и Paul Christiano (2020) Writeup: Progress on AI safety via debate, AI Alignment Forum, 5 февраля).

  3. Что касается проблем, описанных в фазе 3, нам следует стремиться к разработке техник интерпретируемости, которые будут достаточно устойчивы и масштабируемы, чтобы их можно было использовать для понимания и модификации высокоуровневого мышления СИИ. Один из подходов к этому можно увидеть в Chris Olah и др. (2020) Zoom in: an introduction to circuits, Distill, т. 5, с. 10.23915/distill.00024.001 и последующих работах по схемах трансформеров. Такая работа могла бы быть использована, чтобы расширить протокол Дебатов (Geoffrey Irving, Paul Christiano и Dario Amodei (2018) AI safety via debate, arXiv) до того, чтобы их участники могли приводить аргументы о внутреннем мышлении друг друга (основанные на проверяемых утверждениях о весах и активациях). Другой подход – разработка техник в духе Kevin Meng и др. (2022) Locating and editing factual associations in GPT, в S. Koyejo и др. (ред.), Advances in Neural Information Processing Systems, т. 35, Curran Associates, Inc., сс. 17359–17372, которые можно было бы использовать для того, чтобы напрямую модифицировать веса и активации, ответственные за ситуационную осведомлённость модели – например, модификация, которая внушила бы модели ложное убеждение, что она может неправильно себя повести, не будучи пойманной. Другой подход к тому, как продвигаться к решению проблем третьей фазы, обрисован в Abram Demski и Scott Garrabrant (2018) Embedded agents, Machine Intelligence Research Institute, 29 октября, там цель – создать лучшую математическую базу для описания ИИ, встроенных в окружения реального мира.

Чтобы более подробно узнать о любом из этих направлений, см. Richard Ngo (2022) AGI safety fundamentals alignment curriculum, Google Docs — в частности, недели 4, 5 и 6, приблизительно соответствующие трём описанным выше группам исследований. Сравнительная важность этих групп сильно зависит от сравнительной сложности описанных проблем и от того, сколько у нас есть времени до создания СИИ. Однако, говоря приближённо, я ожидаю, что проблемы более ранних фаз вероятнее будут решены по умолчанию по ходу прогресса области машинного обучения; так что для максимального улучшения наших шансов на удачные последствия СИИ, нам следует приоритезировать проблемы, возникающие в более поздних фазах, и пытаться найти решения, устойчивые при пессимистичных допущениях об индуктивных склонностях. Самые ценные исследования этого вида скорее всего потребуют подробных рассуждений о том, как предложенные техники согласования будут масштабироваться до СИИ, а не просто в основном попыток решения ранних версий этих проблем, появляющихся в существующих системах.

Так как влияние ИИ на мир всё растёт, государственные вмешательства (вроде регуляций и соглашений) скорее всего попробуют заблокировать наиболее очевидные пути, которыми ИИ могут причинять катастрофы. Однако, это столкнётся с двумя ключевыми сложностями. Во-первых, уровень необходимой координации – в частности, сложность убеждения всех относящихся к делу лабораторий во всех странах подчиниться осмысленным ограничениям на разработку ИИ, а не гнаться друг с другом.⁠⁠28 Во-вторых, необходимая скорость реакции: очень мало государств способны достаточно быстро адаптироваться к эскалирующему кризису, мы видели стоящий огромных жертв пример во время пандемии коронавируса. Насколько я знаю, правдоподобных с учётом этих ограничений предложений государственных вмешательств для предотвращения развёртывания несогласованных СИИ не существует. Это оставляет область регуляции ИИ в состоянии значительной стратегической неуверенности; новые подходы были бы очень полезны. (Чтобы больше узнать об этой области, см. Mauricio Baker (2022) AI governance curriculum, Effective Altruism Cambridge.)

Наконец: в этом докладе я высказал много сильных утверждений; я ожидаю, что мало кто из моих читателей согласится с всеми из них. Если некоторые из ключевых заявлений кажутся вам неправдоподобными, я поощряю дискуссию и критику.⁠⁠29 Рассуждать на эти темы сложно, но ставки столь высоки, что нельзя оправдать игнорирование или откладывание этой работы.


Оригинальная публикация: Richard Ngo (2022) The alignment problem from a deep learning perspective, arXiv, 30 августа.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29