Введение в контроль ИИ
Контроль ИИ — это направление исследований с целью не давать несогласованным ИИ-системам причинять вред. Оно отличается от согласования ИИ, цель которого — обеспечить, чтобы системы действовали в лучших интересах своих пользователей. Проще говоря, согласованные ИИ не хотят причинять людям вред, а контролируемые ИИ не могут, даже если хотят.
Почему контроль над ИИ может быть полезен?
Исследования в области контроля могут быть полезны для безопасности ИИ по нескольким причинам.
Контроль над ИИ может оказаться проще согласования
Некоторые считают, что контроль над ИИ, по крайней мере в краткосрочной перспективе, может оказаться проще, чем согласование ИИ. Одна из основных проблем при согласовании ИИ-систем — возможность обмана. Может казаться, что во время обучения и оценки модели действуют в наших интересах, но на самом деле у них могут быть скрытые мотивы. Поскольку мы не понимаем большую часть происходящего внутри нейронных сетей, обман может быть трудно обнаружить. Поэтому мы можем развернуть модели, которые на самом деле замышляют что-то против нас.
Но если наша цель — лишь контролировать модель, а не согласовывать её, нам не нужно знать, хочет ли модель причинить нам вред, только может ли она это сделать. Есть основания полагать, что оценивать способности проще, чем намерения. Некоторые исследователи работают над «оценками контроля», которые позволяют определить, сможет ли замышляющая против нас модель обойти меры её сдерживания.
Ещё о контроле ИИ может быть проще рассуждать, чем о согласовании, поскольку здесь есть очень близкая аналогия — попытки не давать сотрудникам-людям саботировать компанию. ИИ становятся для ИИ-компаний не только продуктом, но и всё чаще — источником рабочей силы. Модели уже генерируют значительную долю внутреннего кода, а в будущем, вероятно, начнут сами совершенствовать свои способности.
Технологические компании уже применяют широкий набор внутренних мер безопасности, вроде мониторинга, контроля доступа и изолированного хранения информации. Некоторые из них похожи на меры, предлагающиеся для контроля ИИ-систем.
Мы могли бы использовать контролируемые модели для помощи с безопасностью
Надёжно согласовать ИИ, чьи способности выше человеческих, — очень сложная задача, и хороших решений у нас пока нет. Распространённое предложение — автоматизировать исследования согласования. Если у нас получится контролировать ИИ умнее людей, мы сможем применить его способности, чтобы продвинуться в безопасности, не беспокоясь, что эти модели сами спровоцируют катастрофу.
Есть и другие связанные с безопасностью задачи, где контролируемые ИИ могли бы нам помочь, например, повысить безопасность лабораторий или найти способы проверять, соблюдаются ли будущие соглашения о разработке ИИ.
Мы могли бы использовать контролируемые модели для демонстрации риска
Хотя многие обеспокоены рисками мощного ИИ, до сих пор было трудно выстроить вокруг них достаточный для решительного политического ответа консенсус, потому что эти риски пока не проявились в реальном мире. Если у нас будет доступ к опасным (но контролируемым) моделям, мы, возможно, сможем наблюдать попытки захвата власти или выхода из-под контроля, которые станут убедительным доказательством опасности. Это могло бы подтолкнуть к более строгому регулированию разработки ИИ или даже к международной координации усилий по снижению рисков.
Как мы могли бы контролировать ИИ?
«Контроль над ИИ» — зонтичный термин, объединяющий довольно широкий спектр возможных мер. Вот несколько примеров:
Поручить более слабой (доверенной) модели следить за сильной (недоверенной)
По мере того как ИИ становятся мощнее, лаборатории получат доступ к «доверенным» моделям (про которые мы уверены, что они не замышляют ничего против нас, вроде GPT-4) и к «недоверенным» (мощные и потенциально опасные модели, которые мы можем хотеть контролировать).
Представим, что мы используем недоверенную модель для генерации кода. В идеале нам хотелось бы, чтобы человек провёл аудит всего этого кода и убедился, что модель, например, не пыталась встроить бэкдор. Но это было бы трудоёмко и дорого. Вместо этого мы можем поручить доверенной модели автоматически следить за недоверенной и помечать наиболее подозрительные выводы для проверки человеком. Ещё можно, чтобы доверенная модель находила подозрительный код и правила его, удаляя возможные бэкдоры (это называется «доверенным редактированием»).
В исследовании Redwood Research, некоммерческой организации, которая занимается безопасностью ИИ, тестировалась эффективность разных мер контроля: доверенный мониторинг предотвратил отправку кода с бэкдорами в 62% тестовых испытаний, а доверенное редактирование — в 92%.
Важно отметить, что в исследовании Redwood в качестве доверенной и недоверенной моделей использовались GPT 3.5 и 4 соответственно. Эти модели гораздо менее мощные, чем те, которые нам, возможно, придётся контролировать в будущем. Не факт, что результаты из исследования соответствуют тому, чего стоит ожидать при реальном применении доверенного мониторинга.
Поручать недоверенным моделям контролировать друг друга
У доверенного мониторинга есть очевидная проблема: недоверенная модель умнее и может обмануть доверенную. Чтобы обойти эту проблему, можно использовать два экземпляра недоверенной модели для взаимного контроля. Но тогда возникает опасение, что модели могут вступить в сговор. Например, первая может спрятать в своём коде секретное сообщение, инструктирующее вторую выдать ложноотрицательный результат. Есть способы снизить такой риск — например, показывать присматривающей модели «упрощённую» версию условия задачи, где часть информации удалена.
В Redwood обнаружили, что мониторинг недоверенными моделями предотвращал внедрение бэкдоров в 79 % тестовых прогонов.
Требовать одобрения важных решений человеком
В любой компании чем важнее принятое кем-то решение, тем на более высоком уровне оно должно быть одобрено. ИИ-компании могли бы аналогичным образом ограничивать полномочия, предоставляемые ИИ-системам.
Разумеется, многие действия в ИИ-компаниях и так требуют одобрения человеком. В этом смысле они уже применяют какой-то «контроль». Но есть опасения, что по мере набора оборотов гонкой разработки мощного ИИ и того, что модели будут всё полезнее для ускорения исследований, у компаний появится соблазн предоставлять ИИ больше полномочий. Исследования контроля могут искать методы ограничения полномочий моделей без ущерба для их полезности.
Разбиение задач на более мелкие части
Предположим, лаборатория хочет, чтобы недоверенная модель выполнила многоэтапную задачу с высокими рисками. Есть опасения, что модель может саботировать её так, что это будет трудно обнаружить или предотвратить.
Возможным решением было бы разбить задачу на ряд этапов и делегировать каждый из них отдельному экземпляру недоверенной модели. Затем доверенная модель могла бы составить из их решений единый план.
Это лишь часть мер, которые компании могли бы применять для контроля над потенциально опасными ИИ-системами. Их гораздо больше. Но лишь немногие из них прошли эмпирическую проверку, и мы не знаем, насколько эффективными они окажутся для гораздо более мощных моделей, чем современные.
Ограничения контроля над ИИ
К сожалению, контроль над ИИ — далеко не полное решение проблемы рисков ИИ. Вот несколько причин:
Даже если одна компания внедрит меры контроля, другие могут этого не сделать
Контроль над ИИ сталкивается с той же проблемой, что и все предложенные подходы, как сделать ИИ безопаснее: он не даёт заметного снижения рисков, если его не внедрят все передовые компании. Одна из них может создать потенциально опасную модель и внедрить достаточные меры контроля, чтобы не давать ей причинять вред, но это не помешает другой компании создать столь же мощную модель, которая не будет контролироваться.
Сейчас есть надежды на то, чтобы убедить ИИ-компании добровольно внедрить меры контроля. Но они дорого обходятся и могут замедлить прогресс. Чтобы меры контроля были эффективны, могут потребоваться регуляции, обязывающии их применять.
Контроль — временное решение
Меры контроля предназначены для смягчения угроз со стороны моделей, которые достаточно мощные, чтобы быть трансформативно полезными, но не суперинтеллектуальные. Не стоит рассчитывать, что они будут применимы к суперинтеллектуальным системам, которые, почти по определению, не будут поддаваться контролю. Например, многие меры контроля (вроде доверенного мониторинга) используют другие ИИ, чтобы следить за контролируемыми моделями и помечать подозрительную активность, чтобы люди её проверили. Но выводы суперинтеллектуальных моделей могут быть слишком сложны для оценки людьми.
Redwood Research, пионеры подхода контроля, признают это. Они считают, что, если мы не замедлим развитие, между появлением трансформативно полезного ИИ и появлением суперинтеллектуального ИИ может пройти всего 6 месяцев.
В этот короткий период меры контроля могут не давать несогласованным ИИ причинять вред. Чтобы программа контроля принесла плоды, нам нужно за это время разработать методы технической безопасности или регуляции, способные долгосрочно обеспечить нашу безопасность.
Это два общих ограничения контроля ИИ как направления. Разумеется, есть много возможных сценариев, при которых отдельные меры могут оказаться недостаточными. Например, мы можем не суметь предотвратить сговор недоверенных моделей, или модель может саботировать оценки контроля, притворяясь менее способной, чем на самом деле («sandbagging» — хорошо задокументированное явление). Чтобы эмпирически проверить, насколько хорошо предлагаемые меры контроля работают на практике, нужны дополнительные исследования.
Очень мощный ИИ может появиться уже скоро — и мы пока не знаем, как обеспечить его безопасность. Контроль над ИИ — это один из подходов, который может стать частью решения этой головоломки, но впереди у нас ещё долгий путь.
Если вас интересуют потенциальные опасности ИИ и что по их поводу можно делать, наш курс «Будущее ИИ» — идеальная отправная точка. Всего за 2 часа он познакомит вас с недавней историей ИИ и с тем, куда ИИ может развиваться дальше; никаких предварительных знаний не требуется.