Карьерные советы по безопасности СИИ

автор: Richard Ngo
Безопасность ИИВыбор карьерыИнтерпретируемость ИИСогласование ИИТрансформативный искусственный интеллектУправление ИИ
 

Люди часто обращаются ко мне за рекомендациями по карьере, связанной с безопасностью СИИ. В этом посте я обобщил рекомендации, которые даю чаще всего. Я разделил его на три части: общее мировоззрение, исследования согласования и работа над регуляцией. Для каждого из двух последних разделов я начинаю с общих рекомендаций, предназначенных в первую очередь для студентов и тех, кто находится в начале карьерного пути, а затем углубляюсь в детали направления.

Общее мировоззрение

Чтобы оказать крупное влияние на мир, вам нужно найти крупный рычаг воздействия. В этом документе предполагается, что вы, как и я, считаете безопасность СИИ самым большим таким рычагом. Но способов его задействовать много — от исследований и инженерии до операционной деятельности, развития движения, политики и коммуникаций. Я рекомендую выбирать между ними, ориентируясь в первую очередь на личную пригодность — сочетание того, в чём вы действительно хороши, и того, что вам по-настоящему нравится. На мой взгляд, для большинства пар связанных с безопасностью СИИ работ, разница между отличной и посредственной пригодностью конкретного человека перевешивает все остальные различия их значимости.

Как определить свою личную пригодность? Для начала стоит сосредоточиться на поиске работы, где есть быстрые петли обратной связи. Обычно это предполагает практическую работу или участие в каком-то конкретном проекте (а не просто чтение и изучение) и наблюдение, насколько быстро вы сможете добиться прогресса. В итоге, накопив достаточно опыта, вы, возможно, почувствуете недоумение или разочарование: почему все остальные упускают суть или так плохо с этим справляются? (Хотя стоит отметить, что несколько ведущих исследователей в комментариях к черновику указали, что у них такого не было.) Для некоторых это связано с изучением конкретной темы (для меня — вопрос «каков лучший аргумент в пользу того, что СИИ будет несогласованным?»); для других — с применением качеств вроде добросовестности (типа «почему другие не могут просто пройти все очевидные шаги?»). Быть выдающимся редко так ощущается, ведь ваши собственные способности задают базовый уровень того, что ощущается нормальным.

А что, если вы такое чувствуете в отношении того, чем вам не нравится заниматься? Полагаю, что такое бывает довольно редко, потому что быть в чём-то хорошим часто само по себе доставляет удовольствие. Но в подобных случаях я бы посоветовал продолжать попытки, пока вы не заметите, что даже череда успехов не вызывает у вас энтузиазма по поводу того, чем вы занимаетесь; и в этот момент, вероятно, стоит попробовать сменить направление (хотя это сильно зависит от конкретных обстоятельств).

И наконец: безопасность СИИ — молодая и небольшая область; здесь нужно многое сделать, а людей, которые могли бы это сделать, пока очень мало. Я призываю вас проявлять инициативу в воплощении идей в жизнь: в большинстве случаев ответ на вопросы «почему эта, казалось бы, хорошая идея не реализуется?» или «почему мы не справляемся с этой конкретной задачей в 10 раз лучше?» звучит так: «потому что до этого ни у кого ещё не дошли руки». И самые важные качества для решения проблемы, как правило — это способность её заметить и готовность попытаться. Случай из жизни, который поможет наглядно проиллюстрировать эту мысль: моя подруга сменила четыре должности в четырёх ведущих организациях, занимающихся исследованиями согласования; ни одна из этих должностей не существовала до того, как она обратилась в соответствующие группы с предложением нанять специалиста с её набором навыков. И это лишь то, что возможно в рамках существующих организаций — если вы запускаете собственный проект, у вас появляется гораздо больше возможностей делать совершенно новые вещи. (Главное исключение — это работа с общественностью и политическое продвижение. Согласование — необычная область, поскольку база поклонников и сторонников здесь намного превосходит число исследователей, так что нам лучше быть осторожными, чтобы дискурс о согласовании не оказался под контролем активистов, которые плохо знакомы с техническими деталями и производят впечатление чрезмерно самоуверенных.)

Исследования согласования

Я начну с нескольких общих рекомендаций, а затем кратко изложу своё видение этой области.

  1. Согласование ИИ ограничено нехваткой наставников. Если у вас мало опыта научной работы, вашим главным приоритетом должен стать поиск лучшего из возможных наставников, который поможет вам приобрести исследовательские навыки — например, во время работы в лаборатории профессора или стажировки в ИИ-лабораториях. Большинство лучших исследователей и наставников (пока) не работают над согласованием ИИ, поэтому лучшие варианты наставничества могут быть за пределами этой области. Но обучение на PhD длится долго, а сроки развития ИИ довольно сжатые, поэтому вам следует убедиться, что ваш наставник будет рад руководить исследованиями, имеющими отношение к согласованию ИИ. Иногда люди начинают выдавать отличные результаты и без наставников; если вас это вдохновляет, смело пробуйте, но сосредоточьтесь на тех видах исследований, где у вас будут быстрые петли обратной связи.

  2. Вам понадобится практический опыт. Лучшие исследования в областях ML и согласования активно используют нейросети (есть всего несколько исключений). Даже если вы больше склонны к теории, вам лучше запланировать регулярно работать с моделями и освоить соответствующие навыки программирования. В частности, я вижу много начинающих исследователей, которые хотят заниматься «концептуальными исследованиями». Но вам лучше исходить из того, что такие исследования бесполезны, пока они не выльются в написание кода или доказательство теорем, и что вам придётся реализовывать это на практике самостоятельно (главное исключение — моделирование угроз, хотя даже тут я считаю большую его часть недостаточно конкретной, чтобы быть полезной). Возможно, став старшим исследователем и обретя интуицию благодаря практическому опыту, вы сможете сделать шаг назад и думать о потенциальных решениях в основном на высоком уровне, но это не может быть вашим планом в роли начинающего исследователя — это предсказуемо уведёт вас от полезной работы.

  3. Вы можете начать быстро. Люди, приходящие из областей вроде физики и математики, часто не осознают, что глубокое обучение — куда более мелкая дисциплина, и потому думают, что сначала им нужно потратить много времени на понимание теоретических основ. Это не так — чтобы приступить к исследованиям в области глубокого обучения хватит математики за первый курс бакалавриата, и осваивать недостающее можно по ходу дела. (Впрочем, навыки программирования — гораздо более важное предварительное условие.) Ещё вы можете попутно освоить многие концептуальные основы согласования, особенно на инженерных должностях. И хотя я рекомендую всем исследователям в области согласования со временем ознакомиться с идеями, охваченными в учебной программе «Основы согласования ИИ», повышение квалификации в эмпирических исследованиях должно быть более высоким приоритетом для большинства решивших строить карьеру в сфере исследований согласования людей, которые пока не исследователи в области ML.

    Некоторые рекомендуемые способы повышения квалификации в эмпирических исследованиях (примерно в порядке важности):

    1. MLAB
    2. ARENA
    3. Учебная программа Джейкоба Хилтона по глубокому обучению
    4. Руководство Нила Нанды по началу работы с механистической интерпретируемостью
    5. Воспроизведение научных статей

Каждое из этих занятий помогает освоить важные навыки для проведения качественных исследований: как реализовывать алгоритмы, отлаживать код и эксперименты, интерпретировать результаты и т. д. Как только вы реализуете алгоритм или воспроизведёте статью, вы можете попытаться расширить полученные результаты, как-нибудь усовершенствовав применяемые методы.

  1. Большинство исследований не увенчается успехом. Это верно как на уровне отдельных проектов, так и на уровне целых направлений исследований. Исследования — штука с тяжёлым хвостом. Вам следует тщательно искать ключевые интуитивные соображения, почему то или иное направление увенчается успехом, ведь их отсутствие может скрываться за математикой или сложными алгоритмами. (Можете считать это за разновидность концептуальных исследований, предназначенных скорее для направления вашей собственной эмпирической или теоретической работы, а не для получения самостоятельного результата.) В следующем разделе я изложу некоторые свои взгляды на то, какие направления исследований перспективны, а какие — нет.

Направления исследований согласования

С моей точки зрения, наиболее перспективные исследования согласования делятся на три основные категории. Ниже я описываю их и ещё три второстепенные категории, которые считаю ценными. Отмечу: я ожидаю, что со временем, по мере продвижения исследований и автоматизации всё большего числа задач, границы между всеми ними будут размываться.

1. Масштабируемый надзор

Поиск способов задействовать более мощные модели для получения лучших сигналов вознаграждения. Исследования масштабируемого надзора могут дать особенно мощный рычаг воздействия, если в итоге они получат широкое распространение, например, в качестве инструмента для предотвращения галлюцинаций (подобно тому, как результаты работы команд по согласованию над RLHF сейчас получили широкое применение).

  • Теоретическая статья, которую я рекомендую чаще всего — статья Ирвинга и др. о дебатах.
  • Эмпирическая статья, которую я рекомендую чаще всего — статья Сондерса и др. о критике. Её можно рассматривать как простейший случай алгоритма дебатов. Статья Боумана и др. (2022) тоже полезна с методологической точки зрения.
  • Два других хорошо известных алгоритма в этой области — итеративное усиление и рекурсивное моделирование вознаграждения. Я считаю, что люди часто переоценивают различия этих алгоритмов, а их стандартные описания затемняют структурное сходство. Лично мне проще всего рассуждать о дебатах (и, похоже, другие со мной согласны, поскольку на их основе написано больше работ, чем на основе остальных методов), поэтому я чаще всего рекомендую людям работать именно с ними.
  • Не приведёт ли масштабируемый надзор лишь к дальнейшему развитию способностей? Это важный вопрос; я рассматриваю его, в частности, через призму разрыва между генератором, дискриминатором и критиком из статьи Сондерса и др. о критике. В частности, хотя я ожидаю, что устранение разрыва между генератором и дискриминатором — это прогресс двойного назначения (и он может быть как полезным, так и вредным в зависимости от ваших других взглядов), устранение разрыва между дискриминатором и критиком путём создания правильных, понятных человеку объяснений определённо следует рассматривать как прогресс в области согласования.

2. Механистическая интерпретируемость

Поиск способов понять, как сети функционируют изнутри. Хотя это пока лишь небольшая подобласть ML, я рассматриваю её как способ сдвинуть всё машинное обучение от «бихевиористского» подхода, сосредоточенного исключительно на входных данных и выводах, к «когнитивистскому», изучающему, что происходит внутри нейросетей. А ещё с интерпретируемостью гораздо проще работать за пределами больших лабораторий, чем с масштабируемым надзором. Для начала ознакомьтесь со статьёй Нанды 200 конкретных открытых задач механистической интерпретируемости.

Три ветви механистической интерпретируемости:

  1. Тематические исследования: поиск внутри сетей алгоритмов, реализующих конкретные способности. Мои любимые работы в этой области: Олссон и др. (2022), Нанда и др. (2023), Ванг и др. (2022) и Ли и др. (2022). Мне не терпится увидеть новые работы, особенно основанные на последней из них и посвящённые поиску в сетях моделей мира и внутренне представленных целей.

  2. Решение проблемы суперпозиции: поиск способов обучать сети так, чтобы в отдельных нейронах было меньше пересекающихся концепций. Ключевой источник информации: работа Элхаджа (2022) (и другие работы из «Transformer Circuits»).

  3. Масштабируемая интерпретируемость: поиск алгоритмов автоматического обнаружения или модификации внутренних представлений. Мои любимые статьи: Менг и др. (2022) и Бёрнс и др. (2023) (хотя некоторые считают, что вторая ближе к масштабируемому надзору).

3. Теория согласования

Поиск формальных структур, которые мы могли бы использовать для рассуждений о продвинутом ИИ. Хочу отметить, что успех в этом направлении исследований в ещё большей степени «тяжелохвостый», чем в других описанных направлениях. Похоже, здесь требуются исключительные математические навыки, глубокое понимание теории ML и тонкая философская интуиция. Я не питаю особого оптимизма, что какое-либо из перечисленных здесь направлений увенчается успехом, но они пытаются решить настолько фундаментальные проблемы, что даже частичный успех мог бы иметь огромное значение.

  • Меня больше всего вдохновляет работа Кристиано по формализации эвристических аргументов, программа Косой в области теории обучения (в частности, инфра-байесианство), а ещё работы Скотта Гаррабранта (например, геометрическая рациональность, конечные факторизованные множества и декартовы фреймы).
  • Исторически большую часть работ этой категории делали в MIRI (например, работы по функциональной теории принятия решений и индукции Гаррабранта). Но в последнее время их продуктивность значительно упала; так что я в основном рассматриваю их как группу из нескольких исследователей, занятых интересными им лично направлениями, а не единую исследовательскую программу.
  • Почему я считаю, что теория согласования заслуживает внимания? Во многом потому, что научные знания, как правило, очень тесно взаимосвязаны. Теория согласования часто кажется оторванной от современного ML — но и движения звёзд когда-то казались совсем не связанными с тем, что на Земле. И кто бы мог предположить, что изучение вариаций в строении клювов зябликов продвинет наше понимание… ну, по сути, всего в биологии? Во многих областях есть ключевые принципы, объясняющие огромный спектр явлений, и главная трудность — найти подход, дающий надежду на решение. Вот почему постановка правильных вопросов часто важнее, чем получение конкретных результатов. Например, вопрос «какова оптимальная стратегия в этой конкретной формализации игры с двумя игроками?» — значительная часть работы по созданию теории игр.

Три другие области исследований, которые кажутся важными, но не столь центральными

1. Оценки

Поиск способов измерить, насколько опасны и/или несогласованны модели.

  • Пока что на эту тему опубликовано мало; в первую очередь стоит обратить внимание на оценки ARC (их ещё обсуждают в разделе 2.9 системной карточки GPT-4). В целом кажется, что оценки согласования очень сложны, поэтому большинство сосредотачивается на оценках опасных способностей.
  • Я думаю, что успех оценок будет зависеть от того, насколько они просты и масштабируемы. Лучшие оценки должны легко реализовываться даже людьми без опыта в области согласования и осмысленно отслеживать улучшения на всём пути от современных систем до суперинтеллекта. Вкратце, это потому, что главная их цель — способствовать принятию решений и координации, а обе эти задачи значительно выигрывают от понятных и предсказуемых метрик.

2. Неограниченное состязательное обучение

Поиск способов генерации входных данных, на которых несогласованные системы будут плохо себя вести.

  • Кажется, есть мощные принципиальные свидетельства, что это будет сложно: как правило, сгенерировать поддельные данные, обманывающие одну модель, можно только с помощью гораздо более мощной модели. Однако, возможно, неограниченные состязательные примеры удастся найти с помощью механистической интерпретируемости, как это рассматривается в этом посте Кристиано.
  • Эмпирическая статья, которую я рекомендую чаще всего, — Зиглер и др. (2022) (см. также другие статьи, на которые они ссылаются).

3. Моделирование угроз

Понимание и прогнозирование, как СИИ может привести к катастрофическим последствиям.

  • Чаще всего я рекомендую людям свою недавнюю статью (Нго и др., 2022). Среди других хороших работ — доклады Джо Карлсмита и Аджеи Котры. (Коген и др. (2022) изложили рецензированные аргументы в пользу экзистенциального риска СИИ, но эта работа слишком сосредоточена на внешнем согласовании, чтобы я мог её поддержать.) Одно из перспективных направлений исследований в области моделирования угроз — изучение взлома градиента (и ещё более общее понимание кооперации между разными моделями). Другое — изучение конкретных вероятных способов развёртывания СИИ в реальном мире, и того, какие уязвимости они смогут эксплуатировать.

Переоцененные направления исследований

Для сравнения, вот несколько направлений исследований, которые, на мой взгляд, переоцениваются многими новичками в этой области, и критика в их адрес:

  1. Кооперативное обратное обучение с подкреплением (направление, которое Стюарт Рассел отстаивает в своей книге Human compatible); критика здесь и здесь.
  2. Работа Джона Уэнтворта о естественных абстракциях; изложение и критика здесь и ещё одна здесь.
  3. Работы, предполагающие, что агенты действуют миопично, в том числе прогнозируя только на следующий временной шаг (например, работы по абстракции симуляторов или по обусловливанию прогнозных моделей); критика здесь.

Работа в сфере регуляции

Я мысленно делю это на три категории: исследования регуляции, регуляции внутри лабораторий и политическая работа. Несколько ключевых соображений по каждой:

1. Исследования регуляции

  • Главный совет, который я даю людям, желающим войти в эту сферу: выберите одну актуальную тему и постарайтесь стать в ней специалистом. Есть около двух десятков тем, про каждую из которых мне бы хотелось, чтобы был специалист мирового уровня по её применению к обеспечению благополучного исхода создания СИИ, но такого человека нет. Ниже я привёл список этих тем. Чтобы их изучить, настоятельно рекомендую не только читать и усваивать идеи, но и писать о них. Вполне вероятно, что, начав без какого-либо опыта в этой области, вы сможете уже через шесть месяцев написать пост или статью, которая продвинет границу наших знаний о том, как одна из этих тем связана с регуляцией СИИ.

  • Вам не обязательно придерживаться своего выбора в долгосрочной перспективе; я в основном утверждаю, что важно иметь хоть какую-то конкретную тему для исследования. Занимаясь ею, вы постепенно перейдёте и к другим, косвенно связанным темам и приобретёте более широкие знания в этой области (курс «Основы регуляции» — один из хороших способов это сделать). В итоге вы сможете заниматься «стратегическими исследованиями», применимыми куда масштабнее. Но пытаться делать это с самого начала — плохой план: всё пройдёт гораздо лучше, если у вас будет база детальной компетентности, на которую можно опереться.

  • В целом я считаю, что люди переоценивают «анализ» и недооценивают «предложения». Есть много высокоуровневых факторов, которые повлияют на регулирование СИИ, и мы могли бы потратить остаток жизни на попытки их проанализировать. Но в конечном счёте нам нужны конкретные механизмы, которые действительно приведут к реальным изменениям, а их сейчас очень не хватает. Конечно, анализ необходим, чтобы понять, какие факторы повлияют на успех предложений, но всегда следует помнить о цели — довести дело до чего-то практически полезного.

  • В связи с этим я лично не считаю особенно ценным количественное моделирование. Я до сих пор не видел ни одной такой модели для ответов на глобальные вопросы (например, прогнозы по вычислительным мощностям, скорость взлёта, сроки создания), выводы которой значительно повлияли бы на моё представление, какие предложения по регулированию лучшие. Если такая модель окажется действительно успешной, она может изменить степень моей убеждённости в том или ином утверждении, скажем, с 25% до 75%. Но это разница всего в три раза, а один план регулирования может оказаться эффективнее другого на порядок или два. И в целом модели редко влияют на меня настолько сильно, ведь даже парочка свободных параметров позволяет людям существенно подгонять результаты под свои интуитивные ожидания; я обычно предпочту получить краткое резюме ключевых идей, к которым в ходе моделирования пришёл сам исследователь. Поэтому расставляйте приоритеты так: сначала планы, затем — идеи, и в последнюю очередь — модели.

  • Не ограничивайте себя слишком сильно политической осуществимостью, особенно при формулировании ранних версий плана. Практически ни у кого в мире нет одновременно хорошей интуиции и о том, как на самом деле работает политика, и о том, насколько безумным будет прогресс на пути к СИИ. В будущем откроются самые разные возможности — нам просто нужно к моменту, когда это произойдёт иметь наготове конкретные предложения. Однако, когда ситуация начнёт меняться гораздо быстрее, глубокое понимание фундаментальных факторов, определяющих сегодняшние политические решения, поможет лучше ориентироваться.

2. Регуляции внутри ИИ-лабораторий

  • Ведущие лаборатории часто готовы реализовывать предложения, которые не вступают в серьёзный конфликт с их основной работой над способностями. Обычно узкое место — инициатива и труд, нужные для фактической реализации предложения. Поэтому вмешательства в духе «скажите лабораториям, чтобы они уделяли больше внимания безопасности», как правило, работают так себе, а вот что-то вроде «вот конкретная задача, вот конкретные шаги, которые нужно предпринять, вот человек, согласившийся возглавить эту работу» — куда лучше. Этот пост особенно хорошо передаёт эту идею.

  • Людям со стороны сложно знать достаточно деталей о происходящем внутри лабораторий, чтобы вносить конкретные предложения. Но, полагаю, есть несколько важных случаев, когда это возможно. Вероятно, это очень похоже на путь, который я описал в разделе про исследования регуляции: сначала стать специалистом по конкретной теме, а потом генерировать конкретные предложения.

  • Есть особый навык доведения дел до конца внутри крупных организаций, которого не хватает большинству эффективных альтруистов (из-за отсутствия корпоративного опыта и недостаточной ориентированности на людей), но который особенно полезен при продвижении таких идей. Если вы им обладаете, работа над регуляциями внутри лабораторий может хорошо вам подойти.

3. Политическая работа

  • Под этим я подразумеваю переход на связанные с правительством должности, с которых вы сможете помогать организации качественного государственного регулирования. Мне нечего особо здесь добавить, так как это не моя область компетентности. Вероятно, вам стоит прислушаться к довольно общим рекомендациям (например, советам, отсюда) о том, как построить успешную карьеру в этой сфере, а затем подумать, как продвигаться быстрее, исходя из того, что люди будут всё больше беспокоиться из-за ИИ. Краткосрочные магистерские программы и политические стипендиальные программы — это быстрые способы продвинуться к политическим должностям среднего звена; получение даже небольшого уровня проверяемой компетентности в области ИИ (например, любой степени или работы, связанной с информатикой или ИИ) тоже полезно.

Список тем в области регуляции

Вот несколько тем, где мне хотелось бы видеть специалиста мирового уровня по их применению к безопасности СИИ. Пример, как могла бы выглядеть выдающаяся работа по одной из этих тем: статья Бейкера об уроках контроля над ядерным оружием (не будь этой статьи, её тема была бы в списке).

Одну группу тем можно примерно описать как «всё, что упоминается в статье Йонадава Шавита о регулировании вычислительных мощностей», в частности:

  1. Логирование на GPU с защитой от незаметной модификации
  2. Глобальное отслеживание GPU
  3. Алгоритмы подтверждения обучения
  4. Проверка моделей на месте
  5. Обнаружение датацентров
  6. Создание набора инструментов для верифицируемого вывода
  7. Измерение эффективности использования вычислительных мощностей (например, путём измерения и контроля за алгоритмическим прогрессом)
  8. Регулирование крупномасштабного децентрализованного обучения (если оно сможет конкурировать с централизованным обучением)

Ещё один кластер: темы, связанные с безопасностью, такие как

  1. Защита весов нейронной сети от хищения (третьими лицами или самим ИИ)
  2. Оценка возможности автономной репликации в интернете
  3. Повышение привилегий внутри защищённых систем (например, чего сможет добиться ваш программистский ассистент, если окажется несогласованным?)
  4. Мониторинг датацентров (например, если на ваших серверах запущены несанкционированные копии модели, как вы об этом узнаете?)
  5. Обнаружение несанкционированных каналов связи между разными экземплярами модели
  6. Обнаружение вмешательства (например, если ваш цикл обучения был изменён, как вы об этом узнаете?)
  7. Насколько уязвимы системы управления ядерным оружием?
  8. Масштабируемый мониторинг поведения (например, как мы можем агрегировать информацию из логов миллионов ИИ?)

И более разнородная (и менее техническая) третья категория:

  1. Какой регуляторный аппарат в правительстве США был бы наиболее эффективным для регулирования крупных запусков обучения?
  2. Какими инструментами и методами располагает правительство США для проведения аудита технологических компаний?
  3. Каковы самые серьёзные пробелы в экспортном контроле США в отношении Китая и как их можно устранить?
  4. На какие приложения или демонстрации ИИ общество сильнее всего отреагирует?
  5. Какие интерфейсы люди будут использовать для взаимодействия с ИИ в будущем?
  6. Как, вероятнее всего, ИИ будет развёртываться для выполнения деликатных задач (например, консультирования мировых лидеров) с учётом опасений о конфиденциальности?
  7. Как может поляризоваться политический дискурс вокруг ИИ, и что могло бы смягчить эту поляризацию?
  8. Что потребуется для автоматизации критически важной инфраструктуры (заводов, вооружений и т. д.)?

Оригинальная публикация: Richard Ngo (2023) AGI safety career advice, AI Alignment Forum, 1 мая.