Технические исследования безопасности ИИ

автор: Benjamin Hilton
Безопасность ИИ
 

Прогресс ИИ — при всей его потенциальной огромной пользе — сопряжён со значительными рисками. Рисками, которые, как мы утверждали, могут быть экзистенциальными.

Но с этими рисками можно справиться.

Дальнейший прогресс безопасности ИИ даёт нам возможность создавать ИИ во благо: системы, которые будут безопасными, этичными и полезными для всех.

В этой статье рассказывается, как вы можете помочь.

Резюме

Искусственный интеллект в ближайшие десятилетия окажет трансформирующее влияние на общество и может принести огромную пользу, но мы считаем и что есть значительный риск. Один из многообещающих способов снизить вероятность связанной с ИИ катастрофы — найти технические решения, которые позволили бы нам предотвращать опасное поведение ИИ-систем.

Плюсы:

  • Возможность внести значительный вклад в чрезвычайно важную область исследований.
  • Интересная работа, бросающая интеллектуальный вызов.
  • Эта область остро нуждается в квалифицированных исследователях и инженерах, и в целом крайне пренебрегаема.

Минусы:

  • Из-за нехватки менеджеров устроиться на работу сложно, и вам может понадобиться время, чтобы собрать нужные карьерный капитал и экспертизу.
  • Нужна сильная математическая подготовка.
  • Найти решения может быть очень сложно.
  • Есть реальный риск причинить вред.

Ключевые факты о личной пригодности:

Вам потребуется математическая подготовка, и, наверное, вам должно нравиться программировать. Если вы никогда не пробовали программировать, вы всё равно можете подойти — при условии, что вы умеете разбивать задачи на логические части, придумывать и тестировать гипотезы, готовы пробовать множество разных решений и внимательны к деталям.

  • Если вы сильный специалист по программной инженерии, вы можете уже сейчас подавать заявки на позиции участника эмпирических исследований (даже если у вас нет опыта в области машинного обучения, хотя это будет плюсом)
  • Если вы можете поступить на одну из 10 лучших программ PhD по машинному обучению, это откроет вам путь к должности руководителя исследований
  • Если у вас очень сильная подготовка по математике или теоретической информатике, вы, вероятно, хорошо подойдете для теоретических исследований согласования

Рекомендуется

Если эта карьера вам хорошо подходит, для вас это может стать лучшим способом повлиять на общество.

Статус обзора

На основе исследования средней тщательности.

Благодарим Адама Глива, Джейкоба Хилтона и Рохина Шаха за рецензирование этой статьи. Мы также признательны Чарли Роджерсу-Смиту за помощь и за его статью на эту тему —How to pursue a career in technical AI alignment.

Почему технические исследования безопасности ИИ важны

Как мы уже отмечали, в ближайшие несколько десятилетий мы, возможно, станем свидетелями развития чрезвычайно мощных систем машинного обучения, способных преобразовать общество. Это преобразование может принести огромные выгоды — но только если у нас получится избежать рисков.

Мы считаем, что наихудшие риски от ИИ-систем возникают в значительной степени из-за того, что эти системы могут быть несогласованными — то есть они будут стремиться делать то, чего мы не хотим, чтобы они делали. В частности, мы полагаем, их несогласованность может означать, что будут разрабатывать (и исполнять) планы, угрожающие способности человечества влиять на мир, несмотря на то, что мы не хотим утратить это влияние.

Мы считаем, это означает, что такие будущие системы представляют собой экзистенциальную угрозу для цивилизации.

Даже если мы найдём способ избежать этого стремления к власти, всё равно останутся существенные риски, вроде злоупотреблений правительствами или кем-то ещё — которые сами по себе могут представлять экзистенциальные угрозы.

Есть много способов снизить риски, которые могут исходить от этих систем. Одним из самых перспективных может стать поиск технических решений, предотвращающих нежелательное, в том числе несогласованное, поведение ИИ-систем. (Поиск технического способа предотвратить именно несогласованность известен как задача согласования.)

В последние несколько лет всё больше организаций начинают серьёзнее относиться к этим рискам. Во многих ведущих в индустрии лабораториях, разрабатывающих искусственный интеллект, включая Google DeepMind и OpenAI, работают команды, специально занимающиеся поиском таких решений; сюда же относятся академические исследовательские группы, например, в MIT, Оксфорде, Кембридже, Университете Карнеги-Меллона и Калифорнийском университете в Беркли.

Но всё же, эта область пока очень молода. По нашим оценкам, над техническими подходами к снижению экзистенциальных рисков ИИ-систем работают всего около 300 человек⁠⁠1, так что эта область очень пренебрегаема.

Поиск технических способов снизить этот риск может оказаться весьма сложной задачей. Любое практически полезное решение должно сохранять полезность систем (чтобы они оставались экономически конкурентоспособными по сравнению с менее безопасными аналогами) и продолжать работать по мере того, как системы со временем совершенствуются (то есть быть «масштабируемым»). Как мы отмечали в нашем профиле проблемы, кажется, найти жизнеспособные решения может быть трудно, особенно для современных систем машинного обучения (ML).

(Если вы ничего не знаете о ML, мы подготовили очень-очень краткое введение в ML, а далее в этой статье мы подробнее расскажем, как изучить его основы. Если же у вас уже есть опыт работы с ML, пообщайтесь с нашей командой — они смогут дать вам индивидуальные карьерные рекомендации, познакомить с другими специалистами, работающими над этими проблемами, и, возможно, даже помочь найти работу или финансирование.)

Хотя это и кажется сложным, путей для дальнейших исследований много, а сама область действительно очень молода, так что новые многообещающие направления появляются постоянно. Так что мы считаем эту проблему умеренно посильной, хотя неопределённость и высока.

Вообще, мы не уверены во всём этом и подробно писали о причинах, по которым мы можем ошибаться о риске ИИ.

Но в целом мы считаем, что, если вам это хорошо подходит, технические исследования безопасности ИИ могут оказаться делом с наибольшим воздействием на мир, из всех, которым вы можете посвятить свою карьеру.

Что включает в себя этот путь?

Технические исследования безопасности ИИ обычно предполагают работу в качестве учёного или инженера в крупных ИИ-лабораториях, академической среде или независимых некоммерческих организациях.

Получить такие должности бывает очень сложно. Вероятно, прежде чем вы сможете занять должность с высоким влиянием, вам понадобится накопить карьерный капитал (подробнее об этом позже, в разделе о том, как начать). Однако, много времени на это тратить, возможно, и не придётся. Мы видели, как исключительно талантливые люди переходили в сферу безопасности ИИ из других технических областей, иногда менее чем за год.

Большая часть технических исследований безопасности ИИ лежит на спектре между эмпирическими (эксперименты с существующими системами с целью больше узнать о том, что именно сработает) и теоретическими (концептуальные и математические исследования, направленные на поиск способов обеспечения безопасности будущих ИИ-систем) исследованиями.

Независимо от того, в какой части спектра вы в итоге окажетесь, ваш карьерный путь может немного отличаться в зависимости от того, стремитесь ли вы стать руководителем исследований, предлагая проекты, управляя командой и задавая направление, или же участником, сосредоточенным на непосредственном проведении исследований.

Наконец, есть две немного разные роли, к которым вы можете стремиться:

  • В академической среде исследования часто возглавляют профессора. Ключевая отличительная черта этой должности — вам ещё и придётся вести занятия и быть наставником аспирантов (и вам обязательно понадобится PhD).
  • Многие (но не все) специалисты на ролях участников эмпирических исследований — ещё и инженеры, зачастую — инженеры-программисты. Здесь мы сосредоточимся на ролях в сфере разработки ПО, которые напрямую способствуют исследованиям безопасности ИИ (и часто требуют определённого опыта в ML). О программной инженерии в целом мы писали в отдельном обзоре.
На изображении показана матрица из четырёх квадрантов, классифицирующая роли в исследованиях по типу исследований (эмпирические или теоретические) и типу функции (руководитель или участник), с примечаниями, что некоторые руководители будут профессорами или инженерами, особенно инженерами-программистами.

Мы полагаем, что роли руководителей исследований в среднем оказывают большее влияние. Но в целом влияние, которое вы можете оказать в любой из этих ролей, скорее всего, в первую очередь определяется вашей личной пригодностью для данной роли — см. раздел о том, как заранее оценить свою личную пригодность.

Дальше мы рассмотрим, в чём может заключаться работа в каждом из этих направлений. Позже мы обсудим, как можно начать карьеру в каждом из них.

В чём заключается работа в рамках направления эмпирической безопасности ИИ?

В эмпирической безопасности ИИ команды исследователей, как правило, непосредственно работают с ML-моделями, чтобы выявлять любые риски и разрабатывать способы их снижения.

То есть, работа сосредоточена на современных и тех, что могут быть применены в самом ближайшем будущем, методах ML.

На практике работа над эмпирической безопасностью ИИ предполагает много программирования и ML-инженерии. Например, вы можете придумывать способы проверки безопасности существующих систем и затем применять эти эмпирические тесты на практике.

Вакансии в эмпирической безопасности ИИ можно найти как в индустрии, так и в академической среде, а ещё в некоторых некоммерческих организациях, специализирующихся на безопасности ИИ.

В академической среде многие релевантные исследования явно не обозначены как посвящённые экзистенциальному риску — но всё равно могут быть весьма ценны. Например, исследования в области, среди прочих, интерпретируемости, состязательных примеров, диагностики и обучения бэкдорам, могут сыграть большую роль в снижении вероятности связанной с ИИ катастрофы.

Ещё нас воодушевляет экспериментальная работа по составлению стандартов безопасности, которых ИИ-компании могли бы придерживаться в будущем, например, то, что делают ARC Evals.

Больше узнать, какие исследования происходят в лабораториях, специализирующихся на эмпирической безопасности ИИ, можно в этих материалах:

  • Подход OpenAI к исследованиям согласования
  • Взгляды Anthropic на безопасность ИИ
  • Основные результаты недавних исследований Redwood Research
  • Публикации команды по безопасности Google DeepMind

Хотя программирование занимает центральное место в любой эмпирической работе, роли руководителей исследований, как правило, в меньшей степени на нём сосредоточены; от них скорее больше требуется развитый исследовательский вкус и теоретическое понимание. А вот рядовым участникам исследований надо отлично владеть программированием и программной инженерией.

В чем заключается работа в рамках направления теоретической безопасности ИИ?

Теоретическая безопасность ИИ гораздо концептуальнее и математичнее. Она часто включает в себя тщательные рассуждения о гипотетическом поведении будущих систем.

Как правило, цель — вывести свойства, которыми было бы полезно наделить безопасные алгоритмы ML. Выявив их, можно попытаться разработать обладающие ими алгоритмы (учитывая, что для практической пользы их надо в итоге внедрить в индустрию). Альтернативный путь — разрабатывать способы проверки, обладают ли системы этими свойствами. Такие проверки могли бы, например, помочь обеспечить соответствие будущих ИИ-продуктов высоким стандартам безопасности.

Многие, кто занимается теоретической безопасностью ИИ, посвящают значительную часть времени доказательству теорем или разработке нового математического аппарата. Есть и более концептуальные подходы, хотя и они, как правило, в значительной степени опираются на формальные рассуждения.

К примерам исследований в области теоретической безопасности ИИ относятся:

  • Evan Hubinger и др. (2021) Risks from learned optimization in advanced machine learning systems, arXiv:1906.01820 [cs.AI].
  • Paul Christiano, Ajeya Cotra и Mark Xu (2021) Eliciting Latent Knowledge, Alignment Research Center.
  • Paul Christiano, Eric Neyman и Mark Xu (2022) Formalizing the presumption of independence, arXiv:2211.06738 [cs.AI].
  • Zachary Kenton и др. (2022) Discovering agents, arXiv:2208.08345.
  • Peter Barnett и др. (2023) Active reward learning from multiple teachers, arXiv:2303.00894 [cs.LG].

В целом в сфере теоретической безопасности ИИ вакансий меньше, особенно на позициях участников исследований. Такие вакансии есть в некоммерческих организациях (прежде всего в Alignment Research Center) и в некоторых лабораториях (например, работа Anthropic над кондиционированием предиктивных моделей и Рабочая группа по причинным стимулам в Google DeepMind). Большинство вакансий для участников исследований в области теоретической безопасности ИИ, вероятно, в академической среде (например, позиции аспирантов в командах, работающих над проектами, связанными с теоретической безопасностью ИИ).

Некоторые интересные подходы к безопасности ИИ

Сейчас разрабатывается много технических подходов к безопасности ИИ. Вот лишь некоторые:

  • Масштабируемое обучение с человеческой обратной связью. Примеры включают итеративное усиление, безопасность ИИ через дебаты, создание ИИ-ассистентов, которые не уверены в наших целях и узнают их, взаимодействуя с нами, и другие способы добиться, чтобы ИИ-системы, обучаемые стохастическим градиентным спуском, правдиво сообщали то, что им известно.
  • Моделирование угроз. Примером такой работы может служить демонстрация (что позволяет их изучать) опасных способностей, например у обманчивых или манипулятивных ИИ-систем. Обзор можно прочитать в недавней статье Google DeepMind. Эта область делится на оценку наличия опасных способностей (вроде работы ARC Evals по оценке GPT-4) и оценку, может ли модель на практике нанести вред (вроде исследования Anthropic, посвящённого поведению больших языковых моделей, или этой статьи об некорректном обобщении цели).
  • Исследования интерпретируемости. Этот подход включает изучение того, почему ИИ-системы делают то, что делают, и попытки изложить это в понятных для человека терминах. Например, эта статья рассматривает, как AlphaZero учится играть в шахматы, а в этой исследовался поиск скрытых знаний в языковых моделях без учителя. Ещё в эту категорию входит механистическая интерпретируемость — например, Zoom in: an introduction to circuits. Подробнее см. эту обзорную статью и работы Хубингера A transparency and interpretability tech tree и Нанды Длинный список теорий влияния интерпретируемости, в которых обозревается, как исследования интерпретируемости могут снизить экзистенциальный риск ИИ.
  • Другие исследования против злоупотреблений, направленные на снижение рисков катастрофы из-за злоупотреблений системами. (Мы подробнее писали об этом в нашем профиле проблемы риска ИИ.) Сюда, например, входит обучение ИИ так, чтобы их было сложно использовать в опасных целях. (Обратите внимание, что это значительно пересекается с другими подходами из этого списка.)
  • Исследования по повышению устойчивости нейронных сетей. Эта работа направлена на то, чтобы поведение, демонстрируемое нейронными сетями на одном наборе входных данных, сохранялось и на других, с которыми они раньше не сталкивались, — чтобы не допустить перехода ИИ-систем к небезопасному поведению. Подробнее см. раздел 2 работы Unsolved problems in ML safety.
  • Работа по созданию кооперативного ИИ. Поиск способов увериться, что пусть даже вроде бы безопасные ИИ-системы не приведут к негативным последствиям, взаимодействуя с иными социотехническими системами. Подробнее см. работу Open problems in cooperative AI Дафо и др. или сайт Cooperative AI Foundation. Это кажется особенно актуальным для снижения s-рисков.
  • Более обобщённо, есть некоторые единые планы обеспечения безопасности. Подробнее см. работу Хубингера An overview of 11 proposals for building safe advanced AI или работу Карнофски How might we align transformative AI if it’s developed very soon?.⁠⁠2

Стоит отметить, что подходов к безопасности ИИ много, и специалисты по ней сильно расходятся во мнениях, что сработает, а что нет.

Так что, начав работать в этой области, стоит проявлять благожелательность и осмотрительность и не спешить считать чужую работу бесполезной только потому, что она показалась такой при беглом просмотре. И, вероятно, стоит сомневаться и в собственной программе исследований.

Более того, как мы упоминали, многие релевантные исследования во всех этих областях не обозначены явно как «безопасность».

Поэтому важно тщательно обдумывать, помогают ли те или иные исследования снизить потенциальные риски ИИ-систем, и если да, то как.

Какие минусы у этого карьерного пути?

Технические исследования безопасности ИИ — не единственный способ добиться прогресса в снижении потенциальных рисков будущих ИИ-систем. Кроме того, в мире есть много других насущных проблем, не связанных с возможностью катастрофы из-за ИИ, и много вариантов карьеры, которые могут помочь в их решении. Если вам больше подходит работа над чем-то другим, скорее всего, стоит заняться именно этим.

Помимо личной пригодности, у этого карьерного пути есть ещё несколько недостатков:

  • Конкуренция на входе может быть очень высока (хотя, попав в эту сферу, вы получите хорошо оплачиваемую работу и множество запасных вариантов).
  • Вам необходимы технические навыки и, вероятно, умение программировать.
  • Работа географически сосредоточена всего в нескольких местах (в основном в районе залива Сан-Франциско и в Лондоне, но есть и возможности в городах с ведущими университетами — Оксфорде, Нью-Йорке, Питтсбурге и Бостоне). Впрочем во многих исследовательских лабораториях удалённая работа становится всё доступнее.
  • Поиск хороших технических путей снижения риска может оказаться не особо решаемой задачей. Хотя оценки её сложности расходятся и прогресс почти наверняка возможен, добиться его бывает довольно трудно. Это снижает ожидаемую пользу, которую вы можете принести, работая в этой области. Но всё же, начав с технической работы, вы получаете возможность перейти в сферу управления, потому что там часто полезны техническая подготовка и опыт работы в отрасли, которых у большинства нет.
  • В связи с этим в данной сфере много разногласий о том, что может сработать; чем бы вы в итоге ни занялись, наверняка хотя бы некоторые сочтут вашу работу бесполезной.
  • Самое важное, есть некоторый риск нанести вред. Накапливая карьерный капитал и работая над исследованиями, вам придётся принимать сложные решения и полагаться на собственное суждение о том, работаете ли вы над чем-то полезным (см. наши анонимные советы о работе на позициях, продвигающих способности ИИ). Есть огромные разногласия о том, какие технические подходы к безопасности ИИ могут сработать. И иногда они доходят до мнения, что та или иная стратегия активно увеличит экзистенциальные риски ИИ.

Наконец, в нашем профиле проблемы о предотвращении связанной с ИИ катастрофы мы написали о лучших аргументах против того, что проблема ИИ является насущной. Если эти аргументы верны, возможно, вы могли бы принести большую пользу, работая над другой проблемой.

Сколько зарабатывают технические исследователи безопасности ИИ?

Многие технические исследователи работают в компаниях или небольших стартапах, которые предлагают зарплаты на уровне технологической индустрии района залива Сан-Франциско и Кремниевой долины; даже небольшие учреждения и некоммерческие организации платят конкурентные зарплаты, чтобы привлечь лучших специалистов. Медианная зарплата инженера-программиста в районе залива Сан-Франциско в 2020 году — 222 000 долларов в год.⁠⁠3 (Подробнее о зарплатах в программной инженерии.)

Эта медиана в 222 000 долларов может быть заниженной, потому что должности в сфере ИИ, и особенно в стремительно масштабирующихся ведущих ИИ-лабораториях, часто оплачиваются лучше других технических должностей; это относится и к исследователям безопасности, даже в некоммерческих организациях.

Однако в академической среде зарплаты в целом ниже, чем в индустрии, и, по нашим прикидкам, в академических кругах должности, связанные с исследованиями безопасности ИИ, оплачиваются ниже, чем в коммерческих лабораториях и некоммерческих организациях.

Как заранее определить, подходит ли вам эта сфера

Как правило, для начала такой карьеры вам потребуется подготовка в области точных наук (хотя не обязательно в информатике или машинном обучении).

Есть два основных способа определить, подходит ли вам эта сфера, и полезно воспользоваться обоими:

  • Попробуйте на практике: выполните первые несколько шагов из раздела об изучении основ ниже. Если вы ещё этого не сделали, попробуйте изучить Python и пройти курсы по линейной алгебре, математическому анализу и теории вероятностей. А если вы уже это сделали, попробуйте немного изучить глубокое обучение и безопасность ИИ. Наконец, для многих людей лучшим способом проверить это на практике будет устроиться на работу ML-инженером (не в сфере безопасности) (подробнее см. в разделе о том, как начать карьеру).
  • Поговорите с людьми о том, подходит ли вам эта сфера: если вы хотите стать техническим исследователем, наша команда, вероятно, захочет с вами поговорить. Мы можем бесплатно провести для вас индивидуальную консультацию. Если вы знаете кого-то, кто работает в этой или смежной области, обсудите с ним этот карьерный путь и попросите поделиться честным мнением. Ещё вы можете завести знакомства через наше сообщество. Наши консультанты тоже могут помочь наладить связи.

Наработка компетентности требует времени, а удовольствие часто приходит вслед за ней. Так что будьте готовы потратить некоторое время на обучение и практику, прежде чем решите переключиться на что-то совершенно иное.

Если вы не уверены, на какие роли вам стоит ориентироваться в долгосрочной перспективе, вот несколько простых способов прикинуть, к чему стремиться и подходите ли вы для разных ролей на этом пути:

  • Проверка вашей пригодности в качестве участника эмпирических исследований: В записи блога о найме исследователей в области безопасности команда Google DeepMind отметила: в качестве приблизительного теста на роль инженера-исследователя: если вы сможете воспроизвести типичную статью по ML за несколько сотен часов и ваши интересы совпадают с нашими, мы, вероятно, захотим провести с вами собеседование.
    • Если говорить конкретно о программировании, один из нанимающих менеджеров в Anthropic сказал, что если бы вы могли за несколько недель работы написать сложный новый функционал или исправить очень серьёзную ошибку в крупной библиотеке ML, они сразу захотят провести с вами собеседование. (Подробнее.)
  • Проверка вашей пригодности к теоретическим исследованиям: Если вы, соптимизировав для этого свой бакалавриат, могли бы поступить на одну из 10 лучших программ аспирантуры (PhD) по математике или теоретической информатике, это было бы хорошим показателем вашей пригодности (у многих исследователей есть такие степени). Alignment Research Center (по состоянию на 2023 год, одна из немногих организаций, нанимающих специалистов для теоретических исследований) заявил, что готов принимать на работу людей без исследовательского опыта. Они предложили четыре критерия пригодности: креативность (например, у вас могут быть идеи по решению открытых задач в этой области, вроде извлечения скрытого знания); опыт разработки алгоритмов, доказательства теорем или формализации концепций; обширные знания в математике и информатике и в частности глубокое осмысление задачи согласования ИИ.
  • Оценка вашей пригодности на позицию руководителя исследований (или для PhD): У подавляющего большинства руководителей исследований есть PhD. Многие (но далеко не все) должности, связанные с техническими исследованиями безопасности ИИ, тоже требуют PhD, а там, где нет, эта степень (или потенциал для её получения) всё равно определённо поможет показать, что вы хорошо подходите для этой работы. Чтобы поступить в двадцатку лучших программ аспирантуры по машинному обучению, вам, вероятно, понадобится стать первым автором статьи для воркшопа и третьим автором статьи с крупной конференции по ML (например, NeurIPS или ICML). (Узнайте больше о том, стоит ли вам поступать в аспирантуру.

Прочитайте нашу статью о личной пригодности, чтобы больше узнать, как оценить, насколько вам подходят выбранные карьерные пути.

Как начать

Возможно, откликаться на вакансии вы сможете уже сейчас — особенно если уже соответствуете (или почти соответствуете) рассмотренным критериям, но вам может и понадобиться ещё некоторое время (возможно, несколько лет), чтобы сначала повысить свою квалификацию.

Итак, в этом разделе мы представим руководство о том, как начать заниматься техническими исследованиями безопасности ИИ. Рассмотрим четыре ключевых вопроса:

  1. Как изучить основы
  2. Стоит ли получать PhD
  3. Как устроиться на работу в сфере эмпирических исследований
  4. Как устроиться на работу в сфере теоретических исследований

Надеемся, что к концу этого раздела у вас будет всё необходимое, чтобы приступить к делу.

Изучение основ

Чтобы добиться успеха в мире технических исследований безопасности ИИ, вам, скорее всего, понадобятся базовые знания программирования, математики и глубокого обучения.

Возможно, вам стоит ещё и достаточно попрактиковаться, чтобы стать приличным ML-инженером (хотя это, как правило, полезнее для эмпирических исследований), в частности немного изучить методы обеспечения безопасности (хотя это, как правило, полезнее для руководителей эмпирических исследований и теоретических исследователей).

Мы рассмотрим эти пункты по очереди.

Обучение программированию

Вам, вероятно, стоит научиться программировать на Python, потому что в ML-инженерии больше всего используют его.

Первым шагом, вероятно, будет просто попробовать. Даже абсолютный новичок за 20 минут может написать программу на Python, которая будет напоминать делать перерыв каждые два часа. Не расстраивайтесь, если ваш код не заработает с первого раза — обычно в программировании именно так!

После этого у вас есть несколько вариантов:

  • Обучайтесь программированию самостоятельно. Попробуйте пройти бесплатный курс для начинающих, например Automate the boring stuff with python Эла Свейгарта. В интернете много отличных вводных курсов по информатике и программированию, в том числе: «Введение в информатику» от Udacity, «Введение в информатику и программирование» от MIT и «Методология программирования» от Стэнфорда. Затем придумайте, что вам хотелось бы создать, и создайте это, или поучаствуйте в проекте с открытым исходным кодом. Для практики перед собеседованиями попробуйте leetcode или TopCoder, либо упражнения из книги Cracking the coding interview Гейла Макдауэлла.
  • Пройдите курс в университете. Если вы учитесь в университете, это отличный вариант: он позволяет изучать программирование, пока упущенная выгода вашего времени ниже. Вы даже можете рассмотреть возможность выбрать специальность «информатика» (или другую, предполагающую много программирования).
  • Учитесь в процессе работы. Если вам удастся найти стажировку, вы приобретёте практический опыт и навыки, которые иначе не получили бы в рамках академического образования.
  • Пройдите буткемп. Буткемпы по программированию нацелены на то, чтобы за пару месяцев помочь людям с минимальными знаниями получить работу с как можно более высокой зарплатой — хотя некоторые утверждают, что из-за отсутствия глубокого понимания информатики долгосрочные перспективы не так хороши. Course Report — отличное руководство по выбору буткемпа. Будьте осторожны и избегайте некачественных буткемпов. Ещё вы можете найти онлайн-буткемпы по ML для тех, кто совсем не знаком с программированием, например, курс на Udemy Python for Data Science and Machine Learning Bootcamp.

Вы можете больше узнать об обучении программированию и о том, как получить первую работу в сфере программной инженерии (если вы хотите выбрать этот путь) в нашем обзоре карьеры в программной инженерии.

Изучение математики

Математика глубокого обучения в значительной степени опирается на математический анализ и линейную алгебру. Ещё полезна статистика. Но в целом изучение математики гораздо менее важно, чем программирование и базовые практические навыки ML.

В целом мы рекомендуем получить образование в области точных наук (например, математики, информатики или инженерии) — большинство таких программ достаточно хорошо охватывают все три области.

Если вы действительно хотите хорошо освоить математику, вам обязательно нужно решать задачи. Поэтому, как правило, самое полезное в учебниках и онлайн-курсах — не объяснения, а наборы упражнений, которые нужно пытаться решать по порядку, прибегая к помощи, если зашли в тупик.

Если вы хотите заниматься самообучением (особенно если у вас нет технарского образования), вот некоторые полезные ресурсы:

  • Математический анализ: серия видео 3blue1brown по математическому анализу может стать хорошим началом. Ещё можно пройти записанные университетские курсы: курс MIT по математическому анализу функции одной переменной (для которого нужны только знания алгебры и тригонометрии в объёме средней школы), а затем курс MIT по анализу функций многих переменных.
  • Линейная алгебра: И вновь мы рекомендуем серию видео 3blue1brown по линейной алгебре в качестве отправной точки. В своём посте о карьере в области технического согласования Роджерс-Смит рекомендует книгу Linear algebra done right Шелдона Акслера. Наконец, если вы предпочитаете лекции, попробуйте курс по линейной алгебре для студентов бакалавриата MIT (но обратите внимание, что этот курс предполагает знание анализа функций многих переменных).
  • Вероятность: ознакомьтесь с курсом бакалавриата MIT по теории вероятностей и случайным величинам.

Можно найти и ресурсы, охватывающие все эти области, например, курс Имперского колледжа «Математика для машинного обучения».

Изучение основ машинного обучения

Скорее всего, вам потребуется хорошее понимание, как сейчас разрабатываются ИИ-системы. Для этого, прежде чем погружаться в конкретные направления глубокого обучения нужно изучить машинное обучение и нейронные сети.

Опять же, это можно сделать в университете. Если вы сейчас учитесь в вузе, узнайте, можно ли пройти курс по ML, даже если ваша специальность не связана с информатикой.

Здесь есть одно важное замечание: многому вы научитесь в процессе работы, и объём того, что нужно знать заранее, может быть сильно разным для разных должностей или курсов! Даже ведущие учёные не знают о своих областях всего. Прежде чем вкладывать сотни часов в изучение ML, стоит выяснить, какой объём знаний понадобится для желаемой должности.

С учётом этой оговорки, вот несколько рекомендаций, с чего можно начать, если вы хотите самостоятельно изучить основы:

  • Серия видео от 3blue1brown о нейронных сетях — действительно отличная отправная точка для новичков.
  • Когда я учился, я пользовался Neural Networks and Deep Learning — это онлайн-учебник, который хорошо подойдёт тем, кто знаком с математикой. В нём есть и полезные упражнения.
  • Вводные онлайн-курсы, вроде fast.ai (с акцентом на практическое применение), Full Stack Deep Learning и разных курсов с deeplearning.ai.
  • Для более подробного изучения обратите внимание на университетские курсы вроде Введение в машинное обучение от MIT и Глубокое обучение от Нью-Йоркского университета, где материал изложен ещё подробнее. Ещё мы рекомендуем серию лекций от Google DeepMind.

PyTorch — очень распространённый пакет для реализации нейронных сетей, и его, вероятно, стоит изучить! Когда я только начинал знакомиться с ML, моей первой нейронной сетью стала трёхслойная свёрточная нейронная сеть с L2-регуляризацией, классифицирующая символы из базы данных MNIST. Это довольно типичная первая задача и хороший способ разобраться с PyTorch.

Изучение безопасности ИИ

Если вы собираетесь работать исследователем в области безопасности ИИ, обычно полезно разбираться в безопасности ИИ.

Это не всегда так — некоторые инженерные позиции не требуют глубоких знаний о безопасности ИИ. Но даже тогда знание основ, вероятно, поможет вам получить должность и потом принимать сложные решения и избегать причинения вреда. А если вы хотите уметь находить и выполнять полезную работу, эту область в итоге всё равно придётся изучить.

Поскольку область ещё совсем нова, университетских курсов по ней, скорее всего, пока нет. Поэтому вам придётся заняться самообучением. Вот несколько ресурсов, с которых можно начать:

  • Раздел 3 нашего профиля проблемы о предотвращении связанной с ИИ катастрофы — введение в задачи, которые пытается решить безопасность ИИ (с особым акцентом на согласование).
  • На YouTube-канале Роба Майлза есть много вводных видео с хорошими популярными объяснениями, особо не требующих знаний ML.
  • В подкасте AI X-risk Research AXRP было много глубоких (и увлекательных) бесед с исследователями об их работе.
  • Курсы AI Safety Fundamentals, особенно Курс по согласованию ИИ, за которым, возможно, стоит пройти Alignment 201, служат введением в исследования задачи согласования.
  • Введение в безопасность ML — курс от Center for AI Safety, посвящённый выдерживанию угроз («устойчивость»), выявлению угроз («мониторинг»), снижению системных угроз («системная безопасность») и вопросам согласования.

Дополнительные рекомендации — особенно по материалам о природе рисков ИИ-систем, — можно найти в списке лучших ресурсов для изучения темы из нашего профиля проблемы.

Стоит ли получать PhD?

PhD потребуется для некоторых, но далеко не для всех, технических исследовательских должностей. Совсем не для каждого это лучший вариант.

Наверное, главное преимущество PhD — возможность попрактиковаться в постановке и реализации собственной исследовательской программы. Поэтому наличие PhD — почти стандарт по умолчанию, если вы хотите стать руководителем исследований.

Но всё же стать руководителем исследований можно и без этого. Например, перейдя на эту должность с позиции участника исследований. В некоторых крупных лабораториях граница между участником и руководителем исследований становится всё более размытой.

Многие считают обучение в аспирантуре очень тяжёлым. Оно может вызывать фрустрацию и чувство изоляции и отнимает очень много времени (4–6 лет). К тому же качество вашей жизни и то, многому ли вы научитесь, будут зависеть от научного руководителя, а заранее понять, правильный ли выбор вы делаете, бывает весьма сложно.

Итак, если вы задумываетесь о получении PhD, вот несколько моментов, которые стоит учесть:

  • Ваше долгосрочное видение: если вы стремитесь стать руководителем исследований, это довод в пользу получения PhD. Эта степень есть у подавляющего большинства руководителей исследований. Если же вы в основном хотите быть участником (например, специалистом по ML или программной инженерии), то, возможно, она вам и не нужна. Если вы не уверены, попробуйте проверить свою личную пригодность к каждой из ролей — например, выполнив проект или пройдя стажировку. До поступления в аспирантуру можно попробовать себя в роли ассистента-исследователя. И если проводимые вами исследования актуальны для вашей будущей карьеры, они станут хорошим карьерным капиталом независимо от того, пойдёте ли вы в аспирантуру или нет.
  • Тема вашего исследования: очень легко оказаться привязанным к теме диссертации, в которой вы не уверены. Если программа аспирантуры, которую вы рассматриваете, позволит работать над чем-то полезным для безопасности ИИ, то, при прочих равных, это, вероятно, пойдёт на пользу вашей карьере, а исследование ещё и может принести пользу само по себе.
  • Наставничество: Какие в открытых для вас вариантах научные руководители или менеджеры? Возможно, в индустрии вам удастся найти вакансии в сфере ML-инженерии или исследований, где вы узнаете гораздо больше, чем на программе PhD. Или наоборот. Выбирая научного руководителя, попробуйте связаться с его нынешними или бывшими студентами и задать им несколько откровенных вопросов. (Ещё см. эту статью о том, как выбрать научного руководителя.)
  • Насколько вам подходит рабочая среда: Обучение в PhD-программе означает длительную самостоятельную работу с минимальным контролем и обратной связью. Одним в таких условиях комфортно! Но другим это совершенно не подходит, и работа над PhD оказывается для них чрезвычайно тяжёлой.

Узнайте больше в нашем более подробном (но не таком актуальном) обзоре программ PhD по ML.

Стоит помнить, что для большинства вакансий наличие PhD не обязательно. А для некоторых должностей, особенно связанных с участием в эмпирических исследованиях, пусть PhD и была бы полезна, но часто получить нужный карьерный капитал можно как-нибудь поэффективнее (например, работая программистом или ML-инженером). Мы взяли интервью у двух ML-инженеров, добившихся огромных успехов в карьере без получения PhD.

Решение о том, стоит ли получать PhD, не (сильно) зависит от сроков развития ИИ

Мы считаем вполне вероятным, что ИИ, способный оказать огромное преобразующее влияние на общество, будет разработан к концу 2030-х годов.

При прочих равных это может служить аргументом и за то, чтобы попытаться принести пользу прямо сейчас, а не тратить пять (или больше) лет на получение PhD.

Но в конечном счёте, то, насколько именно вам подходит конкретная программа PhD, вероятно, гораздо более важный фактор, чем то, когда будет разработан такой ИИ.

То есть мы считаем, что прирост пользы от выбора подходящего вам пути, вероятно, превышает любое снижение пользы из-за задержки начала работы. Отчасти это связано с тем, что разброс пользы, обусловленный конкретными доступными вам ролями и вашей личной пригодностью к ним, обычно очень велик. Некоторые позиции (особенно роли руководителя исследований) просто требуют PhD, а другие (особенно с сильным уклоном в инженерию) — нет, и личная пригодность людей к этим путям сильно различается.

Ещё мы совсем не уверены по поводу оценок того, когда будет возможно разработать трансформативный ИИ. Эта неопределённость снижает ожидаемую цену любой задержки.

Самое важное: мы думаем, что не надо считать аспирантуру чистой отсрочкой вашего принесения пользы. В аспирантуре вы можете делать полезную работу. В целом первая пара лет на любом карьерном пути предполагает изучение основ и вхождение в курс дела. Поэтому, если у вас есть хороший наставник, благоприятная рабочая среда и удачный выбор темы, ваша работа в аспирантуре может оказаться не хуже, а то и лучше той, что вы бы делали, пойдя работать куда-то ещё в начале карьеры. А если вы вдруг получите свидетельства, что времени у нас меньше, чем вы думали, бросить учёбу сравнительно несложно.

Есть и многие другие соображения. Краткий обзор и обсуждение можно найти в этом посте консультанта 80 000 Hours Алекса Лоусена и в комментариях.

В целом мы бы посоветовали: вместо беспокойства об отсрочке пользы, лучше подумайте, какой долгосрочный путь вы хотите выбрать и как конкретные открывающиеся перед вами возможности вам на нём помогут.

Как поступить в аспирантуру

Конкурс в аспирантуру по ML может быть очень высоким. Чтобы поступить, вам, вероятно, потребуется несколько публикаций (как мы уже говорили выше, что-то вроде статьи для воркшопа, где вы — первый автор, и статьи для крупной конференции по ML (вроде NeurIPS или ICML), где третий) и рекомендации, скорее всего от учёных в области ML. (Впрочем, публикации будут плюсом в любом случае, какой бы путь вы в итоге ни выбрали!)

Чтобы дойти до этого этапа, вам понадобится немало удачи и способы получить хоть какой-то исследовательский опыт.

Один из вариантов — получить степень магистра по ML, но убедитесь, что это исследовательская магистратура; большинство магистерских программ по ML в первую очередь ориентировано на подготовку к работе в индустрии.

Ещё лучше — попытаться пройти стажировку в исследовательской группе по ML. Возможные варианты: RISS в Университете Карнеги-Меллона, UROP в Имперском колледже Лондона, международная летняя исследовательская программа Aalto Science Institute, Data Science Summer Institute, программа стажировок Toyota Technological Institute и MILA. Ещё можно попробовать пройти стажировку конкретно в области безопасности ИИ, например в CHAI, хотя у такого подхода есть и недостатки: публиковаться может быть сложнее, а наставничество — более ограниченным.

Ещё один способ получить исследовательский опыт — напрямую спросить у исследователей, можно ли с ними поработать. Если вы уже учитесь в одном из ведущих университетов, проще всего обратиться к людям там же.

Аспиранты или постдоки могут откликаться охотнее профессоров, но в итоге вам понадобятся рекомендации от нескольких профессоров, с которыми вы работали. Так что связаться с ними всё же придётся. Профессора обычно получают массу холодных писем, поэтому постарайтесь привлечь их внимание! Вот что можно попробовать:

  • Попросить кого-нибудь вас представить — например, профессора, у которого вы учились.
  • Упомянуть свои достижения (оценки, пройденные имеющие отношение к делу курсы, ваш GitHub, любые научные статьи по ML, которые вы пытались воспроизвести для практики).
  • Прочитать некоторые из их статей и основные работы в этой области и упомянуть их в письме.
  • Подать заявку на спонсорство для студентов, желающих работать в области безопасности ИИ, и сообщить людям, что у вас есть финансирование для совместной работы с ними.

В идеале вы найдёте человека, который будет хорошим научным руководителем и у которого найдётся время на работу с вами (это не обязательно должен быть самый известный профессор — хотя регулярные публикации на ведущих конференциях будут большим плюсом). Так он сможет лучше вас узнать, вы произведёте на него впечатление, и он даст вам отличную рекомендацию при поступлении на программы PhD.

Вполне возможно, что ради публикаций и рекомендаций, нужных для поступления в аспирантуру, вам придётся потратить год или два на работу в качестве научного ассистента, хотя конкуренция за эти должности может быть довольно высокой.

Это руководство Адама Глива тоже подробно описывает процесс поступления в аспирантуру, в том числе куда подавать документы и как оформлять сами заявки. Подробнее об аспирантуре по машинному обучению мы пишем в нашем обзоре аспирантуры в области машинного обучения (хотя по сравнению с этим обзором он и устарел).

Поиск работы в области эмпирических исследований безопасности ИИ

В конечном счёте лучший способ научиться проводить эмпирические исследования, особенно в роли участника и на позициях с уклоном в инженерию, это работать там, где ведутся и высококлассные инженерные разработки, и передовые исследования.

Три ведущие лаборатории — это, пожалуй, Google DeepMind (они предлагают стажировки для студентов), OpenAI (там есть 6-месячная программа резидентуры) и Anthropic. (Работа в ведущей ИИ-лаборатории сопряжена с некоторым риском причинения вреда, поэтому важно тщательно обдумать варианты. Мы написали отдельную статью, где прошлись по основным соображениям по этому поводу.)

Чтобы в итоге работать в сфере эмпирических исследований, вам, вероятно, придётся накопить какой-то карьерный капитал.

Стремитесь ли вы стать руководителем исследований или рядовым участником, вам очень поможет, если вы станете действительно хорошим инженером-программистом. Обычно лучший способ этого добиться — устроиться инженером-программистом в крупную технологическую компанию или в перспективный стартап. (Мы написали целую статью о том, как стать инженером-программистом.)

Для многих должностей нужно быть хорошим ML-инженером, а значит, придётся зайти дальше основ, которые мы рассмотрели выше. Лучший способ стать хорошим ML-инженером — найти работу, связанную с ML, и, наверное, лучшие места для этого — ведущие ИИ-лаборатории.

Для должности руководителя исследований потребуется относительно больше исследовательского опыта. Сначала стоит стать рядовым участником исследований или же прийти из академической среды (например, получив PhD).

При всём этом важно помнить: чтобы начать откликаться на вакансии, не нужно знать абсолютно всё. Вы неизбежно многому научитесь в процессе работы. Поэтому постарайтесь понять, что именно нужно освоить для конкретных должностей, которые вы рассматриваете.

Сколько опыта нужно, чтобы устроиться на работу? Напомним ещё раз о тестах для должностей специалистов, которые мы рассматривали выше:

  • В посте в блоге о найме исследователей в области безопасности команда DeepMind отметила: в качестве приблизительного теста на роль инженера-исследователя: если вы сможете воспроизвести типичную статью по ML за несколько сотен часов и ваши интересы совпадают с нашими, мы, вероятно, захотим провести с вами собеседование.
  • Если говорить конкретно о программировании, один из нанимающих менеджеров в Anthropic сказал, что если бы вы могли за несколько недель работы написать сложный новый функционал или исправить очень серьёзную ошибку в крупной библиотеке ML, они сразу захотят провести с вами собеседование.(Подробнее.)

В процессе накопления этого опыта вы можете оказаться на позициях, продвигающих способности ИИ. Мнения о том, может ли это принести вред, расходятся — поэтому мы рекомендуем прочитать нашу статью о работе в ведущих ИИ-лабораториях и нашу статью с анонимными советами специалистов о работе на позициях, продвигающих способности ИИ. Ещё стоит поговорить с нашей командой о любых конкретных возможностях, которые у вас есть.

Если вы работаете где-то ещё, учитесь или думаете, что перед сменой карьеры нужно узнать больше, есть несколько хороших способов получить дополнительный опыт ML-инженерии, выходящий за рамки основ, которые мы уже обсуждали:

  • Набор опыта в программной инженерии / ML. Например, если вы учитесь в вузе, вы можете попробовать летнюю стажировку в качестве инженера-программиста. DeepMind предлагает стажировки для студентов, проучившихся не менее двух лет по технической специальности.
  • Воспроизведение результатов научных статей. Отличный способ получить опыт ML-инженерии — воспроизвести результаты нескольких статей в той подобласти, где вы хотели бы работать. Ричард Нго, исследователь в области управления ИИ в OpenAI, написал несколько советов по воспроизведению научных работ. Но имейте в виду: воспроизведение статей бывает довольно сложным, посмотрите на пост в блоге Амида Фиша о том, чему он научился, воспроизводя работу по глубокому RL. Наконец, Роджерс-Смит даёт некоторые рекомендации, какие статьи выбрать. Если вы всё-таки решите уделить этому время, помните: при подаче заявок на вакансии будет очень полезно уметь подтвердить, что вы её проделали. Поэтому выкладывайте результаты на GitHub или ведите блог о своих успехах. А если вы планируете уделить этому много времени (скажем, больше 100 часов), попробуйте получить обратную связь о статьях, которые собираетесь воспроизвести, ещё до начала работы — вы даже можете обратиться в лабораторию, куда хотели бы устроиться.
  • Прохождение более глубокого курса по исследованиям эмпирической безопасности ИИ. Redwood Research проводили буткемп MLAB, и здесь вы можете подать заявку на доступ к их учебной программе. Ещё можно ознакомиться с этой учебной программой по глубокому обучению, разработанной Джейкобом Хилтоном, исследователем из Alignment Research Center, хотя без наставничества её, вероятно, будет очень сложно освоить.⁠⁠4 Alignment Research Engineer Accelerator — программа, использующая этот учебный план. Некоторые наставники в SERI ML Alignment Theory Scholars Program специализируются на эмпирических исследованиях.
  • Изучение одной из подобластей глубокого обучения. В частности, мы бы порекомендовали обработку естественного языка (особенно, как отправную точку, трансформеры см. эту лекцию) и обучение с подкреплением (ознакомьтесь с работой Deep Reinforcement Learning: Pong from Pixels Андрея Карпаты и публикацией OpenAI Spinning Up in Deep RL). Постарайтесь дойти до уровня, на котором будете в курсе самых важных последних достижений.

Трудоустройство в исследованиях теоретической безопасности ИИ

В исследованиях по теоретической безопасности ИИ вакансий меньше, поэтому и давать конкретные советы сложнее. Не всегда обязательно иметь PhD по математике или теоретической информатике, но у многих среди исследователей в индустрии PhD есть, а для академической карьеры — всё же почти всегда требуется.

Если вы решите получать PhD, в идеале это должна быть область, хотя бы отчасти связанная с исследованиями теоретической безопасности ИИ. Это, скажем, может быть приложение теории вероятностей к ИИ или теоретическая информатика (ищите исследователей, публикующихся в COLT или FOCS).

Как альтернативу можно сначала стать руководителем эмпирических исследований, а затем перейти к теоретическим.

По сравнению с эмпирическими исследованиями вам потребуется относительно меньше знаний из инженерии и относительно больше — из области безопасности ИИ.

После того как вы изучите основы, одним из возможных следующих шагов может быть чтение статей конкретного исследователя или по определённой теме и составление резюме того, что вы узнали.

Ещё можно попробовать уделить некоторое время (скажем, 10–100 часов) чтению по какой-либо теме, и ещё столько же (может, ещё 10–100 часов) попыткам придумать новые идеи в этой области. Например, вы можете попробовать разработать предложения по решению задачи извлечения скрытого знания. А если вы хотите сосредоточиться на более математической стороне вопроса, можно попытаться выполнить задание в конце лекции Майкла Коэна, аспиранта Оксфордского университета.

Если вы хотите пойти в науку, особенно важно читать кучу статей. Попробуйте на досуге написать обзорную статью на какую-нибудь тему. Это отличный способ освоить материал, породить новые идеи, обнаружить пробелы в знаниях и придумать темы для исследований. При поступлении в аспирантуру или устройстве на работу ваша статья станет отличным способом показать — вы настолько любите научную работу, что занимаетесь ею ради удовольствия.

Есть исследовательские программы, предназначенные для новичков в этой области. Например, стипендиальная программа SERI по теории согласования в ML. Вы можете подать туда заявку.

Другие способы получить более конкретный опыт — исследовательские стажировки, работа научным ассистентом или обучение в аспирантуре: обо всём этом мы уже писали выше, в разделе о том, стоит ли получать PhD и как это сделать.

Стоит отметить: многие из тех, с кем мы общаемся, пытаются учиться самостоятельно. Для кого-то это отличная идея, но многим это весьма сложно — ведь так значительно меньше структуры и наставничества.

Рекомендуемые организации

ИИ-лаборатории из индустрии, где есть команды по эмпирической технической безопасности или полностью сосредоточенные на безопасности:

  • Anthropic — компания в сфере безопасности ИИ, работающая над созданием интерпретируемых и безопасных ИИ-систем. Она сосредоточена на исследованиях эмпирической безопасности ИИ. Соучредители Anthropic Даниэла и Дарио Амодеи дали интервью о лаборатории в подкасте Future of Life Institute. В нашем подкасте мы поговорили с Крисом Олахом, который возглавляет в Anthropic исследования интерпретируемости, и с Новой ДасСармой, которая занимается там системной инфраструктурой.
  • ARC Evals занимается оценкой, могут ли передовые ИИ-системы нести риски катастрофы для цивилизации, включая экспериментальную работу на ранних этапах по разработке методов и оценку созданных Anthropic и OpenAI систем.
  • Center for AI Safety — некоммерческая организация, которая занимается техническими исследованиями и продвижением вопросов безопасности в широком сообществе специалистов по машинному обучению.
  • FAR AI — исследовательская некоммерческая организация, которая инкубирует и ускоряет исследовательские программы, слишком ресурсоёмкие для академической среды, но ещё не готовые к коммерциализации. В их числе — исследования в области состязательной устойчивости, интерпретируемости и обучения предпочтениям.
  • Google DeepMind — наверное, крупнейшая и известнейшая исследовательская группа, разрабатывающая обобщённый искусственный машинный интеллект; она прославилась созданием AlphaGo, AlphaZero и AlphaFold. В целом она не сфокусирована на безопасности, но в ней есть две команды, занимающиеся безопасностью ИИ: команда по масштабируемому согласованию, которая работает над согласованием существующих передовых систем, и команда по согласованию, сосредоточенная на исследовательских инициативах по согласованию будущих систем.
  • OpenAI, основанная в 2015 году, — лаборатория, которая пытается создать безопасный искусственный интеллект общего назначения, приносящий пользу всему человечеству. OpenAI широко известна своими языковыми моделями, такими как GPT-4. Как и DeepMind, в целом она не сфокусирована на безопасности, но в ней есть команда по безопасности и команда по управлению. Ян Лейке (соруководитель команды по суперсогласованию) опубликовал несколько постов в блоге о том, как он понимает согласование ИИ.
  • Ought — лаборатория машинного обучения, создающая Elicit, ИИ-ассистента для исследователей. Их цель — согласовать открытые рассуждения через обучение шагам человеческих рассуждений и использовать прогресс ИИ для помощи в оценке доказательств и аргументов.
  • Redwood Research — исследовательская организация в области безопасности ИИ, чей первый крупный проект был направлен на то, чтобы языковые модели (вроде GPT-3) с очень высокой вероятностью генерировали выходные данные по определённым правилам — с целью устранения провалов, которые слишком редко встречаются, чтобы проявиться при стандартном обучении.

Теоретические / концептуальные лаборатории по безопасности ИИ:

  • Alignment Research Center (ARC) стремится разработать стратегии согласования, которые можно было бы применить в индустрии уже сегодня и которые при этом могли бы масштабироваться на будущие системы. Вместо того чтобы самим заниматься эмпирическими исследованиями в области ИИ, ARC сосредоточены на концептуальной работе — составлении стратегий, которые могли бы сработать для согласования и стать многообещающими направлениями для эмпирических исследований. Их первым проектом стал выпуск отчёта об извлечении скрытого знания — задаче о том, как добиться от передовых ИИ-систем честных ответов об их убеждениях (или «убеждениях») об окружающем мире. В нашем подкасте мы взяли интервью у основателя ARC Пола Кристиано о его исследованиях (ещё до того, как он основал ARC).
  • Center on Long-Term Risk работает над предотвращением наихудших сценариев рисков передовых ИИ. Они сосредоточены на конфликтах между ИИ-системами.
  • Machine Intelligence Research Institute — одна из первых групп. Они стали беспокоиться о рисках машинного интеллекта в начале 2000-х. Их команда опубликовала ряд статей о задачах безопасности и способах их решения.
  • Некоторые команды в коммерческих лабораториях тоже занимаются более теоретической и концептуальной работой по согласованию, как, например, исследования Anthropic по кондиционированию предиктивных моделей и Рабочая группа по причинным стимулам в Google DeepMind.

Безопасность ИИ в академической среде (далеко не полный список; хотя число учёных, явно и публично занимающихся вопросами безопасности ИИ, невелико, такую работу можно вести ещё много где):

  • Группа алгоритмического согласования в Лаборатории информатики и искусственного интеллекта MIT под руководством Дилана Хадфилда-Менелла
  • Центр человеко-совместимого ИИ при Калифорнийском университете в Беркли под руководством Стюарта Рассела занимается академическими исследованиями обеспечения безопасности и полезности ИИ для людей. (В нашем подкасте со Стюартом Расселом рассматривается его подход к созданию доказуемо полезного ИИ.)
  • Исследовательская группа Джейкоба Штайнхардта на факультете статистики Калифорнийского университета в Беркли
  • Группа исследований согласования Нью-Йоркского университета под руководством Сэма Боумана
  • Исследовательская группа Дэвида Крюгера в Лаборатории вычислительного и биологического обучения Кембриджского университета
  • Лаборатория «Основы кооперативного ИИ» при Университете Карнеги-Меллона
  • Исследовательская группа «Согласование сложных систем» при Карловом университете в Праге

Узнайте больше о технических исследованиях безопасности ИИ

Вот несколько рекомендаций о том, где узнать больше:

  • Чтобы сориентироваться в области, мы рекомендуем AI safety starter pack.
  • В пошаговом руководстве Чарли Роджерса-Смита по карьере в безопасности ИИ (на котором во многом основана эта статья) есть ряд полезных практических советов, включая способы получения финансирования для начала карьеры в технических исследованиях безопасности ИИ.
  • «Карьера в исследованиях благотворного ИИ» Адама Глива, генерального директора FAR AI
  • Наш профиль проблемы риска ИИ
  • Эта учебная программа по безопасности ИИ от AI Safety Fundamentals (или, если нужно что-то покороче, — эта серия статей Ричарда Нго)
  • Наш обзор карьерных возможностей для PhD по машинному обучению
  • Наш обзор карьерных возможностей в программной инженерии
  • Наш обзор карьерных возможностей, связанных с работой в ведущей ИИ-лаборатории

Если вы предпочитаете подкасты, вот несколько релевантных выпусков подкаста 80 000 часов, которые могут вам пригодиться:

  • Dr Paul Christiano on how OpenAI is developing real solutions to the «AI Alignment Problem», and his vision of how humanity will progressively hand over decision-making to AI systems
  • PhD or programming? Fast paths into aligning AI as a machine learning engineer, according to ML engineers catherine olsson & daniel ziegler
  • Dario Amodei on OpenAI and how AI will change the world for good and ill
  • Chris Olah on working at top AI labs without an undergrad degree
  • Jan Leike on how to become a machine learning alignment researcher
  • Richard Ngo on large language models, OpenAI, and striving to make the future go well

Оригинальная публикация: Benjamin Hilton (2023) AI safety technical research, 80,000 Hours, июня.

1 2 3 4