Материалы курса «Стратегия в области СИИ»

Эта подборка объединяет материалы для чтения курса «AGI Strategy» от BlueDot Impact, уже доступные на русском языке.⁠⁠1 Курс знакомит с развитием ИИ, с возможными хорошими и плохими исходами и с мерами, которые помогут направить его к лучшему будущему. Подборка будет пополняться по мере появления новых переводов.

1. Гонка к лучшему будущему

Представить лучшее будущее

  • Подготовка к запуску, Tim Fist, Tao Burga и Tim Hwang

Дополнительные материалы

  • Машины благодати и любви, Dario Amodei
  • Мягкая сингулярность, Sam Altman
  • Соларпанк: видение устойчивого будущего, Joshua Krook
  • Наступила эпоха турбулентности из-за ИИ. Решения, которые мы принимаем сейчас, имеют решающее значение, Bill Gates

Направить гонку к СИИ

  • В поисках динамичного подхода к созданию безопасного сверхчеловеческого ИИ, Helen Toner
  • Вести крупную ИИ-компанию с соблюдением этических норм практически невозможно, Sigal Samuel
  • В поисках стабильности в борьбе за преимущество в ИИ, Iskander Rehman, Karl P. Mueller и Michael J. Mazarr

Дополнительные материалы

  • Эпоха интеллекта, Sam Altman

2. Движущие силы прогресса ИИ

Технические тенденции, движущие прогресс ИИ

  • Триада ИИ и её значение для стратегии национальной безопасности, Ben Buchanan
  • Масштабирование: состояние дел в области ИИ, Ethan Mollick

Дополнительные материалы

  • Как будет выглядеть ИИ в 2030 году?, David Owen

Интеллектуальный взрыв

  • Самый важный момент в истории — сейчас, Tomas Pueyo
  • Революция ИИ: путь к суперинтеллекту, Tim Urban
  • «Длинные» сроки до продвинутого ИИ теперь безумно коротки, Helen Toner

Дополнительные материалы

  • Общее во взглядах «AI 2027» и «ИИ как обычная технология», Sayash Kapoor, Arvind Narayanan, Daniel Kokotajlo, Eli Lifland и Thomas Larsen
  • Управление суперинтеллектом, Sam Altman, Greg Brockman и Ilya Sutskever
  • Когда десятилетия превращаются в дни: разбор «AI 2027», Steve Newman
  • Лаборатория и жизнь: разбор «ИИ как обычная технология», Steve Newman

Ускорится ли прогресс ИИ ещё больше?

  • Открытые споры о будущем ИИ, Helen Toner
  • Почему мнения о том, когда появится мощный ИИ, расходятся?, Sarah Hastings-Woodhouse
  • Общее во взглядах «AI 2027» и «ИИ как обычная технология», Sayash Kapoor, Arvind Narayanan, Daniel Kokotajlo, Eli Lifland и Thomas Larsen

3. Пути к вреду

Карта угроз

  • Катастрофические сценарии с ИИ, Ben Eisenpress
  • Переосмысление моделей угроз СИИ, Richard Ngo
  • ИИ мог бы победить всех нас вместе взятых, Holden Karnofsky
  • ИИ вызывает страхи о биотерроризме. В чём реальный риск?, Kyle Hiebert
  • Перевороты с поддержкой ИИ: как небольшая группа может воспользоваться ИИ для захвата власти, Tom Davidson, Lukas Finnveden и Rose Hadshar

Дополнительные материалы

  • Самые распространённые кибератаки с применением ИИ, Lucia Stanham
  • Подростковые годы технологий, Dario Amodei

Приоритизация угроз

  • Мышление безопасника, Bruce Schneier

Вариант 1: концентрация власти

  • Перевороты с поддержкой ИИ: как небольшая группа может воспользоваться ИИ для захвата власти, Tom Davidson, Lukas Finnveden и Rose Hadshar

Дополнительные материалы

  • Запрос предложений по проблеме крайней концентрации власти, Longview Philanthropy

Вариант 2: постепенная утрата влияния

  • Проклятие интеллекта, Luke Drago и Rudolf Laine
  • Краткое изложение: постепенная утрата влияния, Aniket Chakravorty и Dewi Erwan
  • ИИ и Левиафан: часть I — институциональная экономика интеллектуального взрыва, Samuel Hammond

Вариант 3: катастрофические пандемии

  • Как ИИ может привести к катастрофическим пандемиям, Will Saunter
  • ИИ и эволюция биологических рисков для национальной безопасности: возможности, пороги и меры, Bill Drexel и Caleb Withers
  • Системная карточка: Claude Opus 4 и Claude Sonnet 4 (оценки CBRN), Anthropic

Вариант 4: крах критической инфраструктуры

  • Кибератаки на критически важную инфраструктуру, Allianz Commercial
  • Как ИИ может привести к краху критической инфраструктуры, Li-Lian Ang
  • Кибератака на электросеть: модель угроз с учётом ИИ, Byron Tomes
  • Будущее фишинга, CivAI
  • 3CB: бенчмарк катастрофических киберспособностей, Jonathan Ng, Andrey Anurin, Connor Axiotes и Esben Kran

4. Многоуровневая защита

Уровень 1: не допустить обучения опасного ИИ

  • Проект, Leopold Aschenbrenner

Уровень 2: ограничить опасные возможности ИИ

  • Что такое согласование ИИ?, Adam Jones
  • Введение в контроль ИИ, Sarah Hastings-Woodhouse
  • Практическое руководство по защите весов ИИ-моделей, Sella Nevo, Dan Lahav, Ajay Karpur, Yogev Bar-On, Henry Alexander Bradley и Jeff Alstott

Уровень 3: противостоять опасным действиям ИИ

  • d/acc: год спустя, Vitalik Buterin

Дополнительные материалы

  • Проклятие интеллекта, Luke Drago и Rudolf Laine

5. Как начать вносить вклад

Выбрать подход

  • Мини-пост 3: стать человеком, который действительно что-то делает, Neel Nanda
  • Длинный список полезных направлений, BlueDot Impact

Углубиться в область

  • Политика в области ИИ в правительстве США, Avital Morris

Дополнительные советы

  • Карьерные советы по безопасности СИИ, Richard Ngo
  • Технические исследования безопасности ИИ, Benjamin Hilton
1