Материалы курса «Стратегия в области СИИ»
Эта подборка объединяет материалы для чтения курса «AGI Strategy» от BlueDot Impact, уже доступные на русском языке.1 Курс знакомит с развитием ИИ, с возможными хорошими и плохими исходами и с мерами, которые помогут направить его к лучшему будущему. Подборка будет пополняться по мере появления новых переводов.
1. Гонка к лучшему будущему
Представить лучшее будущее
- Подготовка к запуску, Tim Fist, Tao Burga и Tim Hwang
Дополнительные материалы
- Машины благодати и любви, Dario Amodei
- Мягкая сингулярность, Sam Altman
- Соларпанк: видение устойчивого будущего, Joshua Krook
- Наступила эпоха турбулентности из-за ИИ. Решения, которые мы принимаем сейчас, имеют решающее значение, Bill Gates
Направить гонку к СИИ
- В поисках динамичного подхода к созданию безопасного сверхчеловеческого ИИ, Helen Toner
- Вести крупную ИИ-компанию с соблюдением этических норм практически невозможно, Sigal Samuel
- В поисках стабильности в борьбе за преимущество в ИИ, Iskander Rehman, Karl P. Mueller и Michael J. Mazarr
Дополнительные материалы
- Эпоха интеллекта, Sam Altman
2. Движущие силы прогресса ИИ
Технические тенденции, движущие прогресс ИИ
- Триада ИИ и её значение для стратегии национальной безопасности, Ben Buchanan
- Масштабирование: состояние дел в области ИИ, Ethan Mollick
Дополнительные материалы
- Как будет выглядеть ИИ в 2030 году?, David Owen
Интеллектуальный взрыв
- Самый важный момент в истории — сейчас, Tomas Pueyo
- Революция ИИ: путь к суперинтеллекту, Tim Urban
- «Длинные» сроки до продвинутого ИИ теперь безумно коротки, Helen Toner
Дополнительные материалы
- Общее во взглядах «AI 2027» и «ИИ как обычная технология», Sayash Kapoor, Arvind Narayanan, Daniel Kokotajlo, Eli Lifland и Thomas Larsen
- Управление суперинтеллектом, Sam Altman, Greg Brockman и Ilya Sutskever
- Когда десятилетия превращаются в дни: разбор «AI 2027», Steve Newman
- Лаборатория и жизнь: разбор «ИИ как обычная технология», Steve Newman
Ускорится ли прогресс ИИ ещё больше?
- Открытые споры о будущем ИИ, Helen Toner
- Почему мнения о том, когда появится мощный ИИ, расходятся?, Sarah Hastings-Woodhouse
- Общее во взглядах «AI 2027» и «ИИ как обычная технология», Sayash Kapoor, Arvind Narayanan, Daniel Kokotajlo, Eli Lifland и Thomas Larsen
3. Пути к вреду
Карта угроз
- Катастрофические сценарии с ИИ, Ben Eisenpress
- Переосмысление моделей угроз СИИ, Richard Ngo
- ИИ мог бы победить всех нас вместе взятых, Holden Karnofsky
- ИИ вызывает страхи о биотерроризме. В чём реальный риск?, Kyle Hiebert
- Перевороты с поддержкой ИИ: как небольшая группа может воспользоваться ИИ для захвата власти, Tom Davidson, Lukas Finnveden и Rose Hadshar
Дополнительные материалы
- Самые распространённые кибератаки с применением ИИ, Lucia Stanham
- Подростковые годы технологий, Dario Amodei
Приоритизация угроз
- Мышление безопасника, Bruce Schneier
Вариант 1: концентрация власти
- Перевороты с поддержкой ИИ: как небольшая группа может воспользоваться ИИ для захвата власти, Tom Davidson, Lukas Finnveden и Rose Hadshar
Дополнительные материалы
- Запрос предложений по проблеме крайней концентрации власти, Longview Philanthropy
Вариант 2: постепенная утрата влияния
- Проклятие интеллекта, Luke Drago и Rudolf Laine
- Краткое изложение: постепенная утрата влияния, Aniket Chakravorty и Dewi Erwan
- ИИ и Левиафан: часть I — институциональная экономика интеллектуального взрыва, Samuel Hammond
Вариант 3: катастрофические пандемии
- Как ИИ может привести к катастрофическим пандемиям, Will Saunter
- ИИ и эволюция биологических рисков для национальной безопасности: возможности, пороги и меры, Bill Drexel и Caleb Withers
- Системная карточка: Claude Opus 4 и Claude Sonnet 4 (оценки CBRN), Anthropic
Вариант 4: крах критической инфраструктуры
- Кибератаки на критически важную инфраструктуру, Allianz Commercial
- Как ИИ может привести к краху критической инфраструктуры, Li-Lian Ang
- Кибератака на электросеть: модель угроз с учётом ИИ, Byron Tomes
- Будущее фишинга, CivAI
- 3CB: бенчмарк катастрофических киберспособностей, Jonathan Ng, Andrey Anurin, Connor Axiotes и Esben Kran
4. Многоуровневая защита
Уровень 1: не допустить обучения опасного ИИ
- Проект, Leopold Aschenbrenner
Уровень 2: ограничить опасные возможности ИИ
- Что такое согласование ИИ?, Adam Jones
- Введение в контроль ИИ, Sarah Hastings-Woodhouse
- Практическое руководство по защите весов ИИ-моделей, Sella Nevo, Dan Lahav, Ajay Karpur, Yogev Bar-On, Henry Alexander Bradley и Jeff Alstott
Уровень 3: противостоять опасным действиям ИИ
- d/acc: год спустя, Vitalik Buterin
Дополнительные материалы
- Проклятие интеллекта, Luke Drago и Rudolf Laine
5. Как начать вносить вклад
Выбрать подход
- Мини-пост 3: стать человеком, который действительно что-то делает, Neel Nanda
- Длинный список полезных направлений, BlueDot Impact
Углубиться в область
- Политика в области ИИ в правительстве США, Avital Morris
Дополнительные советы
- Карьерные советы по безопасности СИИ, Richard Ngo
- Технические исследования безопасности ИИ, Benjamin Hilton
1