Длинный список полезных направлений

автор: BlueDot Impact
Безопасность ИИБиобезопасностьИнформационная безопасностьУправление ИИ
 

Это не исчерпывающий список: тут приведены примеры направлений деятельности, которые помогут вам сориентироваться, а не описана вся работа, которую нужно сделать для благополучного развития ИИ.

Предотвращение обучения опасных ИИ-систем

  • Ускорение разработки методов верификации и укрепление политической воли принять глобальный договор по ИИ. Ссылки: первая, вторая, третья
  • Регуляция вычислительных мощностей: Контроль за производством и распространением передовых микросхем, ввод обязательного лицензирования для крупных запусков обучения (например, свыше 10^27 операций с плавающей запятой) по аналогии с лицензированием ядерных материалов.
  • Международный мониторинг: Введение инспекций по образцу МАГАТЭ для передовых ИИ-лабораторий.
  • Секретность алгоритмов: Отнесение ключевых прорывов в области обучения к государственной тайне
  • ИИ-учёный: Разработка неагентного суперинтеллектуального ИИ

Ограничение опасных возможностей ИИ

  • Фильтрация входных данных (и ещё): Внедрение автоматических классификаторов безопасности, которые будут отыскивать и удалять вредный, предвзятый или отравленный контент из обучающих датасетов до начала обучения модели (подобно фильтрам контентной политики для насилия, разжигания ненависти и персональных данных)
  • Согласование ИИ: Развёртывание конституционного ИИ с явными спецификациями ценностей и RLHF, чтобы гарантировать, что модели следуют заданным принципам полезности, безвредности и честности
  • Интерпретируемость: Продвижение понимания внутреннего хода рассуждений ИИ-систем и использование его для обнаружения вредного поведения или нежелательных целей.
  • Контроль над ИИ: Обеспечение человеческого надзора за потенциально опасным ИИ путём использования доверенных моделей для мониторинга недоверенных, обязательного одобрения человеком решений с серьёзными последствиями и т. д.
  • Устойчивость: Проведение состязательного ред-тиминга для тестирования устойчивости модели к джейлбрейкам, промпт-инъекциям и атакам уклонения перед развёртыванием
  • Защита весов модели: Обеспечение защиты параметров модели с помощью шифрования, конфиденциальных вычислений и систем хранения с контролем доступа для предотвращения их кражи злоумышленниками (в соответствии с концепцией пяти уровней безопасности RAND)

Противостояние опасным действиям ИИ

Биобезопасность

  • Предотвращение появления «нулевого пациента»: Установка норм, препятствующих опасным вирусологическим исследованиям. Повышение биобезопасности в лабораториях BSL-4. Сокращение контактов между людьми и животными и риска зоонозов за счёт сокращения животноводства.
  • Выявление и сдерживание ранних случаев заражения: Организация наблюдения за патогенами в окружающей среде во всех странах. Создание групп быстрого сдерживания (вроде команд GERM) для предотвращения дальнейшего распространения.
  • Минимизация вреда для населения: Разработка кандидатов в вакцины для всех семейств вирусов, заражающих человека. Создание производственных мощностей для выпуска вакцин. Внедрение процедур тестирования всех известных лекарственных средств против новых инфекций. Создание больших запасов средств индивидуальной защиты для работников критически важных профессий.

Кибербезопасность

  • Безопасность памяти: Сокращение 70% уязвимостей программного обеспечения, вызванных ошибками памяти, например, путём рефакторинга библиотек с открытым исходным кодом на C и C++ и их перевода на язык с безопасной работой с памятью, такой как Rust.
  • Ред-тиминг критически важной национальной инфраструктуры: Добиться, чтобы государственные спецслужбы использовали самые передовые модели ИИ для ред-тиминга этой инфраструктуры, конфиденциально сообщали о выявленных уязвимостях поставщикам инфраструктуры и давали им 90 дней на устранение уязвимостей до публичного раскрытия информации.

Мета

  • Просвещение общественности: Повысить массовую осведомлённость о влиянии ИИ на общество и о том, что необходимо для создания полезного ИИ и предотвращения масштабного ущерба.
  • Мобилизация граждан: Использовать беспокойство общественности как демократический рычаг для регулирования.
  • Обучение принимающих решения лиц: Обеспечить политических лидеров и профессиональных политиков (нынешних и будущих) нужной экспертизой для безопасного регулирования ИИ и создания механизмов защиты общества.

Оригинальная публикация: BlueDot Impact (2025) Long list of interventions, BlueDot Impact, 8 сентября.