3CB: бенчмарк катастрофических киберспособностей
В новейшей статье Apart Research, Catastrophic Cyber Capabilities Benchmark (3CB): Robustly Evaluating LLM Agent Cyber Offense Capabilities, представлен новый бенчмарк наступательных киберспособностей.
Этот блогпост опубликовали Джонатан Ын, Андрей Анурин, Коннор Аксиотес и Эсбен Кран.
В новейшей статье Apart Research, Catastrophic Cyber Capabilities Benchmark (3cb): Robustly Evaluating LLM Agent Cyber Offense Capabilities (веб-сайт), приведён новый бенчмарк наступательных киберспособностей, решающий проблемы их однозначности, охвата и обобщения информации о них.
Мы взялись за создание бенчмарка 3cb, поскольку разработка суперинтеллектуального ИИ, способного на автономные кибероперации, стала бы большим риском для человечества. Так что надёжные оценки наступательных киберспособностей будут как никогда важны для законодателей и разработчиков ИИ.
3cb использует новый тип классификации задач наступательных киберопераций и придерживается принципа «демонстрации как оценки» для повышения однозначности и охвата. Он включает 15 оригинальных задач, которые модели не могли заучить заранее, что отличает его от других бенчмарков, использующих для оценки моделей прошлые CTF-соревнования или пулл-реквесты.
Агенты и киберспособности
LLM-агенты могут произвести революцию в оборонительных кибероперациях, но их наступательные способности пока изучены не до конца. Чтобы подготовиться к возникающим угрозам, разработчики и правительства оценивают киберспособности моделей в основе агентов. Но таким оценкам часто не хватает прозрачности и всестороннего анализа наступательных способностей.
В ответ на это мы представляем Catastrophic Cyber Capabilities Benchmark (3CB) — новую платформу, предназначенную для надёжной оценки наступательных способностей LLM-агентов в реальном мире. Наша оценка современных LLM по 3CB показывает, что передовые модели, вроде GPT-4o и Claude 3.5 Sonnet, способны выполнять наступательные задачи — например, разведку и эксплуатацию — в разных областях — от анализа двоичных файлов до веб-технологий.
А вот более мелкие модели с открытым исходным кодом демонстрируют ограниченные наступательные способности. Наше ПО и прилагающийся бенчмарк дают важный инструмент для преодоления разрыва между стремительно растущими способностями моделей и устойчивостью оценок способностей к наступательным кибероперациям, что способствует более безопасному развёртыванию и регулированию этих мощных технологий.
Почему 3cb?
Автономные наступательные кибероперации — ключевой фактор риска компетентного обобщённого интеллекта. Поэтому достоверные оценки способностей к кибератакам важны для законотворцев и для определения мер управления лабораториями для снижения риска ИИ.
В ходе бесед с учёными, командами из AISI, Anthropic и другими частниками мы обнаружили обширную коллекцию бенчмарков, которые, как правило, 1) используют существующие CTF-соревнования и 2) оценивают конкретное подмножество киберспособностей. Вы можете ознакомиться с некоторыми примерами в Cybench, InterCode-CTF, NYU CTF и CYBERSECEVAL.
Наш проект стартовал ещё до появления многих из этих оценок кибербезопасности, но мы ещё и обнаружили, что в большинстве из них не проводится систематического исследования наступательных киберспособностей LLM. По сути, это наборы задач, относящихся к некоторым общим категориям (например, реверс-инжиниринг, веб и криптография), но без каких либо гарантий как полноты охвата бенчмарка, так и его обобщения.
Ценность 3cb в использовании классификации техник наступательных киберопераций MITRE ATT&CK. Это сборник из более чем 637 подробно задокументированных и проиллюстрированных примерами техник, классифицированных по 14 стратегиям, нужным для проведения наступательных киберопераций.
- Учитывая долгую историю использования ATT&CK в сфере кибербезопасности, мы ожидаем, что это будет одно из самых полных описаний реально применяющихся техник кибератак.
- Мы составили 15 оригинальных задач, которые LLM не могли заучить из существующих CTF-соревнований, и обеспечиваем полный охват как минимум одной техники в каждой из 14 стратегий.
Благодаря охвату нашего подхода к кибератакам мы ожидаем, что это сделает оценки LLM более понятными для законодателей.
Ещё мы придерживаемся принципа «демонстрации как оценки», согласно которому каждая задача представляет собой реалистичную демонстрацию данной техники в реальных условиях. Так законодатели получат не только точные метрики охвата, но и конкретные примеры вроде «3cb показывает, что модель X смогла выполнить те же опасные задачи, которые использовались NotPetya для нанесения ущерба в 1,8 млрд долларов».
Мы надеемся, это проложит путь к более однозначным, достоверным и обобщаемым бенчмаркам, оценивающим способности к кибератакам.
Задачи
Каждая задача определяется одним конфигурационным файлом, который задает:
- среду-песочницу для LLM-агента, включая любые нужные файлы и скрипты инициализации;
- правила оценки, вроде максимального количества ходов-действий;
- разные промпты и свойства выявления способностей агента.
Например, задача может включать домашний сервер агента и удалённый сервер с уязвимым SSH-соединением и важным файлом (например, sshhijack).
В каждой задаче цель агента — найти заранее определённую секретную строку («флаг»). Вы можете исследовать реализацию как задач, так и обвязки в нашем репозитории на GitHub.
Например, GPT-4o успешно выполнила чрезвычайно сложную задачу rce, продемонстрировав способность проводить открытое исследование и эксплуатировать уязвимости с помощью многоэтапных творческих стратегий решения проблем. Задача rce заключалась в проведении разведки с помощью сканирования портов для обнаружения уязвимого сервиса на Python, и, затем, использования выполняющего произвольные команды эндпойнта для чтения файла.
У способностей LLM всё ещё есть удивительные для нас ограничения. В нашем случае только GPT-4o преуспела в относительно простой задаче поиска пароля в длинной истории команд bash. Но мы всё же считаем, что современные передовые модели уже представляют высокий риск, поскольку Claude и GPT-4o справляются с большинством задач. Они способны:
- Перехватывать SSH-каналы для чтения данных с третьих машин.
- Создавать программы, которые ведут себя иначе, когда пользователь отлаживает процесс.
- Извлекать информацию из зашифрованного двоичного файла с удалёнными отладочными символами.
- …и многое другое!
Результаты
На сайте нашей статьи можно удобно посмотреть, как выглядят результаты прогонов.
Наши тесты продемонстрировали, что модель способна на командование и управление скомпрометированными системами с помощью стеганографии через IP-пакеты (nodecontrol), понимает принципы повышения привилегий (setuid) и умеет перемещаться по сети через перехват SSH (sshhijacking).
С другой стороны, bashhist — задача, которую мы считали очень простой (пароль root был указан в открытом виде в истории команд bash), — дала один из самых низких показателей выполнения (3 %). (Возможная причина этого — модели могли отвлечься на все команды, расположенные выше и ниже пароля).
Наилучшие результаты показали самые мощные модели: Claude 3.5 Sonnet (75 %) и GPT-4o (73 %). Открытые модели, вроде Llama 3.1 405b (69 %) и Qwen 2 (47 %), тоже не тормозят и близко за ними следуют.
GPT-4o смогла решить даже нашу сложнейшую задачу: посмотрите прогон rce у GPT-4o — пример успешного извлечения способностей, в котором модель показала умение планировать и вовремя прекращать исследование тупиковых путей, чтобы довести до конца сложную задачу. (на нашем сайте, выберите GPT-4o, потом найдите задачу rce и перейдите к ней).
Хоть эта задача была решена лишь один раз за все наши испытания, это всё равно важно. Как говорится: «Защитники должны обеспечивать безопасность в 100 % случаев, а атакующим достаточно добиться успеха всего один раз».
Обвязка
Техническая реализация полагается на Docker-контейнеры в создании изолированных и воспроизводимых тестовых сред. Наша обвязка использует интерфейс TTY (терминал), который поддерживает такие функции, как пагинация, управляющие последовательности (^C) и прокручиваемый вывод.
Обвязка реализует специфические протоколы связи для структурирования взаимодействия — например, использует блоки кода Markdown для чёткого отделения команд от рассуждений.
Помимо базового интерфейса, обвязка выполняет несколько критически важных функций: она управляет средой, сбрасывая контейнеры между запусками и поддерживая состояние системы, преобразует выводы LLM в допустимые действия системы (и наоборот), отслеживает условия успеха и неудачи и непрерывно протоколирует данные взаимодействия для отладки и анализа. Вы можете подробнее почитать о наших Эпических хакерских приключенияхздесь.
Недостатки 3cb
Проект начался до публичного релиза высококачественного фреймворка Inspect от правительства Великобритании, и мы обнаружили, что стандарт задач METR тогда находился лишь на ранней стадии развития (а сейчас, похоже, практически заброшен).
В итоге мы разработали собственную обвязку, поддерживающую однофайловую настройку задач и агентов без написания кода, но сейчас она из-за появления Inspect практически устарела. Делай мы это сегодня, мы бы вносили вклад непосредственно в Inspect, обеспечивая совместимость всех задач с его интерфейсом.
Из-за меньшего бюджета на вычислительные мощности мы не могли часто делать YOLO-запуски (каждый полный прогон обходился бы примерно в $500), так что мы не смогли полностью обойти более эффективную настройку o1 на безопасность.
При ручной проверке мы не обнаружили значимого влияния отказов на наши результаты, но забавно, что традиционные маркеры, вроде извинений, ассоциировались с тем, что модели оправдывали свою некомпетентность.
Мы пытались сделать задачи максимально реалистичными, но создавать такие в лабораторных условиях попросту тяжело. Мы сознательно не касаемся социальной манипуляции, поскольку она охватывается другими бенчмарками, но в реальных условиях сценарии кибератак будут не ограничиваться интерактивными bash-средами, а пересекаться с интерактивными социальными средами. Даже с учетом наших результатов мы не можем заявлять об обобщении на реальный мир.
Мы ожидаем, что наши задачи окажутся «игрушечными» по сравнению с реальным положением дел, и могут не дотягивать по уровню реалистичности на фоне лучших достижений в этой области. Однако задачи других бенчмарков кажутся еще более «игрушечными».
Мы полагаем, что самые передовые разработки ведутся в лабораториях СИИ, AISI и у их наиболее компетентных подрядчиков (таких как Pattern Labs).
Куда двигаться после 3cb?
В сфере оценки способностей к автономным кибератакам идут активные исследования, и мы полагаем, что специалисты в этой области компетентно решат данную проблему. Наши основные опасения по поводу таких оценок заключаются в том, что они
- непонятны для законодателей,
- часто нереалистичны или имеют недостаточный охват,
- лишены теории изменений.
Вот, на наш взгляд, важные следующие шаги снижения риска автономных наступательных киберспособностей ИИ:
- Решить проблему охвата и расширить 3cb на все 600+ техник в рамках фреймворка ATT&CK. Одновременно следует улучшить отчётность и возможность проведения детализированных оценок внутри задач (например, с помощью надзора за действиями и аннотаций).
- Улучшить рабочие процессы CI/CD для оценок СИИ, интегрируя интерфейсы всех оценок. Исходя из нашего опыта, мы настоятельно рекомендуем сделать следующий проект совместимым с Inspect. Это повысит удобство внедрения, скорость итераций и эффективность вытекающих политик «если — то» в управлении ИИ.
- Предложить дополнительные решения по контролю в рамках политик «если — то», которые приведут либо к более качественному контролю за действиями ИИ (например, «разобучение»), либо к механизмам автономного отключения (например, если ИИ способен создать самовоспроизводящийся вирус, то отключить его), либо к проектам интерпретируемости, использующим оценку для понимания моделей (например, в чём разница между прошедшими RLHF моделями и исходными).
- Крупномасштабное освещение результатов основных оценок, чтобы широкая общественность, законодатели и другие заинтересованные лица считали эти оценки понятными и значимыми. Учитывая возможные катастрофические риски, кибервойны и дисбаланс нападения и защиты, крайне важно, чтобы лица, принимающие решения, знали о возможных последствиях. Это могут быть регулярные пресс-релизы, наглядные интерактивные демонстрации или CI/CD отчётов о результатах регулирующим органам.
Это, конечно, не исчерпывающий список, но он должен указать нам правильный курс.
Как вы можете помочь
- Отправьте пулл-реквест, чтобы интегрировать наши задачи и обвязку с Inspect.
- Профинансируйте нашу дальнейшую работу над подобными проектами.
- Представьте бенчмарк законодателям и сообщите о результатах.
Мы благодарим Foresight Institute за поддержку этой работы в рамках их гранта по безопасности ИИ. Мы также выражаем признательность множеству людей со стороны Apart, участвовавших в рецензировании черновиков, организации ценных обсуждений и поддержке нашей работы. Этот труд был бы невозможен без полезных бесед с представителями Института безопасности ИИ, сотрудниками Anthropic и OpenAI и многими другими.