Практическое руководство по защите весов ИИ-моделей
По мере того как передовые модели искусственного интеллекта (ИИ) — то есть те, что на момент своей разработки соответствуют или превосходят способности самых продвинутых моделей, становятся всё совершеннее, возрастает значимость их защиты от кражи и злоупотреблений. Особо важны веса модели — настроенные параметры, результат обучения модели на огромных наборах данных. Кража весов даёт злоумышленникам возможность использовать модель в своих целях. Обеспечение защиты ИИ-моделей важно и для национальной безопасности. Разработчикам ИИ и заинтересованным сторонам в отрасли, правительстве и обществе нужен общий язык для оценки угроз, уровня защищённости и её итоговых результатов.
Исследователи RAND разработали первое в своём роде руководство, призванное помочь ИИ-компаниям выстроить защиту от злоумышленников с широким спектром способностей — вплоть до самых изощрённых атак: Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models.1 Ещё отчёт призван содействовать конструктивному диалогу заинтересованных сторон по вопросам стратегий управления рисками и общих эффектов безопасности ИИ.
Здесь представлен краткий обзор отчёта, который
- выделяет 38 существенно различных векторов атак
- исследует разные потенциальные способности атакующих — от преступников-оппортунистов до национальных государств со значительными ресурсами
- оценивает осуществимость вектора атаки для разных категорий злоумышленников
- предлагает и определяет пять уровней инфобезопасности, а также рекомендует предварительные бенчмарки систем инфобезопасности, приблизительно соответствующие этим уровням.
Для предотвращения значительных дыр в безопасности необходимо всестороннее внедрение весьма широкого набора практик. Но несколько рекомендаций должны стать неотложными приоритетами для передовых организаций в сфере ИИ:
- Разработать план инфобезопасности с учётом комплексной модели угроз.
- Централизовать все копии весов в системах с контролируемым доступом и мониторингом.
- Сократить количество лиц с доступом к весам.
- Усилить защиту интерфейсов доступа к модели.
- Применять глубокую защиту для избыточности.
- Внедрить программы по противодействию внутренним угрозам.
- Внедрить технологии конфиденциальных вычислений для защиты весов и уменьшения поверхности атаки.
Некоторые меры нужны для защиты от самых изощрённых атакующих. К ним относятся физические ограничения пропускной способности между содержащими веса устройствами или сетями и внешним миром; аппаратные средства защиты весов моделей, одновременно предоставляющие интерфейс для инференса; а также надёжные, полностью изолированные сети для обучения, исследований и других видов взаимодействия. Поскольку реализация таких мер может занять много времени (например, пять лет), организациям разумно начинать эту работу уже сейчас.
Почему следует уделять особое внимание обеспечению безопасности ИИ-систем, особенно весов моделей?
Продвинутые ИИ-модели могут дать нам повышение производительности труда и улучшение здоровья людей. Но эти перспективы сопряжены с риском злоупотреблений и непреднамеренных последствий развёртывания.
Необходимость защиты передовых ИИ-моделей не только коммерческая. Есть опасения, что риски ИИ-моделей могут иметь значение для национальной безопасности. Так что в оценку рисков инфобезопасности включаются интересы общества.
Потенциальные угрозы очень сложны, особенно когда речь о высокоприоритетных операциях, проводимых национальными государствами. Организации разрабатывают собственные стратегии инфобезопасности на основе своей оценки угроз. Но особенности взглядов безопасников из отдельной организации могут иметь выходящие за её пределы последствия. Все заинтересованные стороны должны прийти к общему пониманию, как стратегии инфобезопасности — будь то добровольные или государственные — воплощаются в реальную инфобезопасность.
Анализ исследовательской группы был сосредоточен на том, как не дать похитить веса ИИ-моделей — их обучаемые параметры. Веса ИИ-модели — это результат многих дорогостоящих вложений в её обучение: значительных вычислительных мощностей, больших объёмов обучающих данных и многолетних исследований талантливейших людей для оптимизации алгоритмов. А завладев весами модели, злоумышленники получат над ней полный контроль.
Исследовательская группа проанализировала разные письменные источники: научную литературу, коммерческие отчёты по безопасности, официальные правительственные документы, сообщения СМИ и другие онлайн-источники. Ещё она провела интервью с почти тремя десятками экспертов, включая госслужащих в сфере национальной безопасности, специализирующихся на инфобезопасности; видных экспертов по инфобезопасности из индустрии; руководителей по инфобезопасности из передовых ИИ-компаний; других руководящих сотрудников оттуда же; независимых специалистов по ИИ с опытом работы в передовых организациях, занимающихся ИИ; и экспертов по внутренним угрозам.
Каковы потенциальные направления атаки?
Исследовательская группа выявила 38 векторов атак, которые потенциальные злоумышленники могут использовать для кражи весов моделей. Эти векторы не чисто теоретические, подавляющее большинство из них уже применялось на практике. В таблице 1 описаны пять распространённых векторов атак и примеры их использования. Они иллюстрируют весь диапазон возможностей атак — от самых простых и обычных, вроде подбрасывания USB-накопителей на парковках, до самых сложных, вроде разработки революционных криптоаналитических инструментов, создать которые под силу лишь наиболее способным субъектам.
Эти примеры дают наглядное представление о способностях разных типов потенциальных атакующих. Полный отчёт содержит подробные описания атак и сотни примеров.
Таблица 1. Пять распространённых векторов атак
| Тип атаки | Пример подхода | Пример из реальной практики |
|---|---|---|
| Социальная инженерия | Фишинг: злоумышленник может обманом заставить легитимного пользователя запустить вредоносный код или непреднамеренно выдать свои учётные данные, обойдя даже многофакторную аутентификацию. | Оценивается, что фишинг — причина ежегодных глобальных убытков в размере 6,9 млрд долларов.2 Продвинутый фишинг можно заказать всего за 400 долларов в месяц.3 |
| Злонамеренное подбрасывание портативных устройств | Размещение подброшенных USB-накопителей: хакеры могут подбрасывать USB-устройства на парковках интересующих их организаций. Рано или поздно какой-нибудь сотрудник подключает такой USB-накопитель к своему рабочему компьютеру, чтобы выяснить, чей он, что позволяет хакеру выполнить код во внутренней сети. Можно даже за 180 долларов купить USB-кабель, который обеспечит удалённое управление компьютером.4 | Несколько ядерных объектов в США были успешно заражены вредоносным ПО через подброшенные USB-накопители.5 |
| Специфичные для ИИ векторы атак | У специфичной для ИИ инфраструктуры, как правило, разветвлённая сеть зависимостей, а ещё она развивается быстрее, чем большинство других видов ПО, что делает её ещё уязвимее для атак на цепочку поставок. Злоумышленники могут намеренно внедрять уязвимости в пакеты с открытым исходным кодом, которые использует стандартная инфраструктура машинного обучения. | PyTorch — пожалуй, самый распространённый в мире фреймворк для разработки в машинном обучении, был скомпрометирован вредоносным пакетом с открытым исходным кодом, который он импортировал.6 |
| Несанкционированный физический доступ к системам | Особо способные злоумышленники могут не только проникнуть на объект, где находится устройство, но и преодолеть разные виды аппаратной безопасности. Один из подходов — скачки напряжения: изменение подаваемого на чип напряжения, что приводит к сбоям в его работе и раскрытию информации, которая должна быть защищена. | Было обнаружено, что чипы AMD, производителя около 23% от всех чипов для настольных компьютеров и серверов в мире, уязвимы к атакам с использованием скачков напряжения.7 |
| Подрыв самой системы контроля доступа | Особо способные злоумышленники могут находить и эксплуатировать уязвимости в базовых криптографических примитивах, лежащих в основе систем шифрования, аутентификации и контроля доступа. Эксплуатация таких уязвимостей подорвала бы многие допущения, на которых строится большинство систем безопасности. | Метод дифференциального криптоанализа, описанный Эли Бихамом и Ади Шамиром в 1991 году,8 подорвал огромный диапазон систем шифрования и аутентификации — большинство тех, которые не были специально от него защищены. Позднее выяснилось, что IBM обнаружила этот тип атак ещё в 1974 году, а затем — что Агентству национальной безопасности он был известен ещё раньше.9 |
Поскольку векторы атак столь разнообразны и многочисленны, меры защиты должны быть разносторонними и всеобъемлющими. Надёжная защита от конкретной категории атак не ограждает организацию от других.
Кроме того, публично известные примеры — лишь часть реальных атак. В ходе проведённых исследовательской группой интервью многие эксперты по национальной безопасности отметили, что подавляющее большинство известных им атак со стороны государственных субъектов со значительными ресурсами никогда не предавалось огласке.
Каковы потребности в инфобезопасности разных ИИ-систем?
Для более детального обсуждения потребностей в инфобезопасности разных ИИ-систем Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models предлагает пять уровней инфобезопасности (SL), каждый из которых в общих чертах определяется как уровень защиты, нужный для предотвращения всё более изощрённых операций:
- SL 1 обеспечивает защиту от дилетантских попыток: хакеров-любителей и нецеленаправленных атак наудачу.
- SL 2, вероятно, способен воспрепятствовать оппортунистическим попыткам профессионалов: как отдельных профессиональных хакеров, так и групп, выполняющих нецеленаправленные или низкоприоритетные атаки.
- SL 3 обеспечивает защиту от киберпреступных синдикатов и внутренних угроз. Это включает всемирно известные преступные хакерские группировки, хорошо финансируемые террористические организации и недовольных сотрудников.
- SL 4 способен сорвать стандартные операции ведущих организаций с высоким киберпотенциалом: например, самых способных группировок, поддерживаемых государствами, и спецслужб.
- SL 5 способен сорвать наименее распространённые, но самые опасные атаки: операции высшего приоритета, проводимые сильнейшими мировыми державами.
Как организации в сфере ИИ могут внедрять соразмерные риску меры безопасности?
Итеративно консультируясь с экспертами, команда определила систему бенчмарков для каждого уровня инфобезопасности (SL). Эта система — ориентировочный инструмент для калибровки взаимосвязи внедрения мер инфобезопасности и ожидаемых результатов для неё. Бенчмарки предлагают конкретные меры и планы действий, которые оцениваются как минимальные требования к системе, соответствующей тому или иному уровню инфобезопасности. Бенчмарки — это не полноценный стандарт и не режим соблюдения. В них есть конкретные рекомендации организациям по дальнейшим шагам.
Несколько ИИ-лабораторий подсчитали, что, если это приоритизировать, чтобы достигнуть SL 3 может понадобиться около года; SL 4 — два-три года; а SL 5 — не менее пяти лет и поддержка со стороны сообщества национальной безопасности. Здесь мы приводим несколько избранных комментариев из обсуждения этих уровней в полном отчёте.
Таблица 2. Бенчмарки уровней инфобезопасности
| Бенчмарк | Обзор |
|---|---|
| SL 1 | На этом уровне организациям следует полагаться на существующие защитные продукты и передовые практики, а не пытаться разрабатывать собственные решения. SL 1 обеспечивает надёжную защиту только от самых слабых злоумышленников. |
| SL 2 | Самое важное на этом уровне — повсеместно внедрить базовые меры безопасности, чтобы не было неустранённых «слепых пятен». Ключевой момент — приоритизация самых распространённых векторов атак: например, надлежащее соблюдение правил о паролях, безопасности электронной почты и многофакторной аутентификации. |
| SL 3 | На этом уровне ключевая цель — снизить риски внутренних угроз (например, со стороны сотрудников компании), что одновременно снижает риск злоумышленников, которые маскируются под инсайдеров или получают неавторизованный доступ к цифровым устройствам сотрудников. Смягчение этих рисков включает сокращение числа лиц с доступом к весам модели, усиление защиты интерфейсов к ним и реализацию глубокой защиты. Бенчмарк включает мониторинг и обеспечение безопасности всей цепочки поставок: ПО, «железа» и даже кондиционеров. |
| SL 4 | Оставшуюся критически важную для инфобезопасности поверхность атаки можно всесторонне укрепить, проверить, отслеживать и подвергать пентестам. Для этого потребуются значительные жертвы в плане продуктивности, удобства и эффективности. Для защиты используемых весов надо внедрить конфиденциальные вычисления. Государственные субъекты обладают обширными возможностями, так что команда инфобезопасности должна иметь специальный опыт противодействия им. |
| SL 5 | Когда они не используются в работе, веса хранятся в полностью изолированном контуре, отключённом от внешнего мира, с чрезвычайно строгими политиками передачи данных, которые не позволяют выносить большие их объёмы за пределы помещения даже лицам с утверждённым доступом. Требуются дополнительные исследования и разработки, чтобы организации могли поддерживать производственные модели при одновременном соблюдении требований безопасности SL 5. Достижение SL 5 в настоящее время невозможно. |
Рекомендуемые меры безопасности
Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models описывает 167 рекомендуемых мер, составляющих бенчмарки безопасности. В этом кратком обзоре приводятся два примера — небольшая выборка из множества важных и осуществимых действий, которые организации могут предпринять для защиты весов своих моделей.
Усиление защиты интерфейсов доступа к весам
Во многих ведущих лабораториях сотни или тысячи сотрудников имеют полный доступ «на чтение» к весам передовых моделей. Любой из них может сделать копию весов, а затем продать её или распространить. Как правило, веса нужны этим сотрудникам в своей работе, но подавляющему большинству из них не требуется возможность их копировать. Эта рекомендуемая мера инфобезопасности гарантирует, что авторизованные пользователи взаимодействуют с весами через программный интерфейс, который снижает риск их неправомерного копирования.
Сочетание трёх простых режимов доступа позволило бы обеспечить сотрудникам разные варианты работы с весами, значительно снизив при этом риск эксфильтрации данных:
- Использование заранее определённого кода, проверенного и одобренного командой безопасности. Это самый логичный выбор для интерфейсов инференса (как внутренних, так и для общедоступных API).
- Более гибкий доступ (включая выполнение пользовательского кода) на сервере с ограниченной скоростью вывода данных, благодаря чему извлечение значительной части весов заняло бы слишком много времени, чтобы иметь практический смысл. Это можно использовать для большинства сценариев исследований и разработок.
- Прямая работа (без ограничений на код или скорость вывода данных) на физически изолированном компьютере. Это может быть полезно в редких случаях, когда требуется полная гибкость, например, при исследованиях интерпретируемости непосредственно на передовых моделях.
Конфиденциальные вычисления
Даже если веса модели (и другие конфиденциальные данные) зашифрованы при передаче и хранении, они расшифровываются и становятся уязвимыми для кражи при использовании. Многие сотрудники, а также киберзлоумышленники с минимальным присутствием в системе, могут похитить веса сразу после их расшифровки перед непосредственным использованием. Конфиденциальные вычисления — метод обеспечения безопасности данных (в том числе во время их использования) путём расшифровки исключительно в рамках аппаратной доверенной среды выполнения (TEE), в которой нельзя запустить небезопасный код. Внедрение конфиденциальных вычислений для защиты весов ИИ-моделей может значительно снизить вероятность их кражи.
Но конфиденциальные вычисления должны быть реализованы правильно:
- TEE должна включать средства защиты от физических атак (нынешние реализации конфиденциальных вычислений в графических процессорах [GPU] этого не обеспечивают).
- Веса модели должны быть зашифрованы ключом, который генерируется и хранится внутри TEE.
- TEE будет выполнять только заданный заранее и прошедший аудит подписанный код. Этот код расшифровывает веса, выполняет инференс и выводит только ответ модели. Код не может выводить веса, ключ шифрования весов или любую информацию, которую модель выдаёт непосредственно.
Использование конфиденциальных вычислений в GPU пока на начальной стадии развития и, возможно, не готово к применению в производственной среде на передовых системах. Но у экспертов есть подавляющий консенсус относительно их важности, и их развёртывание ожидается в ближайшее время.
Как заинтересованные стороны могут использовать Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models?
Сейчас ведутся оживлённые дебаты, в какой степени (и нужно ли вообще) обеспечивать инфобезопасность разных моделей. Целью исследовательской группы было расширение возможностей защиты тех передовых ИИ-моделей, которые признаны требующими защиты на желаемом SL. Это достигается систематизацией знаний о том, какие подходы к инфобезопасности позволяют достичь необходимых результатов, в частности, в контексте защиты ИИ-систем и весов их моделей. Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models способствует принятию обоснованных решений как в частном, так и в государственном секторах:
- Руководители и службы безопасности ведущих ИИ-компаний могут изучить описанные в отчёте векторы атак и множество известных случаев их применения. Многие из опрошенных исследовательской группой экспертов по инфобезопасности были знакомы с одними векторами атак, но о других не знали или же скептически к ним относились. Этот пробел в знаниях может сделать их системы уязвимыми.
- Ещё ИИ-компаниям следует сравнить нынешнее состояние своей защиты с пятью бенчмарками инфобезопасности. Определив, какой из них ближе всего к тому, что у них сейчас, они смогут лучше понять, от каких злоумышленников они, вероятно, защищены, и, что ещё важнее, кто всё ещё представляет для них угрозу. Эти бенчмарки — не предписания, и их детали будут меняться, но они служат полезным инструментом для калибровки.
- Компании могут использовать бенчмарки безопасности для определения следующих шагов по улучшению своей защиты. Если компаниям не хватает конкретных мер инфобезопасности (или альтернатив, более подходящих для их инфраструктуры) для соответствия определённому бенчмарку, им следует в первую очередь сосредоточиться на них. Достигнув одного уровня инфобезопасности, они могут перейти к следующему, чтобы получать дальнейшие рекомендации и определять следующие шаги.
- Ещё бенчмарки безопасности могут стать основой для стандартов и регулирования, давая регуляторам и руководителям базовый набор концепций и мер для оценки, какого уровня безопасности достигли или планируют достичь компании.