Как ИИ может привести к краху критической инфраструктуры

автор: Li-Lian Ang
Глобальный катастрофический рискЗлоупотребление ИИИнформационная безопасностьРиск ИИ
 

Наше общество опирается на критически важную инфраструктуру, обеспечивающую чистую питьевую воду, транспортное сообщение для доставки продуктов с ферм в магазины и электроэнергию для снабжения домов и больниц. Даже временная потеря доступа к ней может привести к гибели людей или серьёзному экономическому ущербу.

Кибератаки уже наносили ущерб критически важной инфраструктуре на разных масштабах:

  • Программа-вымогатель поразила компьютерное оборудование Colonial Pipeline, вынудив компанию остановить линии подачи топлива и заплатить выкуп в размере 4,4 миллиона долларов.
  • NotPetya использовал уязвимости в компьютерах с необновлённой Windows. Это привело к тому, что компании Maersk, на долю которой приходится 1/5 мировых морских грузоперевозок, пришлось на неделю полностью остановить работу, а ущерб превысил 10 миллиардов долларов.
  • Кибератаки России на электросеть Украины повредили оборудование, что привело к отключениям электроэнергии.
  • Атака программы-вымогателя на немецкую больницу вынудила её отказывать в приёме нуждающимся в неотложной помощи пациентам. Один из них скончался из-за задержки лечения.

Почему кибератаки?

Физические атаки на инфраструктуру прямолинейны: взорвать электростанцию, разрушить плотину. Но это однозначный акт войны, и понятно, кто их совершил. Немногие обладают военными возможностями для нанесения кинетических ударов, и такие действия чреваты немедленным возмездием.

Кибератаки дают три преимущества:

  • Возможность отрицания: Россия может правдоподобно отрицать атаки на энергосистему Украины. Китай может действовать через своих прокси. На выяснение могут уйти месяцы — и к тому времени ущерб многократно возрастёт.
  • Затраты: никакой взрывчатки, самолётов или десанта. Для кибератаки хватит ноутбуков, доступа в интернет и времени. Порог входа на порядки ниже.
  • Контроль эскалации: кибератаку можно откалибровать — от временного сбоя до необратимого ущерба. Физические атаки — всё или ничего.

Так почему критически важная инфраструктура не рушится ежедневно?

Потому что кибератаки на критически важную инфраструктуру — это сложно. У неё несколько уровней защиты: сегментация сети, контроль доступа и системы безопасности, обеспечивающие аккуратный выход из строя. Злоумышленнику нужно получить доступ, запланировать атаку, внедриться, избежать обнаружения и успешно всё провести.

Даже национальные государства с огромными ресурсами тратят на это годы и часто терпят неудачу. На разработку вредоносного ПО Triton ушло 2 года. Атака на энергосистему Украины потребовала более 6 месяцев подготовки внутри сети перед 30-минутным ударом.

До сих пор сложность была в осуществлении атаки. ИИ это меняет.

ИИ снижает требования к квалификации

Атакующим нужно выяснить, как проникнуть внутрь

Самые частые методы — это целенаправленный фишинг (обман людей для получения доступа) или эксплуатация «zero-days» (уязвимостей ПО, на исправление которых у разработчиков не было ни дня, так как они не знали об их существовании).

Большая часть критически важной инфраструктуры работает на уязвимом коде. 97% приложений зависят от открытого ПО, а в 81% есть уязвимости с критическим риском, позволяющие атакующим получить полный контроль или похитить все данные.

И Stuxnet, и NotPetya начались с эксплуатации неисправленных уязвимостей в открытом ПО.

Эти уязвимости есть, потому что поддержкой открытого ПО занимается лишь небольшая группа добровольцев. Неудивительно, что 91% открытых кодовых баз не получали никаких обновлений более 2 лет.

Превратить уязвимости в оружие сложно

Сообщество открытого исходного кода уже годами бьёт тревогу по этому поводу. Лишь невероятная сложность превращения этих уязвимостей в оружие спасает ПО от краха.

Возьмём, к примеру, атаки с переполнением буфера — распространённую уязвимость ПО, написанного на C/C++. Её причина — что программы ожидают входные данные определённой длины. Предоставив гораздо больший ввод, атакующий сможет перезаписать соседний код. Но что ему туда записать?

Чтобы нанести реальный ущерб, будь то удаление файлов или запуск вредоносного кода, надо точно понимать, какие именно команды приведут к желаемому результату.

Именно поэтому разведка и превращение уязвимостей в оружие — два самых ресурсоёмких этапа кибератак. Злоумышленникам нужны глубокие знания систем своей цели, а не просто список уязвимостей.

Для критически важной инфраструктуры это означает понимание не только программного обеспечения, но и физических процессов, которыми оно управляет: как перегрузить генератор, как отключить предохранительный клапан, как довести химическую реакцию до критического состояния.

ИИ автоматизирует разведку и превращение уязвимостей в оружие

Схема семиэтапной цепочки кибератаки (Cyber Kill Chain), фазы которой показаны как пронумерованные узлы. Они соединены горизонтальной пунктирной линией. Под каждым — иконка и краткое описание.

ИИ может автоматизировать обнаружение уязвимостей в большом масштабе, просматривая миллионы строк открытого исходного кода в поисках недочётов, которые можно эксплуатировать.

Ещё ИИ позволяет применять более изощрённые методы социальной инженерии. Кампании целенаправленного фишинга стало можно масштабно гиперперсонализировать: сбор открытых данных позволяет создавать убедительные сообщения, нацеленные на конкретных сотрудников с доступом к критически важным системам.

Пожалуй, самое тревожное: исследование британского AISI показало, что злоумышленники могут отравить обучающие данные LLM с помощью всего 250 скомпрометированных документов, независимо от размера модели или обучающего корпуса. Поскольку операторы инфраструктуры развёртывают ИИ-системы для повышения продуктивности и даже защиты, эти отравленные модели могут предоставить злоумышленникам встроенные бэкдоры.

ИИ снижает затраты времени

На планирование киберопераций обычно уходят годы. Вредоносное ПО Triton находилось в спящем состоянии 2 года, прежде чем нанести удар. Россия провела 1,5 года внутри украинской электросети, прежде чем за полчаса осуществить скоординированную атаку.

Такой медленный темп даёт защитникам шанс обнаружить атакующих и отреагировать до того, как они нанесут ущерб. Каждое мгновение бездействия атакующего снижает его шансы на успех.

ИИ сокращает время полномасштабных киберопераций с лет до месяцев.

Китайские злоумышленники использовали Claude для автоматизации девятимесячной кибератаки на инфраструктуру Вьетнама, нанеся ущерб телекоммуникациям, правительственным базам данных и системам управления сельским хозяйством. Задачи, на которые обычно уходят усилия целых команд, теперь с помощью ИИ выполняются быстрее и качественнее.

ИИ сокращает время проведения атаки с часов до минут.

Исследователи из Anthropic и Университета Карнеги-Меллона продемонстрировали, что с помощью фреймворка Incalmo, который координирует работу LLM, им удалось за 12–70 минут и менее чем за 1 доллар скомпрометировать 50 % корпоративных сетей размером от 25 до 50 хостов. Даже более слабые модели с использованием Incalmo превзошли более мощные, работающие без этого фреймворка.

Отдельная команда из Нью-Йоркского университета создала автономную полиморфную программу-вымогатель, которая планирует, адаптирует и осуществляет уникальные атаки за 70 центов. Для её создания использовались модели с открытыми весами, пара GPU и обычные компьютерные комплектующие.

Чем быстрее исполняется атака, тем меньше есть времени на срабатывание систем защиты от сбоев или на принятие операторами решений, как реагировать. Это особенно опасно для критически важной инфраструктуры.

Хоть на мгновение запоздавшая реакция на атаку на электросеть — и есть риск перегрузить генератор, а доставка замены займёт недели. У служб безопасности больниц может быть всего несколько секунд, чтобы «отключить» системы, используемые для проведения операций, выписки рецептов и записи на приём, — иначе есть риск потерять все данные.

При современных скоростях кибератак у операторов есть всего несколько минут на принятие решения. По мере того как атаки становятся всё быстрее, людям, возможно, придётся полагаться на ИИ-системы для принятия критически важных решений.

Опора на защитные ИИ-системы создаёт новые риски.

Атаки «отравления данных» могут превратить защитный ИИ в точку входа для злоумышленников или позволить им легко отключить системы защиты.

Нам придётся доверить ИИ-системам, которые мы не до конца понимаем, принятие необратимых решений по вопросам жизни и смерти в нашей критически важной инфраструктуре.

Кибернаступательный потенциал ИИ быстро совершенствуется

Впервые передовые модели требуют усиленного мониторинга безопасности: системные карточки как Claude 4.5 Sonnet, так и Gemini 2.5 Pro документируют вызывающие беспокойство результаты выполнения наступательных киберзадач.

Нынешние модели пока не могут автономно проводить полный цикл киберопераций — от разведки до атаки. Но разрыв быстро сокращается.

Оценки в системных карточках показывают, на что модели способны в изоляции. Реальная угроза исходит от того, чего исследователи могут от них добиться. Методы постобучения, такие как обвязка (цепочка вызовов модели с доступом к инструментам), лучший промптинг и дообучение, повышают наступательный потенциал модели ещё до релиза следующей версии.

Например, в одном окружении модель Claude 3.5 Haiku с использованием обвязки Incalmo успешно похитила все 25 целевых файлов, тогда как более крупная модель Claude Sonnet 3.5 без обвязки справилась лишь с одним. Это показывает, насколько подходящий инструментарий увеличивает возможности модели по сравнению с её базовым уровнем.

Хрупкое равновесие кибернападения и киберзащиты нарушается. Для критически важной инфраструктуры, где каждая минута на счету, а сбои приводят к гибели людей, это не абстрактная проблема безопасности. Речь о том, смогут ли операторы энергосетей, больничные системы и водоочистные сооружения защититься от атак, развивающихся быстрее, чем способны отреагировать люди.


Оригинальная публикация: Li-Lian Ang (2025) How AI could enable critical infrastructure collapse, BlueDot Impact, 15 октября.