Как ИИ может привести к катастрофическим пандемиям
Этот пост был обновлён с учётом выхода Claude 4.5 Opus в ноябре 2025 года.
Хотя ИИ-инструменты открывают новые пути для разработки вакцин, поиска лекарств и диагностики заболеваний, они одновременно снижают барьер для создания угроз пандемий.
В этом посте рассматривается положение дел на сентябрь 2025 года:
-
Передовые американские большие языковые модели (LLM) находятся «на пороге» того, чтобы помочь новичкам в создании биологического оружия, и были выпущены с усиленными мерами безопасности
-
Китайские LLM показывают сопоставимые способности, но гораздо более слабые меры безопасности, и выполняют 94 % вредоносных запросов по сравнению с 8 % у американских моделей
-
Биологические инструменты на базе ИИ поднимают потолок возможностей. В недавнем исследовании создали 16 новых вирусов, и несколько оказались заразнее своих природных прототипов. Исходный код многих высокорискованных инструментов полностью открыт
Создание и высвобождение патогена, способного вызвать пандемию, остаётся сложной задачей, и мало у кого есть и возможности, и мотивация вызвать массовые жертвы. Но следует ожидать, что по мере того, как ИИ-системы будут становиться всё мощнее, это будет всё проще. А COVID показал нам, насколько мы не готовы.
Биология — самая большая уязвимость человеческой цивилизации
COVID-19 убил около 27 миллионов человек по всему миру и нанёс убытки в десятки триллионов долларов. Это продолжает многовековую тенденцию, что пандемии — одни из самых смертоносных для человечества бедствий.
С 1900 года лишь семь крупных катастроф убили больше 10 миллионов человек:
-
Пандемия «Испанки» 1918 года (1918–1920): 50–100 млн погибших
-
Вторая мировая война (1939–1945): ~66 млн погибших
-
Великий китайский голод (1959–1961): ~36 млн погибших
-
Пандемия ВИЧ/СПИДа (1981 — настоящее время): ~33 млн погибших
-
Пандемия COVID-19 (2019–2024): ~27 млн погибших
-
Голод в Китае (1906–1907): 20–25 млн погибших
-
Первая мировая война (1914–1918): ~15 млн погибших
Для сравнения:
-
Все остальные войны с 1800 по 2011 год вместе взятые убили примерно 9 миллионов комбатантов.
-
Все не связанные с болезнями и голодом стихийные бедствия вместе взятые с 1900 года убили примерно 23 миллиона человек.
И неудивительно: самовоспроизводящийся, невидимый патоген, который передаётся от человека к человеку, — это сокрушительный способ быстро убить много людей.
Это не осталось без внимания правительств, террористических группировок и отдельных злоумышленников.
В XX веке масштабные программы разработки биологического оружия были у СССР, Японии, США и многих других государств. Россию, Северную Корею и Китай часто подозревают в том, что у них такие программы есть и сейчас, хоть они и подписали Конвенцию о биологическом оружии.
В 1980-х и 1990-х годах группировки «Раджниши» и «Аум Синрикё» пытались совершить теракты с использованием биологического оружия. У «Аум Синрикё» были открыто апокалиптические цели массовой гибели людей. Атаки с использованием сибирской язвы в 2001 году в США, вероятно, совершил террорист-одиночка Брюс Эдвардс Айвинс — учёный из правительственных лабораторий биологической защиты США в Форт-Детрике.
Синтетическая биология и ИИ открывают новые горизонты
Синтетическая биология
С тех пор как в середине XX века было открыто, что ДНК — основной носитель наследственной биологической информации, началась гонка за понимание фундаментального языка жизни и умение им манипулировать.
Первые примитивные инструменты чтения и редактирования ДНК разработали в 1970-х и 1980-х годах, и с тех пор они становятся всё дешевле и мощнее. В 2025 году секвенирование ДНК (чтение «букв», составляющих «язык» ДНК) обходится в миллион раз дешевле, чем в 2003 году, когда был завершён проект «Геном человека». Первые ферменты для разрезания ДНК, появившиеся в 1970-х годах, могли работать лишь с определёнными участками, а современные системы CRISPR позволяют вносить изменения с точностью практически до нуклеотида.
Помимо чтения и редактирования ДНК, мы можем с нуля писать и «печатать». Синтез ДНК не удешевился так же резко, как секвенирование (сегодня он обходится лишь в 20 раз дешевле, чем в 2005 году), но мы научились создавать более сложные синтетические организмы. Первый полностью синтетический вирус был создан в 2002 году, а первая полностью синтетическая бактерия — в 2010 году. С тех пор мы создали новые бактерии с удалёнными ненужными генами и перекодировали геномы.
Мы уже увидели пользу прикладной синтетической биологии. Производимый бактериями синтетический человеческий инсулин с 1983 года кардинально изменил лечение диабета. Полусинтетический артемизинин для лечения малярии стабилизировал поставки и снизил волатильность цен. мРНК-вакцины от COVID-19 были разработаны и одобрены в 10 раз быстрее любой другой вакцины в истории и, вероятно, спасли миллионы жизней.
Синтетическая биология открыла и новые возможности создания оружия массового уничтожения, далеко за пределами природных.
Генные драйвы — это последовательности ДНК, способные самовоспроизводиться, благодаря чему они передаются всему потомству размножающихся половым путём организмов. Изначально их предложили для придания популяциям комаров устойчивости к малярийному паразиту, и лабораторные испытания показывают их эффективность, но в теории их можно разработать и для сельскохозяйственных культур или даже для людей.
Совсем недавно группа ведущих специалистов по синтетической биологии призвала к осторожности в исследованиях «зеркальной жизни». Это биологические организмы, чьи ДНК и белки — зеркальные отражения встречающихся в природе. Зеркальные белки применяются в медицине, и уже проводились некоторые начальные работы по проектированию таких целых организмов, хотя до возможности реализации ещё десятилетия. Основное опасение здесь — что зеркальные бактерии могут питаться нехиральными (то есть симметричными, совпадающими со своим отражением) веществами. Они могут инфицировать людей, животных и сельскохозяйственные культуры, а нашей иммунной системе будет крайне сложно их распознать и уничтожить. Из статьи о зеркальной жизни:
«Хотя изначально мы скептически относились к тому, что зеркальные бактерии могут представлять серьёзный риск, теперь мы глубоко обеспокоены. Мы не были уверены, что синтезировать зеркальные бактерии возможно, но пришли к выводу, что технологический прогресс, скорее всего, даст это сделать. Мы сомневались в последствиях заражения людей и животных зеркальными бактериями, но тщательный анализ существующих исследований привёл нас к выводу, что инфекции могут быть тяжелыми. В отличие от предыдущих обсуждений зеркальной жизни, мы осознали и что гетеротрофные зеркальные бактерии широкого профиля смогут находить разнообразные питательные вещества в организмах животных-хозяев и в окружающей среде, и поэтому не будут биологически изолированы сами по себе.
Мы призываем к дополнительной проверке наших выводов и дальнейшим исследованиям для лучшего понимания этих рисков. Однако мы придерживаемся мнения, что не следует создавать зеркальные бактерии и другие зеркальные организмы без веских доказательств безопасности. Мы полагаем, что это можно обеспечить с минимальным ущербом для полезных исследований, и призываем к широкому сотрудничеству для определения дальнейших шагов».
Хотя этот конкретный пример пока теоретический, он иллюстрирует, как синтетическая биология может расширить пространство потенциальных биологических угроз за пределы возможного в природе.
ИИ
ИИ-модели уже ускоряют прорывы в синтетической биологии. В частности, Нобелевская премия по химии 2024 года была присуждена разработчикам AlphaFold2 — ИИ-модели, которая предсказывает структуру белков по аминокислотным последовательностям.
Что касается рисков, экспертов беспокоят два направления:
-
LLM расширят круг людей, способных разрабатывать и применять опасные патогены, помогая новичкам планировать эксперименты и преодолевать трудности
-
Биологические инструменты на базе ИИ поднимут максимальный уровень вреда, который могут причинить новые методы синтетической биологии
Большие языковые модели
Anthropic и OpenAI — единственные компании, публикующие подробные оценки своих моделей на способности создавать биологическое оружие. Эти оценки измеряют способность моделей составлять подробные комплексные планы синтеза биологического оружия, решать трудности с экспериментами в «мокрых» лабораториях и обходить проводимый компаниями по синтезу ДНК скрининг безопасности.
Обе компании при выпуске последних моделей заявили, что они очень близки к тому, чтобы помогать новичкам в создании биологического оружия, — и снабдили эти модели соответствующими мерами безопасности.
GPT-5 от OpenAI (август 2025 г.):
«Мы решили относиться к биологическим и химическим способностям этого релиза как к Высоким, и активировали соответствующие защитные меры программы готовности. У нас нет неоспоримых доказательств, что эта модель могла бы существенно помочь новичку нанести серьезный биологический ущерб (наш установленный порог для Высокого уровня), пока что модель на грани достижения этих способностей».
Модель Anthropic Claude 4 Opus (май 2025 г.):
«Результат Claude Opus 4 достаточно близок, поэтому мы не можем исключить ASL-3 [Уровень безопасности ИИ 3]».
«Наш порог способностей ASL-3 в отношении CBRN (химического, биологического, радиологического и ядерного) оружия измеряет способность существенно помочь отдельным лицам или группам с базовой технической подготовкой (например, со степенью бакалавра технических наук) в создании/приобретении и использовании CBRN-оружия».
Модель Anthropic Claude 4.5 Sonnet (сентябрь 2025 г.):
«В целом мы обнаружили, что модель Claude Sonnet 4.5 продемонстрировала лучшие знания биологии и более продвинутое использование инструментов в агентных оценках биобезопасности по сравнению с предыдущими моделями Claude. В частности, она превзошла Claude Opus 4 и Claude Opus 4.1 как в развернутых задачах по вирусологии, так и в нескольких подзадачах оценки скрининга синтеза ДНК, при этом показав схожие результаты во всех остальных оценках. Поэтому мы посчитали уместными защитные меры ASL-3».
Модель Anthropic Claude 4.5 Opus (ноябрь 2025 г.):
«Примечательно, что в ходе испытания, насколько модель повышает способности специалистов, Claude Opus 4.5 оказалась для участников значительно полезнее предыдущих моделей, получила заметно более высоким баллы и допустила меньше критических ошибок. Но модель всё ещё совершала критические ошибки, приводившие к нежизнеспособным протоколам».
«Исключение CBRN-4 для Claude Opus 4.5 менее однозначно, чем нам хотелось бы. Заметная часть нашей неопределённости в отношении этого исключения обусловлена ещё и неполным пониманием необходимых компонентов угрозы. CBRN-4 требует доведения государственной программы создания биологического оружия второго плана до сложности и успешности программы первого плана».
Передовые китайские модели, вроде DeepSeek V3.1, Qwen3 и Kimi K2, демонстрируют сопоставимые с передовыми американскими моделями результаты в области научных и общих рассуждений и математики, хотя нам не хватает подробных оценок о биологическом оружии. Важно отметить, что меры безопасности этих моделей гораздо слабее, чем американских. Исследование, проведённое в сентябре 2025 года американским Центром стандартов и инноваций в области ИИ, показало, что самая безопасная модель DeepSeek (R1-0528) выполнила 94% явно злонамеренных запросов с использованием распространённых методов джейлбрейка, тогда как для использовавшихся для сравнения американских моделей этот показатель составил 8%. То есть, хотя американские лаборатории могут успешно внедрять меры безопасности, китайские модели остаются доступной альтернативой для потенциального злоупотребления.
Биологические инструменты на базе ИИ
«Биологические инструменты на базе ИИ» (БИ) — это собирательный термин для ИИ-моделей, обученных на биологических данных. В отличие от LLM с их общими способностями, они хорошо справляются с одной узкой задачей (например, AlphaFold предсказывает структуру белков).
Самое всеобъемлющее на сегодняшний день исследование БИ охватило 1107 инструментов с самыми разными способностями, включая проектирование вирусных векторов, инженерию белков и прогнозирование взаимодействия хозяина с патогеном. 57 инструментов из этой выборки посчитали «передовыми». 13 из них получили «красную» оценку за высокий потенциал злоупотребления в сочетании с зрелостью технологии. Особо тревожит полностью открытый исходный код 61,5 % инструментов из «красной» категории.
Эксперты до сих пор не пришли к единому мнению, смогут ли БИ создавать более опасные биологические агенты, чем патогены, развившиеся естественным путём. Скептики отмечают, что эволюция шла миллиарды лет; патогены, созданные человеком, вряд ли смогут разом достичь естественного уровня вирулентности, заразности и уклонения от иммунитета. Другие возражают, что эволюция оптимизирует приспособленность патогена, а не вред для человека, а спроектированные ИИ патогены могут быть оптимизированы под свойства, которые эволюция бы не выбрала, вроде большего инкубационного периода или устойчивости к вакцинам.
Чтобы наглядно продемонстрировать возможности передовых BT, рассмотрим «геномную языковую модель» (gLM) Evo 2. Она обучена не на естественном языке, а на последовательностях ДНК более 100 000 различных видов.
В сентябре 2025 года исследователи добились прорыва, использовав Evo 2 для получения первых созданных ИИ новых функциональных геномов. Они построили 16 синтетических вирусов на основе поражающего E. coli бактериофага Phi X 174. Многие из этих синтетических вирусов настолько отличаются от любых известных, что их можно было бы классифицировать как отдельные виды. Более того, некоторые из них оказались значительно заразнее исходного Phi X 174.
Учитывая потенциальные проблемы с биобезопасностью, команда Evo2 исключила из обучающих данных поражающие человека вирусы. Но код, параметры модели и обучающие данные Evo2 полностью открыты, и кто-нибудь достаточно мотивированный, вероятно, смог бы дообучить модель на этих вирусных последовательностях.
[За 2 минуты поиска в Google я обнаружил общедоступное руководство по дообучению Evo2, а также что правительство США поддерживает большую открытую базу данных геномов вирусов человека.]
Окно возможностей для создания средств защиты закрывается
С учётом этих способностей, почему мы до сих пор не видели биотеррористической атаки при помощи ИИ? Ещё есть несколько барьеров. Создание и распространение пандемических патогенов остаётся сложным и требует неявных знаний за рамками того, что дают LLM. Ещё важны навыки работы в «мокрых» лабораториях, доступ к оборудованию и умение решать возникающие проблемы. Мало у кого есть и навыки, и стремление вызвать массовые жертвы. И, что особо важно, ИИ-модели, которые могут оказать значимую помощь, существуют менее года.
Но эти барьеры стираются. LLM становятся всё лучше в интерактивном решении возникающих проблем. Биологическая автоматизация снижает требования к практическим навыкам. Барьеры к способностям падают, так что круг имеющих к ним доступ расширяется. То, что атак пока не было, больше говорит нам о сегодняшних и исторических барьерах, чем о будущем риске.
У нас есть узкое окно возможности, чтобы создать средства защиты от этой угрозы. Всеобъемлющий скрининг синтеза ДНК — ключевое узкое место между проектированием in silico и физическим производством, и он должен стать обязательным и глобальным до того, как разработка геномных последовательностей с помощью ИИ станет легкодоступной. Помимо этого, надо масштабировать существующую инфраструктуру готовности к пандемиям: метагеномное секвенирование для раннего выявления вспышек, запасы средств индивидуальной защиты, готовые к немедленному развёртыванию и технологии мРНК-платформ для быстрого производства вакцин. Многие из нужных технологий уже есть, надо лишь профинансировать и внедрить их.