ИИ и эволюция биологических рисков для национальной безопасности: возможности, пороги и меры
Способности, пороги и вмешательства
Резюме
Вскоре после того, как COVID-19 дал миру представление о катастрофическом потенциале биологических событий, эксперты начали предупреждать, что стремительное развитие искусственного интеллекта (ИИ) может предвещать мир биотерроризма, беспрецедентных супервирусов и новых направленных биологических вооружений. Эти мрачные предупреждения достигли высших эшелонов индустрии и правительства: от генеральных директоров ведущих мировых ИИ-лабораторий, бьющих тревогу по поводу способностей, которые становятся доступны потенциальным биотеррористам, до опасений вице-президента Камалы Харрис, что обеспеченное ИИ биологическое оружие «может поставить под угрозу само существование человечества»a. Если это так, подобное развитие событий подвергнет Соединенные Штаты беспрецедентным катастрофическим угрозам, намного превышающим разрушительные последствия COVID-19. Но для оценки, насколько эти опасения обоснованы и что с ними делать, надо взвесить целый ряд сложных факторов, в том числе:
- Историю и нынешнее состояние биобезопасности в США
- Разнообразные способы, как ИИ может изменить существующие риски биобезопасности
- Какие возникающие технические способности ИИ повлияют на эти риски
- Где сегодня необходимы вмешательства
В данном отчете рассматриваются эти факторы, чтобы предоставить политикам широкое понимание развивающегося взаимодействия ИИ с биотехнологиями и практические рекомендации по сдерживанию наихудших рисков для национальной безопасности от биологических угроз.
Есть разные источники катастрофических биологических рисков. Политики в прошлом недооценивали риски от рутинной деятельности движимых благими намерениями ученых, даже несмотря на то, что число высокорискованных с точки зрения биобезопасности лабораторий и частота опасных инцидентов (возможно, включая сам COVID-19) продолжают расти. Традиционно государственные субъекты — источники значительного риска биобезопасности, не в последнюю очередь из-за шокирующе масштабной советской программы биологического оружия. Но непрактичность и неизбирательность биологического оружия означают, что, хоть Государственный департамент США и выражает озабоченность о потенциальных способностях Северной Кореи, Ирана, России и Китая в области биологического оружия, вряд ли в ближайшем будущем государства станут проводить крупномасштабные биологические атаки. С другой стороны, у «одиноких волков», террористов, апокалиптических группировок и других негосударственных субъектов тревожащая история попыток проведения биологических атак, но успехи были скромными из-за трудностей, присущих созданию и применению столь тонких средств.
Независимо от развития ИИ, стремительные достижения биотехнологий сейчас меняют многие из этих рисков. Сочетание новых методов редактирования и секвенирования генов и инструментов синтеза ДНК открывает в синтетической биологии новые возможности более точных генетических манипуляций, а вместе с ними и новый мир рисков, как создания мощного биологического оружия, так и происшествий. «Облачные лаборатории», которые проводят эксперименты по заказу, могут расширить возможности негосударственных субъектов, позволяя им передавать на аутсорс часть экспериментального опыта, исторически служившего барьером для опасного применения. Большинство облачных лабораторий проверяют заказы на предмет злонамеренных целей, но не все, а совокупность норм, конвенций и мер защиты в сфере биологического оружия оставляет открытым целый ряд путей, позволяющих злоумышленникам добиться немалого прогресса в получении жизнеспособного биологического оружия.
Но мнения экспертов об общем состоянии биобезопасности в США сильно расходятся, особенно в том, что касается опасений о применении биологического оружия негосударственными субъектами. Менее обеспокоенные утверждают, что даже если и есть реальные пути создания биологического оружия, практические аспекты его изготовления, хранения и распространения гораздо сложнее, чем думает большинство, и сопряжены с многочисленными точками потенциальных сбоев, которые обеспокоенные наблюдатели не замечают либо недооценивают. Ещё они указывают, что несмотря на постоянные предупреждения в последние десятилетия крупных биологических атак не было. Более пессимистично настроенный лагерь ссылается на эксперименты, которые, кажется, продемонстрировали лёгкость успешного создания мощных вирусов из коммерчески доступных материалов, а также на, по-видимому, снижающиеся барьеры на пути к информации и способностям, нужным для создания биологического оружия. Менее спорен вопрос о недостаточности системы биологической защиты США для адекватного противодействия крупномасштабным биологическим угрозам, будь то природные, преднамеренные или вызванные случайными происшествиями. Хоть пандемия COVID-19 и показала неспособность правительства США сдержать последствия крупной вспышки, страна добилась лишь небольшого прогресса в снижении вероятности и потенциального ущерба от другой, более опасной биологической катастрофы.
Новые способности ИИ могут несколькими путями изменить ландшафт рисков биологических угроз. ИИ открывает новые возможности, которые в принципе могут позволить технически развитым субъектам настроить биологическое оружие для достижения более точных эффектов, вроде нацеливания на конкретные генетические группы или географические регионы. Эти способности пока остаются гипотетическими, но при их реализации они кардинально изменили бы стимулы государств к применению биологического оружия в стратегических целях. Вместо риска здоровьем своих же военных или граждан при использовании неизбирательного оружия, государства могли бы саботировать продовольственную безопасность других стран или выводить их из строя кризисами общественного здравоохранения, от которых тем вряд ли удалось бы оправиться. И те же методы могли бы привести к созданию супервирусов с оптимизированной заразностью и летальностью, что может сильно повысить разрушительный потенциал биологического оружия. Но эти опасения смягчаются рядом технических трудностей, которые учёным предстоит преодолеть — если их вообще удастся решить.
Самое насущное беспокойство о биологических рисках ИИ касается инструментов, которые уже скоро могут облегчить получение биологических агентов негосударственными субъектами. Недавние исследования показывают, что немного времени осталось до того, как универсальные модели смогут помочь злоумышленникам с получением биологических агентов, которые можно применять в качестве оружия, — хоть сейчас эти ИИ-инструменты и могут оказать лишь незначительную помощь в этом.b Особо беспокоят развивающиеся способности ИИ-систем помогать решать возникающие проблемы в ходе экспериментов, что ускоряет ключевую для разработки действующих биологических агентов петлю обратной связи «проектирование-создание-тестирование-обучение». Если эффективность новых ИИ-инструментов повысится, они могут сильно помочь потенциальным создателям биологического оружия, динамично предоставляя часть необходимых для его производства и применения знаний, хоть и останутся другие значительные и часто недооцениваемые препятствия на пути к его разработке.
Это не единственное, как ИИ может повлиять на биологические риски. Технические неполадки ИИ-инструментов могут привести к тому, что модели не получится удержать от передачи опасной биологической информации потенциальным злоумышленникам или непреднамеренного подталкивания исследователей к разработке вроде бы многообещающих лекарственных средств с неожиданными негативными побочными эффектами. Использование ИИ для создания более продвинутых автоматизированных лабораторий может подвергнуть их многим рискам автоматизации, исторически преследовавшим другие сложные автоматизированные системы, и (в зависимости от внедрённых там мер безопасности) облегчить неспециалистам создание биологических агентов. Наконец, крупные инвестиции в стремящиеся использовать потенциал ИИ в биотехнологии компании и страны могут привести к конкурентной ситуации, в которой скорость ставят выше безопасности. Эти риски особенно остры в случае Китая, где целый ряд других формирующих биотехнологическую экосистему страны факторов тоже способствует рискам затратных происшествий.
Учитывая сложность предсказания научного прогресса, присущую как биотехнологии, так и ИИ, бесполезно пытаться точно предсказать, как и когда в ближайшие годы будут развиваться катастрофические риски на их стыке. В нашем отчёте мы вместо этого выделяем четыре области способностей, за которыми экспертам и политикам стоит следить, поскольку они окажут наибольшее влияние на связанные с ИИ катастрофические риски:
- Способность универсальных моделей эффективно инструктировать по экспериментам в области передовых биологических приложений
- Прогресс облачных лабораторий и лабораторной автоматизации в снижении требований к экспериментальному опыту в биотехнологии
- Прогресс исследований двойного назначения в области генетической восприимчивости к инфекционным заболеваниям
- Прогресс исследований двойного назначения в точной инженерии вирусных патогенов
В ближайшие годы внимательное отношение к этим способностям поможет экспертам и политикам опережать развивающиеся риски.
Пока для сдерживания возникающих рисков на стыке ИИ и биобезопасности следует принять такие меры:
- Дополнительно усилить механизмы проверки в облачных лабораториях и других поставщиках услуг генетического синтеза
- Проводить регулярные и тщательные оценки биологических способностей универсальных моделей, относящихся к полному жизненному циклу биологического оружия
- Вкладываться в механизмы технической безопасности, способные сдерживать угрозы, исходящие от универсальных моделей, — в частности, в усовершенствованные защитные ограничения при облачном доступе к ИИ-инструментам, техники «разобучения» и новые подходы к «информационным угрозам» при обучении моделей
- Скорректировать государственные инвестиции так, чтобы дальше уделять приоритетное внимание оперативности и гибкости систем биологической защиты
- В долгосрочной перспективе рассмотреть возможность введения режима лицензирования для чётко определённого набора инструментов биологического проектирования с потенциально катастрофическими способностями, если они начнут появляться
Введение
В 2020 году COVID-19 поставил мир на колени. Погибли, по оценкам, почти 29 миллионов человек, произошли острые социальные и политические потрясения и мощнейший удар по экономике.c Но последствия этого события могли оказаться и куда тяжелее, если бы вирус был смертоноснее, заразнее или и то, и другое одновременно. Эксперты десятилетиями предупреждали, что человечество вступает в эпоху потенциальных катастрофических пандемий, по сравнению с которыми COVID-19 покажется ещё мягким. История знает немало подобных примеров, взять лишь испанский грипп 1918 года, Черную смерть и Юстинианову чуму. Каждая из этих эпидемий, если перенести их масштабы на современную численность населения, затмила бы COVID-19 по количеству смертей.1
Не меньше беспокоит, что многие эксперты бьют тревогу о возможности преднамеренных биологических атак в предстоящие годы. Прецеденты были: в течение нескольких недель после 11 сентября американским законодателям и СМИ приходили письма со смертоносными спорами сибирской язвы, и последствия этой атаки могли бы оказаться куда тяжелее, разработай преступник более эффективный механизм их распыления. Этот эпизод может предвещать будущее, где более широкий доступ к биологическим способностям позволит стратегическим биологическим атакам от злоумышленников и небольших групп наносить сокрушительный урон правительствам и обществу. В сентябре 2023 года Джефф Алстотт, бывший директор по технологиям и национальной безопасности в Совете национальной безопасности, предупредил, что в засекреченных материалах содержатся сведения о «довольно недавних близких промахах», когда негосударственные субъекты пытались применить биологическое оружие на «стратегическом масштабе».d
Точно оценить, насколько такие мрачные предупреждения соответствуют истине, может показаться практически невозможным. Для этого необходимо трезвое суждение в условиях непрозрачных гипотетических сценариев, паникёрства, отрицания реальности и ужасающих перспектив. Какова бы ни была их вероятность, разрушительный потенциал биологических катастроф, бесспорно, огромен. История полна примерами обществ, вымотанных и даже разрушенных под тяжестью болезней: от губительной эпидемии в древних Афинах во время Пелопоннесской войны до бубонной чумы, парализовавшей Восточную Римскую империю в VI веке, и катастрофической вспышки сальмонеллеза в империи ацтеков в XVI веке.e Критически важно, чтобы лидеры США трезво подошли к оценке рисков биологической катастрофы, которые, по мнению многих, кардинально изменятся в эпоху ИИ.
Лидеры правительства и индустрии выразили серьезную озабоченность, что ИИ может резко повысить риски катастрофических событий в целом и биологических катастроф в частности.f На слушаниях в Конгрессе в июле 2023 года Дарио Амодей, генеральный директор ведущей ИИ-лаборатории Anthropic, заявил, что в ближайшие два-три года есть «существенный риск», что ИИ-инструменты «значительно расширят круг субъектов с техническими способностями для проведения крупномасштабной биологической атаки».g Бывший премьер-министр Великобритании Риши Сунак также выразил острую обеспокоенность, что, возможно, есть лишь «небольшое окно» времени, прежде чем ИИ сможет качественно повысить способности биотеррористов.h Вице-президент США Камала Харрис предупредила об угрозе «разработанного с поддержкой ИИ биологического оружия, которое может поставить под угрозу жизни миллионов людей… [и] само существование человечества».i Это серьезные утверждения. Если они верны, это означает сильный рост рисков биотерроризма. Но верны ли они?
Цель этого доклада — дать чёткую оценку воздействия ИИ на риски биокатастроф. Вначале в нём рассматривается история и текущая картина рисков в сфере биобезопасности США, независимо от связанных с ИИ прорывных изменений. Опираясь на сопутствующий доклад «Катализатор кризиса: введение в искусственный интеллект, катастрофы и национальную безопасность», автор затем рассматривает, как на биориски влияют четыре аспекта безопасности ИИ: новые способности, технические трудности, интеграция в сложные системы и условия развития ИИ.j На основе этого анализа в докладе выделены области будущего развития способностей, которые могут существенно изменить риски крупномасштабных биологических катастроф и заслуживают отслеживания по мере эволюции технологии. Наконец, в докладе приводятся практические рекомендации для политиков по устранению нынешних и краткосрочных рисков биологических катастроф.
Хотя теоретический потенциал ИИ в плане повышения вероятности и последствий биологических катастроф весьма велик, пока что влияние ИИ на биологические риски незначительно. Нет возможности уверенно сказать, воплотятся ли в конечном итоге более серьезные риски и когда, но тщательный мониторинг ряда способностей на стыке ИИ и биотехнологии может дать полезные свидетельства, включая эффективность экспериментальных инструкций, выдаваемых универсальными моделями, изменение потребности в неявных знаниях по мере автоматизации лабораторий, и исследования двойного назначения с поддержкой ИИ, посвященные генетической предрасположенности хозяина к инфекционным заболеваниям и точной инженерии патогенов. Чтобы не оказаться застигнутыми врасплох, политики должны действовать уже сейчас, укрепляя систему биологической защиты США в эпоху ИИ путём усиления механизмов проверки сервисов синтеза генов, регулярной оценки способностей универсальных моделей в области биологического оружия, вложений в ряд механизмов технической безопасности ИИ, и подготовки к введению требований лицензирования продвинутых инструментов биологического проектирования, если их способности начнут приближаться к потенциально катастрофическим.
Kamala Harris (2023) Remarks by Vice President Harris on the future of artificial intelligence, The White House, 1 ноября.
Tejal Patwardhan и др. (2024) Building an early warning system for LLM-aided biological threat creation, OpenAI, 31 января; Christopher A. Mouton, Caleb Lucas и Ella Guest (2024) The operational risks of AI in large-scale biological attacks: results of a red-team study, RR-A2977-2, RAND Corporation; Anthropic (2023) Frontier threats red teaming for AI safety, Anthropic, 26 июля; Emily H. Soice и др. (2023) Can large language models democratize access to dual-use biotechnology?, arXiv, 6 июня.
The Economist (2024) The pandemic’s true death toll, The Economist.
Jeff Alstott (2023) Advanced technology: examining threats to national security, Written testimony Subcommittee on Emerging Threats.
Melissa De Witte (2020) How pandemics catalyze social and economic change, Stanford News, 30 апреля; Ewen Callaway (2017) Collapse of Aztec society linked to catastrophic salmonella outbreak, Nature, т. 542, с. 404; Williamson Murray (2020) On plagues and their long-term effects, Hoover Institution, 24 апреля.
Future of Life Institute (2023) Pause giant AI experiments: an open letter, Future of Life Institute, 22 марта; Center for AI Safety (2023) Statement on AI risk, Center for AI Safety, 30 мая.
Dario Amodei (2023) Oversight of A.I.: principles for regulation, Written testimony Subcommittee on Privacy, Technology,.
James Titcomb (2023) Britain has one year to prevent AI running out of control, Sunak fears, The Telegraph, 25 сентября.
Kamala Harris (2023) Remarks by Vice President Harris on the future of artificial intelligence, The White House, 1 ноября.
Bill Drexel и Caleb Withers (2024) Catalyzing crisis: a primer on artificial intelligence, catastrophes, and national security, Center for a New American Security.