Подготовка к запуску

Введение в «Цикл запуска»: почему важно корректировать прогресс ИИ и как это делать

автор: Tao Burga, Tim Fist и Tim Hwang
Дифференциальный прогрессИскусственный интеллектИсследования прогрессаМетанаукаТрансформативный искусственный интеллектУправление ИИ
 

Это эссе — предисловие к «Циклу запуска», сборнику конкретных и амбициозных идей по подготовке мира к появлению продвинутого ИИ. Для реализации этих проектов нужны люди. Свяжитесь с нами.

Если абстрагироваться от споров о конкретных способностях каждой новой ИИ-модели, историческая динамика развития ИИ очевидна: его способности всё накапливаются, и приближается нечто трансформативное. Хоть современные агенты всё ещё и путаются в длинных последовательностях действий, их (измеряемая относительно человеческой) эффективность в программировании, математике, использовании инструментов и научном анализе растёт экспоненциальными темпами. Если так продолжится с всё большим числом областей, то в следующем десятилетии ИИ преобразит экономику, науку и основы национальной мощи.

График с экспоненциальной кривой, показывающей, сколько времени надо человеку-эксперту на выполнение программистских задач, которые передовые LLM могут выполнить в 50 % случаев. От GPT-2 до GPT-5 значения растут от почти нуля в 2019–2022 годах до более чем двух часов к 2025 году.
Производительность ИИ в программировании. Источник: METR

Но технологические траектории не предопределены. ИИ не берётся автоматически в первую очередь за самые важные проблемы и по умолчанию не нейтрализует созданные им же новые риски. Многие предложения, направленные на «максимизацию пользы ИИ» при «минимизации его рисков», бьют мимо цели или крайне неамбициозны. В этом эссе мы излагаем основные аргументы в пользу того, чтобы Соединённые Штаты проактивно направляли развитие ИИ, ускоряя разработку как полезных, так и защитных технологий:

  • Развитие ИИ зависит от выбранного пути: важна последовательность шагов, где и в каком порядке разрабатываются новые способности, может быть не менее важно, чем какие именно.
  • Учитывая своё положение в цепочке поставок ИИ и статус самой могущественной демократии в мире, Соединённые Штаты обязаны корректировать развитие ИИ в сторону пути, который способствует процветанию человечества, а не препятствует ему.

Такое проактивное влияние на технологии не беспрецедентно. США неоднократно меняли траекторию развития новых технологий: от расщепления атомного ядра до космических полётов и мРНК. В эпоху ИИ мы продвигаем четыре руководящих принципа:

  1. Мы должны пользоваться «неровностью» способностей ИИ.
  2. Мы не должны пренебрегать ценой застоя прогресса.
  3. Мы должны пересмотреть принципы работы многих своих научных учреждений.
  4. Мы должны адаптироваться к глубокой неопределённости, одновременно работая над её снижением.

Эти принципы лежат в основе «Цикла запуска» — набора конкретных, амбициозных проектов по ускорению развития науки и укреплению безопасности в значимые сроки.

Зачем корректировать прогресс ИИ?

Американские компании делают на ИИ огромную ставку. Около двух лет назад расходы на расширение производств компьютерных чипов превысили все остальные траты на строительство производств. А расходы на сооружение датацентров для обучения и развёртывания ИИ-моделей, вероятно, скоро превысят затраты на офисы для сотрудников-людей.

График годовых расходов на разное строительство в США в миллиардах долларов с 2020 по середину 2025 года. Расходы на объекты для производства компьютеров резко возрастают с примерно 5 млрд долларов в начале 2021 года до более чем 110 млрд долларов в 2024 году. У прочей (кроме компьютеров) обрабатывающей промышленности аналогичная тенденция роста. Строительство офисов (без датацентров) сокращается с примерно 70 млрд долларов до 45 млрд долларов. Строительство датацентров стабильно растет с примерно 5 млрд долларов до 35 млрд долларов.
Расходы на строительство связанной с ИИ инфраструктуры в США. Авторство графика: @JosephPolitano; источник: Бюро переписи населения США

Эти вложения могут помочь решить некоторые из наиболее насущных проблем человечества — от поиска методов лечения тяжёлых заболеваний за счёт ускорения разработки лекарств до новой научной революции благодаря открытию новых материалов и инструментов.⁠⁠1 В более широком смысле ИИ будущего может запустить новый «золотой век» роста и изобилия. Но технологический прогресс — не сверхъестественная сила, в первую очередь решающая самые важные проблемы. Чтобы не упустить преимущества прогресса ИИ, нам надо решить две масштабные проблемы.

1. Польза прогресса ИИ может проявиться недостаточно быстро

Нынешние коммерческие стимулы могут не дать многим преимуществам прогресса ИИ проявиться достаточно быстро (или вовсе) самим по себе. Конкретное применение может создавать те общественные блага, что рынок склонен недооценивать, или предложение которых на рынке, как правило, недостаточно, или быть сопряжено с высоким риском и требовать значительных первоначальных инвестиций. Например, рынки сами по себе могут не уделить внимания ИИ, автоматизирующему воспроизведение научных исследований,⁠⁠2 или изучать новые методы лечения, которые невозможно запатентовать, или проводить фундаментальные исследования нейробиологии без непосредственного коммерческого применения.⁠⁠3

Недавняя волна новых государственных⁠⁠4, частных⁠⁠5 и некоммерческих проектов по использованию ИИ в науке⁠⁠6 не изменила того, что мы по-прежнему далеки от полноценного использования новых способностей ИИ для ускорения решения важнейших мировых проблем. Да и на устранение многочисленных структурных барьеров, мешающих реализации преимуществ научных открытий с поддержкой ИИ, направлено недостаточно усилий. Развёртывание новых технологий чистой энергии, вероятно, столкнётся с практически бесконечной чередой вето со стороны природоохранных организаций. Излишне обременительная процедура одобрения FDA, скорее всего, затянет на годы разработку новых лекарств. Сочетание неэффективных стимулов и устаревших государственных компьютерных систем не даёт использовать многие полезные научные датасеты для обучения ИИ.⁠⁠7 А несовершенная модель финансирования, при которой руководители исследований по грантам тратят почти половину своего времени на бюрократию, сдерживает государственные исследования.

2. Прогресс ИИ может нести риски, для устранения которых у индустрии мало стимулов

Передовые ИИ-агенты для программирования, значительно повышающие продуктивность по всей экономике, могут быть направлены и на безустанный поиск и эксплуатацию уязвимостей критически важной инфраструктуры. ИИ-системы, способные глобально ускорить темпы медицинских исследований, могут помочь и в разработке биологического оружия. У ведущих ИИ-лабораторий есть некоторые стимулы предотвращать злоупотребление своими моделями, но баланс щита и меча у новых способностей ИИ в областях вроде хакерства и биологии остаётся неизвестным. В информатике и экономике нет твёрдого закона, гласящего, что оборонительные способности обязательно растут синхронно с наступательными. В худшем случае стимулы компаний инвестировать в предотвращение злоупотреблений могут оказаться ничтожными по сравнению с масштабом рисков для общества новых ИИ-технологий.

Предложения сообщества безопасности ИИ часто вызывают критику, что их решения в основном опираются на хрупкий контроль «сверху вниз», вроде режима лицензирования всех моделей, обучение которых требует вычислений выше определённого порога. Критика обоснована, но проблема никуда не девается: злоупотребления и несогласованность ИИ вполне могут нанести реальный ущерб уже в ближайшем будущем, а техническими исследованиями решения этих проблем пренебрегают: на них приходится около 2 % публикуемых статей по ИИ, а финансирование составляет примерно 100 миллионов долларов в год.⁠⁠8 Более того, отчасти из-за склонности к нераспространению, исследователи безопасности ИИ уделяют недостаточно внимания решениям, исходящим из того, что неизбежно быстрое распространение опасных способностей ИИ.⁠⁠9 Очень мало проектов используют ИИ для создания технологий, которые дадут защите асимметричное преимущество над нападением в условиях, когда мощный ИИ широко распространён и очень дёшев.

Нам нужно проактивно выработать законы и совершать государственные инвестиции для решения этих проблем. Фразы вроде «максимизировать выгоды ИИ и минимизировать риски» уже стали клише, но предложения и проекты с этими целями зачастую так себе направлены или недостаточно амбициозны.

В IFP мы применяем идеи исследований прогресса, оборонительного акселерационизма и дифференциального технологического развития, чтобы действительно обеспечить реализацию пользы ИИ и эффективно снизить его риски. Мы пытаемся понять правильную последовательность технологий, которые должны разработать США, чтобы быстрее воплотить в жизнь обеспеченный ИИ «золотой век» и своевременно создавать защитные меры, нужные для безопасного прохождения этого переходного периода. Мы изучаем стимулы, стратегии развития области, механизмы финансирования и меры по (де)регулированию, которые бы позволили быстро масштабировать исследования и разработки решения этих задач. Для успеха, прежде всего, требуется, чтобы Соединённые Штаты взяли на себя ответственность за корректирование будущей траектории ИИ.

Мобилизация мировых исследований и разработок

Как мы отметили в основополагающей статье IFP, развитие и развёртывание технологий значительно зависят от выбранного пути. То, где и в каком порядке создаются технологии, может быть не менее важно, чем то, какие. Искусственный интеллект, вероятно, зависит от пути особенно сильно:

  • Модели общего назначения сегодня — самые мощные. У них обширное пространство возможных применений, как хороших, так и плохих.
  • Многие наступательные способности ИИ имеют и оборонительную сторону. ИИ может помочь разрабатывать новые смертоносные вирусы, но и более эффективные системы мониторинга патогенов для борьбы с пандемиями тоже. ИИ может взломать защищённые компьютерные системы, но может и помочь проактивно выявлять и устранять уязвимости. То, наступательные или оборонительные способности будут реализованы первыми, может сильно повлиять на то, воплотятся ли новые риски ИИ и каким образом.
  • Прогресс ИИ чувствителен к начальным условиям. В приложениях с большими объёмами обучающих данных (вроде проектирования белков) и/или без особых физических узких мест (вроде разработки алгоритмов) способности будут расти быстро. Поэтому направленные вмешательства для изменения этих начальных условий могут поменять порядок развития наступательных и оборонительных способностей.

Учитывая эту зависимость от траектории, на Соединённых Штатах лежит ответственность за направление развития ИИ по пути, который обеспечивает процветание человечества, а не подавляет его. Один из вариантов будущего можно представить, взглянув на Китай, где КПК последовательно развёртывает систему массового наблюдения с поддержкой ИИ для мониторинга своих граждан как внутри страны, так и за рубежом.

Соединённые Штаты обладают и силой, чтобы направлять развитие ИИ. США — самая могущественная демократия в мире, и вместе с нашими союзниками мы обладаем преимуществом на большей части цепочки поставок ИИ. По состоянию на прошлый год инвестиции частного сектора США в ИИ более чем в десять раз превышали инвестиции любой другой страны.

Горизонтальная гистограмма инвестиций частного сектора в ИИ по странам в 2024 году в миллиардах долларов. Соединенные Штаты лидируют с 109,1 млрд долларов, что примерно в двенадцать раз превышает показатель Китая (9,3 млрд долларов); Великобритания — 4,5 млрд долларов, Швеция — 4,3 млрд долларов, Канада — 2,9 млрд долларов, Франция — 2,6 млрд долларов, Германия — 2,0 млрд долларов, Объединенные Арабские Эмираты — 1,8 млрд долларов, Австрия — 1,5 млрд долларов, Израиль — 1,4 млрд долларов, Южная Корея — 1,3 млрд долларов, Индия — 1,2 млрд долларов, Нидерланды — 1,1 млрд долларов, Япония — 0,9 млрд долларов, Италия — 0,9 млрд долларов.
Инвестиции частного сектора в ИИ по странам, 2024 г. Источник: Стэнфордский институт ориентированного на человека искусственного интеллекта, Quid

Нет другой сильной демократии, готовой перехватить эстафету, если США оступятся или уступят лидерство. За пределами США и Китая есть лишь горстка значимых компаний и экосистем в сфере ИИ. Реалистичного плана Б нет. ЕС может и дальше пытаться регулировать деятельность компаний за пределами своих границ, но только у США и Китая реалистичные шансы проложить технологические рельсы XXI века.

Доминирование в цепочках поставок даёт США мощный инструмент, позволяющий лишать другие страны доступа к передовому ИИ посредством экспортного контроля, а значит — ключевую роль в определении будущего этой технологии. Мы считаем экспортный контроль важнейшим инструментом, позволяющим ограничить возможности КПК навязывать своё видение развития передового ИИ. Но как бы хорош ни был этот инструмент, он не сможет обеспечивать нам преимущество вечно. Политические усилия будут потрачены впустую, если мы не воспользуемся лидерством, которое он нам даёт, чтобы направить будущее в лучшее русло. США — мировая научно-исследовательская лаборатория, и мы должны вести себя соответственно.

Как следует подходить к корректированию прогресса ИИ?

Наше отношение к зарождающимся технологиям часто зависит от того, как мы воспринимаем эпоху, в которой живём. На заре Научной революции Фрэнсис Бэкон в своём труде New Atlantis изложил фундаментально оптимистическое видение организованных научных исследований, направленных на благо человечества. Это привело к созданию Лондонского королевского общества, которое, в свою очередь, вдохновило появление научных академий по всей Европе. В 1955 году Джон фон Нейман написал эссе под названием Can we survive technology? с более пессимистичным взглядом на технологическое развитие в мире с появившимся ядерным оружием, способным его уничтожить. Он предполагал, что остаётся лишь пытаться как-то через это прорваться.⁠⁠10 В 2019 году, когда инструменты синтетической биологии вроде CRISPR становились всё доступнее, а тенденции масштабирования вычислительных мощностей ИИ — всё очевиднее, Ник Бостром в статье The vulnerable world hypothesis высказал предположение, что единственным способом совладать с широко доступными разрушительными технологиями может стать «повсеместное наблюдение или однополярный мировой порядок». Эссе Виталика Бутерина 2023 года, My techno-optimism, можно рассматривать как синтез многих таких идей: новые технологии могут привести к катастрофе, но и наша реакция на эти угрозы, повлеки она за собой утрату демократических ценностей или концентрацию власти — тоже. Решение, которое предлагает Бутерин, — широкомасштабная программа исследований и разработок, сосредоточенная на оборонительных технологиях. Она призвана смягчить возникающие риски, избегая при этом централизованного контроля.

Три соседних кадра комикса, на которых изображён маленький путник в капюшоне на развилке дорог на фоне лесного пейзажа; каждый кадр олицетворяет определённое мировоззрение в отношении технологического прогресса.
Противоположные взгляды на технологический прогресс. Бутерин, 2023, My techno-optimism

Мы заимствуем оптимизм Бэкона, но разделяем логику Бутерина: чем рассматривать траекторию развития технологии как неизбежную, лучше больше думать, как мы могли бы её скорректировать. Это не попытка выдать желаемое за действительное. За последние десятилетия США успешно применяли разные подходы к влиянию на развитие новых технологий:

  • Нераспространение: В случае с ядерным оружием мы решили, что строгий контроль — единственный способ безопасно управлять этой технологией. Свидетельства о беспрецедентной разрушительной силе этой технологии ещё в 1942 году побудили президента Рузвельта засекретить все исследования деления ядер, что привело к централизации НИОКР в рамках Манхэттенского проекта, а потом — к американской политике нераспространения. Стратегия не сработала идеально, но ядерное оружие всё равно всегда распространялось медленнее, чем прогнозировало большинство экспертов.⁠⁠11
  • Выборочное ускорение: В 1980-х годах, осознав минусы патентования генетических последовательностей частными компаниями, мы решили проактивно ускорить разработку универсальных инструментов и инфраструктуры для секвенирования генов в рамках проекта «Геном человека». Он стал общественным достоянием, что не дало получать широкие патенты на сырые геномные последовательности.⁠⁠12
  • Оборонительное ускорение: Столкнувшись с COVID, администрация Трампа осознала, что для преодоления пандемии необходимо резко ускорить разработку новой оборонительной технологии: платформы мРНК-вакцин. Операция «Warp Speed» объединила воздействие на рынок, общегосударственную стратегию и оптимизацию регулирования, чтобы радикально ускорить разработку первой полностью одобренной мРНК-вакцины. Вакцина была разработана всего за 9 месяцев — более чем в 10 раз быстрее обычного, гораздо быстрее любой другой когда-либо разработанной вакцины.
Диаграмма, сравнивающая время до получения лицензии на вакцину в США после первого выявления каждого патогена. Для большинства заболеваний столбцы охватывают десятилетия (брюшной тиф 1884–1989, менингит 1889–1981, коклюш 1906–1948, полиомиелит 1908–1955, ветряная оспа 1953–1995, корь 1953–1963, гепатит 1965–1981, диарейные заболевания 1973–2006, Эбола 1976–2019, рак шейки матки 1981–2006), но для COVID-19 обе даты указаны как 2020 год, что иллюстрирует сокращение времени примерно в 10 раз.
Сроки разработки вакцин: COVID по сравнению со всеми предыдущими лицензированными в США вакцинами. Источник: Our World in Data

Конечно, ИИ общего назначения — совсем иная технология, чем перечисленные, отличающаяся как более широким спектром применений, так и тем, что сам ИИ можно использовать для дифференцированного ускорения других технологий. Поэтому правильным подходом к корректировке, вероятно, будет сложное сочетание как проверенных, так и новых стратегий.

Четыре принципа корректировки прогресса ИИ

1. Мы должны пользоваться «неровностью» способностей ИИ

Способности ИИ развиваются в разных областях с разной скоростью, создавая «изрезанную границу». Согласно данным Бюро переписи населения США, на начало прошлого года ИИ использовали лишь 5% предприятий в США. Но в том же году ИИ-модель заработала своим создателям Нобелевскую премию по химии, а Google объявила, что более четверти кода в продакшене компании было сгенерировано ИИ. По крайней мере в программировании эта тенденция явно ускоряется: 80 % Claude Code (агентного инструмента для программирования от Anthropic) было написано самим Claude. Будущее уже наступило — оно просто неравномерно распределено.

Те, кто стремится использовать ИИ для работы над важнейшими научными проблемами или для создания технологий, позволяющих противостоять новым рискам ИИ, должны пользоваться этой неровностью. Если в той или иной области можно легко токенизировать для обработки ИИ огромные массивы знаний, быстро проверять решения задач и быстро развёртывать новые способности, то ИИ может сильно ускорить это направление. Это уже очевидно в отдельных разделах математики, химии и биологии и в большей части программирования. В меньшей степени это касается областей вроде физики элементарных частиц, которая ограничена медленным и дорогостоящим сбором данных от ускорителей. Что нам надо из этого вынести?

Тактики корректировки прогресса ИИ должны основываться на прогнозах того, где ИИ добьётся успеха в первую очередь. Простота токенизации, верификации решений и развёртывания в разных областях — хороший индикатор того, где новые полезные и дестабилизирующие способности появятся раньше. Это помогает оценить вероятное соотношение атаки и защиты, что поможет определить лучшую стратегию корректировки прогресса. Например:

  • В кибербезопасности способности ИИ к автоматизированным атакам можно быстро развернуть и для автоматизированной защиты.⁠⁠13 В таких областях стратегии ускоренного развития защитных приложений и инфраструктуры безопасности может оказаться достаточно.⁠⁠14 ⁠15
  • А вот в биобезопасности преимущество кое-где, по-видимому, на стороне нападения. Многие опасаются, что террористическая группировка может использовать основанные на ИИ инструменты биологического проектирования для разработки и распространения смертоносного и сверхзаразного вируса. Тут тоже имеет смысл ускорить развитие соответствующих защитных технологий, таких как дальний UVC и гибкие платформы для вакцин. Но их развёртывание, скорее всего, будет медленным по сравнению со скоростью страшнейших пандемий. Значит, вероятно, в отношении некоторых приложений в сфере биобезопасности понадобится и стратегия нераспространения. Один из многообещающих подходов, как в Плане действий по ИИ Белого дома — сосредоточиться на поставщиках услуг по синтезу нуклеиновых кислот и обеспечить скрининг последовательностей и проверки клиентов.

Тщательное отслеживание способностей ИИ в различных областях может дать нам заблаговременное предупреждение, нужное для проактивного создания новых средств защиты. Данные о прогрессе от тщательно разработанных бенчмарков и о наблюдении новых способностей при внутреннем развёртывании новых моделей в передовых ИИ-лабораториях могут дать нам «буфер адаптации» — период времени на создание инструментов, инфраструктуры и политик, чтобы максимально увеличить вероятность, что появление новой способности в широком доступе пройдет благополучно. Для этого потребуется создание систем раннего предупреждения, которые будут запускать государственную и корпоративную реакцию. Например, знание о новых способностях к биологическим атакам, обнаруженных в ранних версиях новых моделей, могло бы способствовать накоплению средств индивидуальной защиты для их оперативного распределения и внедрению системы наблюдения за сточными водами для раннего выявления новых патогенов.⁠⁠16

Ещё отслеживание и прогнозирование улучшений способностей ИИ может помочь нам избежать растраты ресурсов из-за слишком ранних действий. Формальная верификация всего программного обеспечения, используемого в критической инфраструктуре, для доказательства его безопасности, сегодня, вероятно, стала бы ужасающе затратным предприятием. Но быстрый рост умения передовых моделей программировать с длинным контекстом может внезапно сделать формальную верификацию стоящей того.⁠⁠17 В таких случаях чем разрабатывать защитные технологии преждевременно, лучше создать отслеживающую инфраструктуру, что поможет решить, когда пора действовать, а ещё — подготовить планы и связи для быстрого развёртывания. Например, автоматизированный рефакторинг кодовых баз критической инфраструктуры предсказуемо столкнётся с барьером медленного процесса государственных закупок нового ПО. Эту проблему можно решить уже сейчас.⁠⁠18

Передовой рубеж способностей ИИ можно скорректировать. Мы можем делать это, чтобы получить желаемые способности быстрее. Например, многие барьеры доступа к датасетам вызваны исторически сложившимися особенностями регулирования или тем, что данные сложно монетизировать. По некоторым оценкам, общий объём ежегодно генерируемых данных более чем в миллион раз превышает данные в открытом доступе с Internet Archive — что есть основная часть данных, которые сейчас используют для обучения LLM. Большая часть этих данных может оказаться бесполезной для обучения ИИ-моделей. Но часть из них, особенно научные датасеты, запертые на жёстких дисках в государственных учреждениях и университетах, может быть весьма ценна для общества. Эффективная политика может помочь открыть доступ к данным, которые позволят быстрее реализовать полезные способности ИИ.⁠⁠19

2. Не стоит пренебрегать ценой застоя прогресса

Это может показаться очевидным и не стоящим упоминания. Но мы считаем, что многие идеи планов против рисков ИИ не принимают достаточно всерьёз цену застоя технологического прогресса.⁠⁠20

Совсем по историческим меркам недавно половина всех детей умирала, не дожив до взрослого возраста. Так было, пока научная и промышленная революции не дали нам микробную теорию, вакцины, обогащённые продукты, антибиотики и много подобного, а ещё — гораздо более высокий уровень достатка. Отказ от инвестиций в науку и фундаментальные технологии, которые обеспечат продолжение этих достижений, навредит благосостоянию людей. Эти издержки надо сопоставлять с ожидаемыми рисками новых технологий. Стратегии корректировки технологий, игнорирующие выгоды прогресса, могут отсрочить решение некоторых наших серьёзнейших проблем.

Потенциальная польза передового ИИ для научных открытий в областях вроде медицины огромна. Грантодатель в сфере глобального здравоохранения Джейкоб Трефетен приводит ряд медицинских технологий вроде вакцин от малярии и туберкулёза для взрослых, успешная разработка которых могла бы суммарно спасать около 3,6 миллиона жизней в год. Создание каждой из этих технологий вполне осуществимо, но скорее всего не в ближайшие пять лет. Если устранить барьеры на пути применения ИИ в медицине, он мог бы помочь созданию этих (и не только) общественных благ.

#Технология/инструментЗачем она нужна?Будет ли она доступна через 5 лет?Возможна ли её реализация?
1Вакцина от туберкулёза, эффективная у взрослыхУносит 1,5 млн жизней в годВероятно, нетДа
2Вакцина от стрептококка группы АУносит 500 тыс. жизней в годНетДа
3Моноклональное антитело против малярииУносит 600 тыс. жизней в годВероятно, нетДа
4Микроорганизмы, препятствующие распространению малярии (в том числе в сельской местности)Уносит 600 тыс. жизней в годНетДа
5Вакцина от гепатита СУносит 300 тыс. жизней в годНетДа
6Препарат, снижающий риск инсульта, который могут принимать большинство пациентовУносит 6 млн жизней в годНетНеясно
7Полное излечение от гепатита ВУносит 600 тыс. жизней в годНетНеясно
8Тест, который показывает, почему вы больныУ меня COVID, грипп, ангина, простуда или что-то ещё?Не знаюДа
9Программируемые лекарства до наступления будущей пандемииПоследняя унесла 7–25 млн жизнейВероятно, нет🤞
10Вакцина от сифилисаУносит 100 тыс. жизней в годНетДа

Трефетен, 2025, Что прогресс в области ИИ означает для прогресса в медицине?

Такие перспективы использования ИИ подсвечивают: первоначальная концепция дифференциального технологического развития не дотягивает до полноценной стратегии корректировки технологического прогресса. Концентрируясь исключительно на рисках новых технологий, она пренебрегает огромными потенциальными выгодами ускорения их развития. Мы сталкиваемся с целым рядом важных и неотложных проблем и без новых технологий, создающих дополнительные риски. Как мы обсудим позже, разумное отношение к новым рискам ИИ заключается в признании довольно глубокой неуверенности. Вполне возможно, что наши сегодняшние проблемы останутся самыми важными и в будущем.

Четыре панели с подписями, на каждой из которых сопоставляются две временные шкалы развития технологий. На каждой панели красная временная шкала (с крестиком) показывает, что технология, повышающая риск, появляется первой, а рядом — зелёная временная шкала (с галочкой), демонстрирующая, что вместо неё первой появляется более безопасная, защитная, замещающая или полезная технология.
Отредактированная версия исходного изображения из работы Sandbrink et al., 2022, Дифференциальное технологическое развитие

Как отмечает Трефетен:

Некоторые технологии важнее других. Более того, часть из них — вопрос жизни и смерти. Технологический прогресс — не мистическая сила, которая в первую очередь приносит нам самые важные технологии. Некоторые проблемы трудно решить, и даже в случае успеха они не принесут больших денег, да и в новостях о них не говорят. То, над чем люди решают работать, определяет, какие новые технологии будут созданы.

Та же логика, что применима к защитным технологиям, применима и к гуманитарным исследованиям и разработкам. Рынок пренебрегает многими ветвями технологического древа, частный сектор по умолчанию не станет их исследовать (или не сделает это достаточно быстро). Важная роль государства — целенаправленное развитие этих оставленных без внимания путей, выбор, финансирование и ускорение той работы, на которую рынки не способны с достаточной скоростью или масштабом.⁠⁠21

3. Чтобы воплотить пользу ИИ, следует перестроить работу науки

Стратегии корректирования прогресса ИИ должны уделять внимание не только объектному уровню направления исследований, но и метанауке. Как нам переосмыслить процесс исследований в мире, где ИИ стал движущей силой научных открытий? Как фабрикам потребовалось переоснащение для использования возможностей парового двигателя, наши механизмы финансирования, социальные институты и системы стимулов тоже надо перестроить, чтобы извлечь максимум пользы из поддержки ИИ для науки.⁠⁠22

Экосистема финансирования науки в США стала очень бюрократизирована. Исследователям приходится до 20 месяцев ждать получения гранта, и для этого ведущие исследователи тратят почти половину своего времени на бюрократию. Эти потери научной продуктивности станут ещё ощутимее, когда роль исследователей будет сводиться к управлению командами ИИ-учёных, ответственных за генерацию и проверку огромного количества новых гипотез. Каждый месяц задержки из-за бумажной волокиты будет равнозначен многим месяцам сегодня. А ещё классическая модель финансирования — небольшие проектные гранты, выделяемые отдельным исследователям в университетах, — плохо подходит для научных исследований на основе ИИ. Ведь те всё чаще требуют ресурсов, которых у университетов нет: масштабных вычислительных мощностей и специализированных инженерных команд для управления этими мощностями и данными. ИИ может позволить кардинально расширить наши знания о мире, но бюрократические системы могут серьёзно ограничить нашу способность этим воспользоваться.

Волна новых организаций демонстрирует, как должны выглядеть по-настоящему «готовые к ИИ» исследования будущего. Arc Institute и FutureHouse — независимые некоммерческие исследовательские организации, немало вложившие в инфраструктуру для «командной науки». Это уже принесло многообещающие результаты. В этом году Arc выпустила Evo 2 — передовую биологическую модель, способную выявлять болезнетворные мутации в генах человека и конструировать новые простые геномы.

Чтобы причаститься к этой новой парадигме научных открытий, агентства вроде NIH и NSF должны лучше использовать гибкие механизмы финансирования наподобие Other Transactions Authority (OTA). OTA позволяют экспериментировать с новыми структурами финансирования исследований, например институциональными пакетными грантами для поддержки организаций вроде Arc и FutureHouse или экспресс-грантами для оперативного финансирования быстро развивающихся исследований. Так они смогут использовать стремительно растущие способности ИИ.⁠⁠23

4. Мы должны адаптироваться к неопределённости, но работать над её снижением

К сожалению, технологическое прогнозирование — очень сложная задача. В 1955 году Джон фон Нейман (которого коллеги считали самым умным человеком своего времени) сделал ряд поразительно точных предсказаний о потенциале полупроводников для автоматизации и о надвигающемся риске изменения климата. Но в то же время его (и не только его) прогнозы о повсеместной дешёвой атомной энергии и масштабной геоинженерии не сбылись.⁠⁠24

Траекторию, которая привела нас к нынешним способностям ИИ-моделей общего назначения, тоже было бы сложно предсказать. Работа Google над пониманием естественного языка была мотивирована желанием улучшить результаты поиска, чтобы продавать больше рекламы. Эти стимулы косвенно привели к созданию архитектуры трансформера — ключевой алгоритмической инновации, которая лежит в основе почти всех передовых ИИ. Современные GPU ведут свою родословную не от каких-то специализированных разработок в ИИ, а от потребностей видеоигр, которым, как и обучению больших нейросетей, тоже нужна быстрая параллельная обработка данных. Прежде чем переключиться на большие языковые модели, OpenAI сначала были сосредоточены на исследовании глубокого обучения с подкреплением в видеоиграх и робототехнике, считая их самыми многообещающими путями к СИИ.

Да и в рамках современной парадигмы разработки ИИ. Да, у нас есть законы масштабирования, позволяющие точно предсказывать функцию потерь при обучении. Но конкретные способности моделей всё равно часто удивляют исследователей. Это касается как решения конкретных задач, вроде программирования, так и более общих склонностей, вроде самосохранения и обмана.

Эта неоднозначная история прогнозирования должна отговорить нас от чрезмерной уверенности в том, как и когда реализуются наибольшие возможности и риски передового ИИ. Но это не значит, что правильный подход — бездействие. Напротив, лучше адаптироваться к неопределённости и стремиться её уменьшить.

Какую-то неопределённость уменьшить трудно. Мы не могли предсказать исторические случайности, давшие нам трансформер и GPU. Но значительную часть неопределённости о способностях ИИ и их последствиях, вероятно, можно уменьшить более совершенной экосистемой измерения и оценки ИИ.⁠⁠25

Адаптация к неопределённости в прогрессе ИИ — ещё и политическая задача. Трудно собрать широкую поддержку для амбициозной программы корректирования технологий в условиях значительной неопределённости. Наилучший подход — плюралистический, сочетающий разные важные цели. Закон «CHIPS and Science Act» — хороший пример. Двойная направленность (на обеспечение устойчивости цепочки поставок полупроводников и на содействие развитию фундаментальной науки) обеспечила ему поддержку и представителей национальной безопасности, и сторонников развития общедоступной науки. Программа корректирования ИИ-технологий должна аналогично включать меры, ориентированные и на науку, и на безопасность.

Подготовка к запуску

В эссе Дарио Амодея Машины благодати и любви представлено захватывающее видение того, сколько научных проблем может быть решено благодаря прогрессу в области ИИ за следующие пять лет. Но в нём не описаны конкретные шаги, необходимые для применения новых способностей ИИ к решению задач без сильных рыночных стимулов, вроде распределённых технологий обеспечения устойчивости общества и фундаментальной науки. Стандартный путь развития ИИ может не принести нам это достаточно быстро и не защитить нас от новых угроз, которые он же несёт.

Какова правильная последовательность разработки технологий при переходе к миру пренебрежимо дешёвого интеллекта? Наш сборник эссе призван начать собирать воедино ответ на этот вопрос. Мы объединили конкретные, но амбициозные предложения некоторых проницательнейших умов, размышляющих, как использовать ИИ для проактивного корректирования прогресса и в науке, и в сфере безопасности. Мы представляем проекты, которые по умолчанию вряд ли будут реализованы при нынешних коммерческих стимулах, но с которыми посильно управиться к 2030 году и которые особенно важны в свете стремительного развития ИИ.

Успех принесёт не единый генеральный план, а адаптивная стратегия, развивающаяся соответственно способностям ИИ. Наша стратегия не должна игнорировать ни огромный потенциал этой технологии, ни опасности контроля сверху вниз и централизации. Процитируем фон Неймана в Can we survive technology?:

Какая остаётся защита? Видимо, только повседневные (или, возможно, ежегодные) ситуативные меры, длинная череда небольших правильных решений.

Этот сборник — не всеобъемлющий план. Да и по сравнению с объёмом частных инвестиций в исследования и разработки ИИ почти любое предложение выглядит незначительным по масштабу. Мы надеемся, что идеи отсюда станут одними из «небольших правильных решений», которые помогут задать позитивную траекторию развития самой важной из когда-либо созданных технологий.

Благодарности

Особая благодарность всем авторам эссе, вошедших в этот сборник, а ещё Эмме Кумлебен, Санти Руису и Beez Africa за редактуру; Beez и Эмме Штайнхобель за дизайн; Калебу Уотни, Ари Кагану, Аруши Гупте, Саифу Хану, Бену Шифману, Александре Бейтс, Джоне Уайнбауму и Алеку Стаппу за обратную связь на протяжении всей работы.

Тим Фист — директор по политике в области новых технологий в IFP.

Тао Бурга — научный сотрудник по технологиям в IFP, где он занимается вопросами политики в области ИИ, экспортного контроля и ускорения инноваций безопасности ИИ.

Тим Хван — старший научный сотрудник по технологиям в IFP и автор рассылки Macroscience.


Оригинальная публикация: Tim Fist, Tao Burga и Tim Hwang (2025) Preparing for Launch, IFP, 11 августа.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25