Общее во взглядах «AI 2027» и «ИИ как обычная технология»
AI 2027 и AI as Normal Technology были опубликованы в апреле этого года. Обе статьи прочло куда больше людей, чем мы, их авторы, ожидали.
Некоторые из нас (Илай, Томас, Дэниел, авторы статьи «AI 2027») ожидают, что ИИ радикально преобразит мир в течение следующего десятилетия, вплоть до фантастически звучащих возможностей вроде суперинтеллекта, нанофабрик и роёв Дайсона. Прогресс будет непрерывным, но резко ускорится примерно тогда, когда ИИ-системы автоматизируют исследования ИИ.
Другие (Саяш и Арвинд, авторы статьи «ИИ как обычная технология») считают, что влияние ИИ будет куда, скажем так, обычнее. Да, можно ожидать экономического роста, но постепенного, год за годом, как от технологий вроде электричества или интернета — не радикального перелома истории человечества.
Разногласия существенны, и их уже частично разобрали здесь и здесь.
Но мы обнаружили, что у всех нас гораздо больше общего, чем кажется.
В этом эссе мы вместе расскажем, в чём наши взгляды о том, как, скорее всего, будет (или не будет) развиваться ИИ в ближайшие несколько лет, сходятся.1
1. ИИ будет обычной технологией до появления СИИ
Вообще, даже авторы AI 2027 согласны, что ИИ остаётся обычной технологией до появления СИИ.
(Люди по-разному понимают термин «СИИ», что вызывает ту ещё путаницу. Здесь мы имеем в виду нечто вроде «людей в облаке» — то есть ИИ-системы, способные учиться, адаптироваться, обобщать знания на новые ситуации, действовать автономно и координироваться друг с другом по крайней мере так же хорошо, как лучшие в этом люди. В целом, они способны почти на всё то же, на что люди, так же хорошо, но быстрее и дешевле.)2
До СИИ, если ИИ-системы станут достаточно хороши для автоматизации той или иной задачи, люди, выполнявшие её раньше, вероятно, смогут переключиться на другую. Например, когда будет автоматизирована какая-то часть процесса исследований ИИ, общий процесс будет сдерживаться чем-то другим. В результате он ускорится, но не кардинально. ИИ в основном будет служить инструментом; он не сможет долго работать автономно. Распространение ИИ по экономике всё ещё будет довольно плавным: индустрии будут постепенно передавать задачи ИИ, убеждаясь, что ИИ достаточно надёжен, выстраивая нужную инфраструктуру, интерфейсы и новые рабочие процессы.
2. Если СИИ будет разработан и развёрнут в ближайшем будущем, он не будет обычной технологией
Даже авторы AI as Normal Technology согласны, что если СИИ будет разработан и развёрнут в следующем десятилетии, это будет совершенно необычным. СИИ по определению сравняется или превзойдёт лучших людей в надёжности, обучении, адаптации и обобщении, так что он неизбежно будет лучше людей и переключаться на новые задачи по мере автоматизации старых.
Арвинд и Саяш считают, что любая версия понятия СИИ — это общее свойство системы и её среды. Они считают, что СИИ не будет разработан в лаборатории (например, путём масштабирования больших языковых моделей), а, скорее, его создание потребует цикла обратной связи с реальным миром, который ограничит темпы прогресса. Так что, если СИИ будет разработан и развёрнут в следующем десятилетии, получится, что концепция обычной технологии оказалась несостоятельной и/или бесполезной. С другой стороны, на более плавном пути к СИИ этот подход остаётся разумным, хотя пункт назначения такого пути, по их мнению, лежит за горизонтом осмысленного предвидения и планирования.
А вот авторы AI 2027 рассматривают нынешние разработки как предвестников СИИ. Они ожидают, что прогресс будет непрерывным, но быстрым, и резко ускорится, когда ИИ полностью автоматизирует исследования ИИ. Крупные ИИ-компании заявляют, что автоматизируют исследования ИИ и достигнут суперинтеллекта к 2027 или 2028 году. Авторы AI 2027 не уверены, но считают, что, скорее всего, это произойдёт в течение следующего десятилетия.
3. Большинство существующих бенчмарков, вероятно, скоро будут насыщены
Прогресс в ИИ часто измеряется оценкой способности систем решать задачи из разных «бенчмарков».3
Мы все считаем, что в ближайшие несколько лет большинство существующих бенчмарков и их стандартных расширений будут «насыщены» — то есть во всех оцениваемых задачах ИИ-системы сравняются или превзойдут результаты специалистов-людей.
Конкретнее, мы считаем возможным, что к 2027 или 2028 году насыщены будут все бенчмарки способностей, упомянутых в технических отчётах GPT-5, Claude 4 или Gemini 2.5. Это включает бенчмарки ответов на вопросы, вроде MMLU или Humanity’s Last Exam, и бенчмарки агентов, вроде SWE-Bench, RE-Bench, MLE-Bench или Terminal Bench. Мы считаем возможным, что если дать человеку-специалисту в соответствующей предметной области любой конкретный вопрос оттуда и оценить его ответ по правилам бенчмарка, ИИ-системы покажут лучшие результаты. Мы полагаем, что это может оказаться правдой даже для бенчмарков под брендом «СИИ», вроде ARC-AGI (v1, v2 или даже v3). Более того, может оказаться, что хватит единой ИИ-системы: не придётся настраивать отдельные модели под каждую задачу.
Арвинд и Саяш считают, что эти бенчмарки слабоконструктивны, и их насыщение не означает, что лежащую в основе задачу будет легко автоматизировать. То, что ИИ-система может решать задачи SWE-Bench лучше людей, не означает, что она сможет заменить программистов. Они ожидают, что ещё не меньше 50 лет будет много профессий, в которых люди будут превосходить лучшие ИИ.
Томас, Илай и Дэниел согласны с тем, есть важный разрыв между результатами бенчмарков и реальной полезностью. Они не согласны касательно масштаба этого разрыва. Они считают некоторые из этих бенчмарков (например, RE-Bench и HCAST) важными источниками свидетельств о том, насколько мы близки к автоматизации исследований и разработок ИИ.
4. Может, ИИ всё ещё будет регулярно терпеть неудачи в повседневных человеческих задачах; СИИ может и не появиться в этом десятилетии
С другой стороны, мы все полагаем и что ИИ-системы, вероятно, всё ещё будут регулярно не справляться с автоматизацией относительно простых для людей задач. Например, мы все не особо удивимся, если к концу 2029 года ИИ-системы не смогут надёжно справляться с простыми задачами вроде «забронируй мне билет на самолёт до Парижа», пользуясь обычным, рассчитанным на людей сайтом.4
То же и о большинстве задач, которые люди решают постоянно: покупка товаров в интернете, подача налоговых деклараций, планирование встреч и так далее. Мы ожидаем, что ИИ-системы смогут получать высокие баллы в бенчмарк-версиях этих задач, но не уверены, что они стабильно превзойдут людей.
Причин несколько, но главная — сложно надёжно справляться с «длинным хвостом» ошибок. Вполне возможно, что ИИ-системы будут хорошо решать задачи в среднем, но в худших сценариях будут вести себя гораздо хуже любого человека. Мы полагаем, что ИИ-системы будут достаточно надёжными для практического использования в областях, где человек способен адекватно проверить результаты работы. Но мы все согласны, что даже к 2029 году ИИ-системы, возможно, не удастся применять в задачах, где нужна высокая надёжность.5 И хотя «рассуждающие» модели лучше справляются с такими простыми затыками, мы не ожидаем, что они решат эту проблему полностью.
Мы все ожидаем, что скорее всего СИИ не появится до 2029 года, и в его начале мир скорее всего всё ещё будет выглядеть примерно как сегодня. ИИ-системы будут справляться со всё большим числом задач, но для большинства по-прежнему будут наниматься люди, а ИИ не сможет самостоятельно совершать новые научные открытия.
Арвинд и Саяш согласны, ведь они не ожидают появления СИИ в ближайшее время.
Но, хотя и с большой натяжкой, согласны и авторы «AI 2027». Они считают свой сценарий «СИИ в 2027 году» правдоподобным, но он быстрее их медианных ожиданий. Медианные оценки сроков до создания сильного СИИ у Дэниела, Илая и Томаса — 2030, 2035 и 2033 годы соответственно.6
5. ИИ будет (по меньшей мере) так же важен, как и интернет
Хоть наши мнения о верхней границе способностей не сходятся, мы все согласны, что ИИ будет «важен». (Формализовать это довольно сложно, но попробуем.) Под влиянием этой технологии мир изменится, и то, что казалось научной фантастикой, скоро станет возможным — как сегодняшний мир отличается от мира тридцатилетней давности. И ведь во многих отношениях современные технологии превосходят описания из научной фантастики того времени.
Интернет коренным образом изменил то, как всё работает. Хотите забронировать авиабилет? Вы не звоните туристическому агенту, а заходите на сайт авиакомпании. Хотите получить доступ к своему банковскому счёту? Заходите на сайт банка. Видеозвонки кому-то на другом конце света? Просмотр любимого телешоу по запросу? Социальные сети? Газеты? Энциклопедии? Покупки? Всё это в интернете. Все мы считаем, что ИИ может поменять всё не меньше. Сказать конкретнее так же сложно, как кому-то в 1990 году было бы сложно предсказать, как интернет изменит общество. В чём-то мы бы оказались правы, в чём-то бы глубоко ошиблись, а целые категории изменений совершенно бы упустили.
Арвинд и Саяш согласны, что ИИ — это технология общего назначения, чей эффект будет столь же радикальным. Они ожидают, что в долгосрочной перспективе ИИ сможет автоматизировать большинство когнитивных задач, как промышленная революция автоматизировала большинство физических — в том смысле, что машины теперь выполняют гораздо больше физической работы, чем люди. При этом они ожидают, что влияние ИИ в целом повторит путь предыдущих технологий общего назначения, узкое место которых — не столько способности, сколько распространение и внедрение. И они полагают, что людям всё равно останется много дел — вроде контроля ИИ-систем и решений, как их использовать.
Авторы AI 2027, очевидно считают, что ИИ окажется не менее значимым, чем интернет. Но они полагают, что за этим очень быстро последует ИИ, превосходящий по важности любую другую когда-либо созданную технологию (в этой статье он условно называется СИИ; в других источниках — ASI или суперинтеллектом).
Перечисленные сходства мнений касаются в основном конкретных прогнозов о событиях, которых мы ожидаем (или не ожидаем) в этом десятилетии. Но мы во многом согласны и относительно предложений курса действий. Несмотря на разные картины мира, мы считаем многие действия разумными при любом возможном варианте будущего и призываем к дальнейшим исследованиям, как снизить потенциальный вред продвинутого ИИ.
Мы надеемся, что сможем побудить принимающих важные решения ввести разумные законы, способные получить широкую поддержку независимо от того, какой вариант будущего развития событий окажется верным.
6. Согласование ИИ не решено
Мы все согласны, что задача «согласования ИИ» — обучения ИИ вести себя в соответствии с нашими ценностями и ожиданиями — не решена для текущих ИИ-систем.
Мы все согласны, что важно инвестировать в исследования, направленные на согласование современных и будущих ИИ-систем — например, в отслеживаемость цепочек мыслей, механистическую интерпретируемость, масштабируемый надзор и закономерности обобщений.
Мы все согласны, что на текущей траектории ИИ-системы будут по-прежнему оставаться несогласованными, и часто так, что тестирование это не выявит. Так что не следует полагаться на согласование ИИ как на последнюю (или единственную) линию защиты от несогласованного продвинутого ИИ. Нам нужны механизмы контроля над ИИ-системами, работающие даже без решения задачи согласования. Люди должны рассматривать каждую ИИ-систему как потенциально несогласованную и действовать соответственно — в частности, мы должны с осторожностью выбирать, насколько им доверять, и не давать им столько власти, что несогласованная система сможет нести катастрофические риски.
Саяш и Арвинд считают, что, хотя согласование полезно, другие механизмы контроля над ИИ-системами помогут управиться с последствиями развёртывания ИИ. Дэниел, Илай и Томас согласны, что это верно для слабых ИИ-систем, но считают, что решение согласования крайне важно для СИИ, поскольку они ожидают, что по мере того, как ИИ будет становиться всё более сверхчеловеческим, другие механизмы контроля перестанут работать.
7. ИИ не должны принимать важные решения или осуществлять контроль над критическими системами
Мы все считаем, что нынешним ИИ-системам не следует предоставлять автономный контроль над критически важными системами.7 Сюда относятся крайние случаи вроде предоставления ИИ контроля над дата-центрами, ядерным оружием, технологическими компаниями или государственными процессами принятия решений.
8. Прозрачность, аудит и отчётность полезны
Мы все считаем, что повышение прозрачности, проверяемости и отчётности важны для обеспечения безопасного развития ИИ. Следует требовать от разработчиков передовых ИИ прозрачности их мер безопасности. Независимые аудиторы должны регулярно оценивать безопасность ИИ-систем в процессе и после обучения. Надо усилить защиту информаторов. Для независимых исследователей следует создать «безопасные гавани», поощряющие исследования безопасности. Разработчики ИИ должны публиковать подробные отчёты, как и почему они считают свои системы безопасными.
9. Правительства должны наращивать потенциал отслеживания и понимания новых разработок ИИ
Мы все согласны, что если правительства нарастят техническую экспертизу для отслеживания прогресса и распространения способностей ИИ, им будет легче понимать эту технологию и выяснять её возможные последствия для общества. Правительства могут играть важную роль в оценке ИИ-моделей (особенно в сферах, затрагивающих национальную безопасность), в решении проблем координации, например, когда меры защиты должны применяться не только ИИ-компаниями, но и другими сторонами, а ещё в понимании новых разработок и адекватном реагировании на них.
10. Распространение ИИ в экономике — это в целом хорошо
Положительное влияние ИИ на производительность проявится по мере его распространения в обществе. Правительства и другие стороны могут по-разному способствовать этому. Развёртывание ИИ может и укрепить устойчивость: защищающиеся от кибератак и других связанных с ИИ угроз смогут понять, как применять эти системы, чтобы эффективнее реагировать на эти риски.
Уточним: мы не рекомендуем как можно быстрее внедрять ИИ во всё подряд. Мы лишь имеем в виду, что в целом распространение продуктов и услуг на базе ИИ в экономике — это хорошо; они принесут много непосредственной выгоды и помогут нам больше узнать об ИИ, его сильных и слабых сторонах, возможностях и рисках.
11. Скрытый интеллектуальный взрыв или что угодно хоть отдалённо похожее — это плохо, и правительства должны быть начеку
Технологические компании вроде OpenAI и Anthropic открыто планируют как можно быстрее автоматизировать собственную работу. То есть они стремятся обучить ИИ, способный полностью автоматизировать сами исследования и разработки ИИ. Последующее «рекурсивное самоулучшение» может привести к «интеллектуальному взрыву» стремительного роста способностей (по крайней мере, этого ожидают авторы «AI 2027») или может оказаться сдержанным другими факторами, вроде недостатка данных из реального мира (по крайней мере, этого ожидают авторы «AI as Normal Technology»).8
Но мы все согласны, что если стремительное улучшение способностей ИИ будет происходить втайне, это было бы опасно, потенциально даже катастрофично. Секретность помешала бы надзору и координации, которые могут понадобиться независимо от того, насколько революционной окажется технология. Компании должны оперативно сообщать общественности о последних тенденциях в развитии способностей ИИ, о руководящих принципах и ограничениях, которые они пытаются заложить в свои модели, о своих методах согласования и контроля, об инцидентах с безопасностью и о результатах оценивания всего этого. Прозрачность разработки ИИ будет в целом полезна при самых разных мировоззрениях, даже без рекурсивного самоулучшения или СИИ.
Заключение
Будущее остаётся неопределённым. Но хотя бы о ближайших нескольких годах у нас больше согласия, чем разногласий о том, как, скорее всего, пойдёт прогресс ИИ. Мы надеемся, чёткое изложение, в чём мы согласны, поможет другим лучше понять наши расхождения и нашу степень уверенности в своих позициях.
Важно уметь различать эти два варианта будущего (сценарии, вроде AI 2027, и сценарии из AI as Normal Technology), и чем раньше появятся методы, позволяющие предсказать, куда мы идём, тем лучше. Так что важным научным вкладом могла бы стать разработка метрик, способных различить эти варианты до того, как мы до них доберёмся. Мы, кстати, совместно работаем над созданием таких метрик. Следите за обновлениями.
Авторство: Николас Карлини собрал группу и написал первый черновой вариант на основе бесед, которые он провёл с остальными в Curve, CSET и других местах. Затем другие авторы несколько раз проработали текст, переписывая и редактируя его, пока не убедились, что он точно отражает их взгляды. Спасибо также Кларе Коллиер за редактирование и публикацию в этом блоге.