Лаборатория и жизнь: разбор «ИИ как обычная технология»
Что, если СИИ не разработать в «башне из слоновой кости»?
В прошлый раз я обсуждал AI 2027 — самую подробную общедоступную модель того, как ИИ может в краткосрочной перспективе преобразовать мир. Сегодня я рассмотрю недавнюю публикацию, в которой представлена противоположная точка зрения: AI as Normal Technology1. Авторы, Арвинд Нараянан и Саяш Капур из Принстонского университета, приводят аргументы в пользу того, что «трансформативное экономическое и социальное воздействие на мир будет проявляться медленно (на масштабе десятилетий)». Подобно тому, как в своём прошлом посте я пытался выявить ключевые допущения, ведущие к коротким срокам, теперь я постараюсь выделить ключевые допущения, ведущие к длинным срокам. (Как часто отмечается, длинные сроки уже не те, что раньше. До запуска ChatGPT появление ИИ «на масштабе десятилетий» показалось бы большинству людей, включая меня, довольно быстрым!)
Похоже, ИИ мчится вперёд. Почему авторы этой статьи считают, что для достижения трансформативного воздействия на мир потребуются десятилетия?
Что они подразумевают под «обычной технологией»
В статье не оспаривается, что ИИ будет иметь огромное значение:
Рассматривать ИИ как «обычное» явление не означает преуменьшать его влияние — в «обычные» у нас попадают даже трансформативные технологии общего назначения, вроде электричества и интернета.
Основная идея в том, что влияние ИИ на мир будет постепенным. Вместо внезапного шока от быстрого появления суперинтеллекта, события будут разворачиваться на упомянутом выше «масштабе десятилетий»… и маловероятно, что ИИ станет настолько мощным, чтобы вырваться из-под контроля человека.
В AI 2027 искусственный суперинтеллект разрабатывается в относительной изоляции в исследовательской лаборатории. В AI as Normal Technology прогресс — результат беспорядочных петель обратной связи между теоретическими исследованиями и реальным использованием. Каждый шаг вперёд проходит через несколько этапов:
- Изобретения, вроде новых способы обучения ИИ-моделей.
- Инновации — разработка продуктов, применяющих ИИ для поддержки реальных сценариев использования.
- Внедрение — отдельные лица, команды и компании решают использовать эти новые продукты.
- Распространение — изменения в процессах, организационных структурах, законах и нормах для поддержки внедрения.
Идея в том, что последующие этапы зависят от прогресса на предыдущих, а те могут продвигаться вперёд только благодаря обратной связи от последующих. Я уже обсуждал, что беспилотные автомобили Waymo, чья история разработки насчитывает 20 лет, до сих пор не возят пассажиров ни по автомагистралям, ни в снегопад. Сравните с тем, как AlphaZero потребовалось всего три часа обучения, чтобы начать играть в шахматы лучше любого человека в истории2. Разница в том, что каждый этап разработки Waymo проверяется в кропотливых полевых испытаниях, а AlphaZero развивался с колоссальной скоростью исключительно играя с самим собой. Характерная черта «обычной» технологии — прогресс зависит от уроков, которые можно извлечь лишь в процессе реального использования. Требуется время, чтобы технология превратилась в продукт и нашла аудиторию, поэтому цикл изобретений протекает постепенно.
Учитывая ошеломляющие темпы прогресса последних нескольких лет, действительно ли ИИ будет десятилетия развиваться «обычным» образом? Авторы статьи приходят к такому выводу, сформулировав ряд «предписаний» — решений (в том числе политических), которые, по их мнению, мы можем и должны принять. Напротив, AI 2027 представляет собой исключительно упражнение в прогнозировании; авторы подчёркивают, что они не одобряют те решения, которые ведут к их «наиболее правдоподобному» сценарию.
Вот идеи, на основе которых авторы AI as Normal Technology прогнозируют более долгий и плавный путь к созданию мощного ИИ.
Нынешние способности окажутся преувеличенными
Нельзя отрицать, что новейшие модели ИИ способны на выдающиеся достижения. Но возникают вопросы о том, насколько эти способности применимы в реальном мире. Процитируем статью:
Например, хотя, по имеющимся данным, результаты GPT-4 вошли в 10 % лучших среди сдававших экзамен на адвоката, это поразительно мало говорит нам о способности ИИ заниматься юридической практикой. Этот экзамен уделяет чрезмерное внимание знанию предмета и недостаточное — реальным навыкам, которые гораздо сложнее измерить стандартизированным компьютерным тестом. Получается, он акцентирует именно то в чём языковые модели хороши — на извлечении и применении заученной информации.
…
Это наблюдение никоим образом не ограничивается юриспруденцией. Ещё один пример — разрыв между изолированными задачами по программированию, где ИИ явно преуспевает, и реальной программной инженерией, где влияние ИИ трудно измерить, но, по-видимому, оно невелико. Даже авторитетные бенчмарки по программированию, выходящие за рамки «игрушечных» задач, вынуждены игнорировать многие аспекты реальной программной инженерии в интересах количественного измерения и автоматизированной оценки с использованием общедоступных данных.
Эта закономерность повторяется снова и снова: чем проще измерить задачу с помощью бенчмарков, тем меньше вероятность, что она будет отражать тот вид сложной, контекстуальной работы, который определяет профессиональную практику. Основывая понимание прогресса ИИ преимущественно на бенчмарках способностей, сообщество вокруг ИИ постоянно переоценивает реальное влияние этой технологии.
AI as Normal Technology придерживается точки зрения, что современные ИИ-модели и приложения, несмотря на все их эффектные демонстрации и результаты бенчмарков, ещё не готовы оказать значительное воздействие. В работе утверждается, что разрыв между бенчмарками и применимостью в реальных условиях привёл к тому, что мы переоцениваем как текущее состояние ИИ, так и скорость его развития. Это подводит к вопросу: как быстро способности будут развиваться дальше?
Прогресс будет ограничен темпами циклов развёртывания
Я упомянул, что одна из главных причин, почему разработка беспилотных автомобилей занимает так много времени, — необходимость полевых испытаний: только так можно собрать данные для обучения следующего поколения ПО. В своём посте о AI 2027 я привёл забавный пример с автомобилями Waymo, которые посреди ночи, столпившись на стоянке для ожидающих машин, начали непрерывно друг другу сигналить. (Забавно, но только не для жителей соседних домов.)
AI as Normal Technology предполагает, что это будет справедливо для многих сфер: усовершенствование ИИ-моделей и приложений во многих областях потребует обратной связи от использования в реальных условиях:
Этот «разрыв между способностями и надёжностью» проявляется снова и снова. Он стал серьёзным препятствием на пути создания полезных «ИИ-агентов», способных автоматизировать реальные задачи.
Даже имеющаяся информация может оказаться недоступной для обучения ИИ. Например, значительная часть экономически ценных знаний — коммерческая тайна. Ещё авторы отмечают, что «многое известное организациям носит неявный характер и не зафиксировано в письменном виде, не говоря уже о форме, пригодной для пассивного усвоения». Это включает в себя нюансы из разряда «как у нас тут всё устроено», которые будут важны для успешного внедрения ИИ на каждом рабочем месте. Проблемы конфиденциальности и безопасности, а также нормативные ограничения тоже могут сокращать объём информации, доступной для обучения ИИ.
(Сторонники коротких сроков развития ИИ могут возразить, что некоторые сложные способности, вроде написания кода, легче развивать в лабораторных условиях. Ещё высказывается предположение, что ИИ, достигший высочайшего мастерства в этих задачах, разовьёт общие когнитивные навыки, которые позволят ему быстро продвигаться в других областях без необходимости в значительной обратной связи. Грубо говоря, сверхчеловеческий программист, возможно, уже развил когнитивные навыки, которые обеспечат ему более широкий успех.)
В статье утверждается, что из-за всех этих факторов каждый новый виток развития ИИ сможет начаться лишь после того, как будет широко развёрнута предыдущая итерация. Возникает вопрос: сколько времени займёт каждая волна развёртывания?
Циклы внедрения ИИ будут такими же медленными, как и у других технологий
Как правило, когда новая технология выходит на рынок, опасения по поводу безопасности, нормативные ограничения и общие препятствия и инерция сдерживают темпы её внедрения компаниями и частными лицами. Когда продукты только появляются, ими начинают пользоваться лишь немногие первопроходцы. При небольшом начальном количестве пользователей нужно время, чтобы накопить историю успешного применения, которая позволит перейти к более широкому внедрению. Это особенно верно там, где критична надёжность, — как во многих важных сферах. Именно поэтому разработка беспилотных автомобилей заняла десятилетия, несмотря на многомиллиардные инвестиции.
Другими словами, в этом широком спектре областей распространение ИИ на десятилетия отстаёт от инноваций. Одна из главных причин — безопасность: когда модели становятся сложнее и менее понятными, в процессе тестирования и валидации трудно предвидеть все возможные условия развёртывания. Хорошим примером служит инструмент компании Epic для прогнозирования сепсиса, который, несмотря на кажущуюся высокую точность при внутренней валидации, показал на практике в больницах гораздо худшие результаты, пропуская две трети случаев сепсиса и перегружая врачей ложными тревогами.
Даже вне сфер, где критически важна безопасность, внедрение ИИ идёт медленнее, чем может показаться из популярных источников. Например, одно исследование попало в заголовки новостей благодаря выводу, что в августе 2024 года 40% взрослых американцев использовали генеративный ИИ. Но поскольку большинство людей пользовались им нечасто, в пересчёте на рабочие часы это лишь 0,5–3,5% (и это привело к росту производительности труда на 0,125–0,875 процентного пункта).
Принято считать, что волны внедрения технологий ускоряются, но AI as Normal Technology опровергает эту идею:
Неясно даже, действительно ли распространение сегодня быстрее, чем раньше. В упомянутом выше исследовании сообщалось, что генеративный ИИ в США внедрялся быстрее персональных компьютеров (ПК): 40% взрослого населения США начали использовать генеративный ИИ в течение двух лет после выпуска первого массового продукта, а для ПК это было 20% за три года. Но это сравнение не учитывает разной интенсивности внедрения (количества часов использования) или высокой стоимости ПК по сравнению с доступом к генеративному ИИ. В зависимости от того, как измерять, вполне возможно, что внедрение генеративного ИИ происходило гораздо медленнее, чем ПК.
В статье утверждается, что по мере перехода ИИ от воспроизведения человеческих способностей к разработке новых идей будет особо важно извлекать уроки из медленного, постепенного развёртывания:
Дополнительные ограничения возникают, когда нам нужно выйти за рамки обучения ИИ на основе существующих человеческих знаний. Некоторые из самых ценных видов знаний — из области естественных и социальных наук; они обеспечили прогресс цивилизации с помощью технологий и крупномасштабной социальной организации (например, правительств). Что потребуется ИИ, чтобы раздвинуть границы таких знаний? Скорее всего, понадобится взаимодействие, а то и эксперименты, с людьми или организациями, от испытаний лекарственных препаратов до экономической политики. Общественные затраты на это приводят тут к жёстким ограничениям на скорость получения знаний. Общество, вероятно, не позволит (и не должно) быстро масштабировать эксперименты в целях развития ИИ.
Я подозреваю, что сторонники коротких сроков могут выдвинуть два контраргумента. Во-первых, ИИ может оказаться уникально гибкой технологией; в отличие от предыдущих волн технологического прогресса, когда рабочие процессы приходилось перестраивать под новую технологию, развитие способностей ИИ даст ему самому адаптироваться к работе. Во-вторых, перспективы ИИ могут оказаться настолько привлекательными, что будут стимулировать быстрое внедрение даже несмотря на барьеры. Или, по крайней мере, могут появиться ранние последователи (гибкие стартапы, страны с минимальным регулированием, компании, игнорирующие правила так же, как Uber игнорировал законы о такси), которые вытеснят более консервативные или соблюдающие правила организации; хотя AI as Normal Technology приводит аргумент, что темпы внедрения будут (и должны) по-прежнему ограничиваться опасениями о безопасности. В статье отмечается, что безопасность может обеспечиваться через существующее законодательство, новые нормативные акты, предпочтения потребителей и опасения компаний о юридической ответственности и негативной реакции публики.
Это приводит к вопросу о том, насколько продвинутыми и привлекательными могут стать ИИ-решения. Авторы AI as Normal Technology утверждают, что нам не следует ожидать слишком многого.
ИИ не станет суперинтеллектом
Сценарии, в которых ИИ быстро развивается и/или оказывает масштабное воздействие на мир, часто опираются на «суперинтеллект» — идею, что ИИ значительно превзойдёт человеческие способности. В сценарии AI as Normal Technology это оказывается неосуществимым:
Мы полагаем, что есть относительно мало когнитивных задач реального мира, где человеческие ограничения настолько существенны, что ИИ может значительно превзойти результаты человека (как в шахматах). Мы считаем, что во многих других областях, включая некоторые связанные с заметными надеждами и опасениями о способностях ИИ, есть высокая «неустранимая погрешность» — неизбежная ошибка, вызванная внутренней стохастичностью явления, и человеческие результаты по сути близки к этому пределу.
Конкретнее, мы выделяем две такие области: прогнозирование и убеждение. Мы ожидаем, что ИИ не сможет существенно превзойти подготовленных людей (особенно команды людей, особенно применяющих простые инструменты автоматизации) в прогнозировании геополитических событий (скажем, выборов). Аналогичный прогноз мы даём и для задачи убеждения людей действовать вопреки собственным интересам.
Идея в том, что факторы, влияющие на исход выборов, настолько сложны и включают в себя столько хаотических петель обратной связи, что даже мозг размером с дата-центр не смог бы предсказать результат с гораздо большей уверенностью, чем мы сегодня. И что большинство важнейших реальных задач будут носить именно такой характер. Так что нам не следует ожидать, что ИИ разовьют сверхъестественную способность придумывать бизнес-стратегии или быстро разрабатывать нанотехнологии. Не следует ожидать и что они будут чудесным образом уметь выбирать направления для дальнейших исследований и разработок ИИ, что очень важно для коротких сроков AI 2027. Таким образом, если «суперинтеллекта» действительно в основном не будет, это ограничит и скорость развития ИИ, и воздействие, которое он может оказать на мир.
ИИ-максималисты возразили бы, указав на огромный разброс человеческих способностей. Согласно этому аргументу, будь ИИ был «всего лишь» способен дать миру миллионы мыслителей нобелевского уровня, это уже повлияло бы невероятно мощно. А если случайная генетика время от времени порождает Эйнштейна, кто может сказать, что интеллект, свободный от ограничений родовых путей, не мог бы стать супер-Эйнштейном? Лично я считаю эти идеи правдоподобными, но спекулятивными; возможно, что имеющегося у нас запаса нобелевских лауреатов уже достаточно для того, чтобы найти большинство «созревших для открытия» идей.
Ещё один контраргумент касается скорости и масштаба. Даже если сложность мира не позволяет ИИ совершать сверхчеловеческие подвиги проницательности и анализа, способность мыслить всего лишь на человеческом уровне, но со скоростью кремниевых чипов и на масштабах дата-центра, может быть очень важна. Например, AI 2027 представляет себе армию «сверхчеловеческих исследователей ИИ», которые пристально мониторят эксперименты по обучению ИИ, что позволит на раннем этапе останавливать неудачные и высвобождать вычислительные ресурсы для продвижения более перспективных. Дваркеш Патель предполагает, что, поскольку ИИ-системы легко копировать, Google однажды сможет создать миллион копий «СИИ-эквивалентов [своих ведущих инженеров] с полным сохранением всех их навыков, суждений и неявных знаний», а коммуникация и координация действий в будущих компаниях будет на беспрецедентном уровне. Или представьте, что речь на телесуфлере политического кандидата корректируется в режиме реального времени на основе мимики и постов в социальных сетях его аудитории. (Вопрос о том, будет ли это технически и экономически осуществимо, — предмет дебатов, но такие возможности следует учитывать.)
Все эти примеры о скорости и масштабе предполагают, что ИИ-системы работают частично или полностью без пристального человеческого надзора. AI as Normal Technology далее утверждает, что, напротив, ИИ, как правило, будут (или должны) отводиться рутинные и вспомогательные роли в обществе.
ИИ потребует постоянного надзора
В сценарии AI as Normal Technology ИИ будет постепенно брать на себя всё больше и больше задач, оставляя людям надзорную роль — решать, что нужно делать, и следить за ИИ-системами, которые выполняют фактическую работу. Надзор останется задачей человека, поскольку ИИ-системам нужно будет сообщать, чего мы хотим, и они не будут достаточно надёжными, чтобы работать совершенно самостоятельно, а ещё из соображений безопасности:
По мере того как всё больше физических и когнитивных задач будет поддаваться автоматизации, мы прогнозируем, что всё бóльшая доля человеческих рабочих мест и задач будет связана с контролем ИИ.
Помимо контроля ИИ, постановка задач, вероятно, станет большей частью человеческого труда (в зависимости от того, насколько широко мы понимаем контроль, постановку задач можно считать его частью). Как знает любой, кто пытался передать на аутсорс разработку ПО или продуктов, однозначно сформулировать желаемое — на удивление больша́я часть общих усилий. Так что человеческий труд — постановка задач и надзор — будет сосредоточен на стыке выполняющих разные задачи ИИ-систем. Устранение некоторых из этих «узких мест» и предоставление ИИ-системам возможности «от начала до конца» автономно выполнять более крупные задачи будет постоянным искушением, но это, снижая прозрачность и контроль, повысит риски для безопасности. Они будут естественным образом удерживать нас от того, чтобы передавать ИИ слишком много контроля.
Ещё мы прогнозируем, что эта трансформация будет в первую очередь обусловлена рыночными силами. Плохо контролируемый ИИ будет слишком склонен к ошибкам, чтобы его применение имело коммерческий смысл. Но регулирование может и должно усиливать способность организаций сохранять контроль в руках людей и их обязанность это делать.
В AI 2027, напротив, человечество быстро поддаётся искушению предоставлять ИИ всё большие степени автономии. Какой исход вероятнее? На индивидуальном и корпоративном уровнях возникнет сложный набор стимулов, который будет эволюционировать по мере роста способностей ИИ (и всё большего привыкания общества к роли ИИ в повседневной жизни). Со временем ИИ-системы могут стать менее «склонными к ошибкам». То, в какой степени люди сохранят тесную связь с ИИ в формате «постановки задач и надзора», — важная переменная, за которой стоит следить в будущем. Это ещё и выбор, а значит — потенциально важный рычаг для политики.
Это приводит к последней ключевой идее о воздействии ИИ: насколько могущественен ИИ будет в мире?
Интеллект и могущество
AI as Normal Technology проводит чёткое разграничение между интеллектом (способностью мыслить) и могуществом (способностью добиваться результатов). Авторы отмечают, что современные люди гораздо лучше контролируют окружающую среду, чем наши предки, несмотря на то, что генетически мы почти идентичны. Они приходят к выводу, что интеллект и могущество не обязательно тесно сплетены, что существенно расходится со сценарием AI 2027.
Далее они указывают, что есть много способов обеспечить безопасность ИИ-систем. Безопасность охватывает целый ряд аспектов, и один из них — не дать ИИ возможность причинять вред. Авторы упоминают механизмы безопасности и контроля, включая оценки систем перед развёртыванием; мониторинг их работы; системы защиты от сбоев и механизмы аварийного отключения, не дающие ИИ работать за пределами установленных ограничений; формальную верификацию свойств системы; ограничение способностей ИИ до минимума, необходимого для выполнения его задач; и использование более простых и доверенных ИИ для надзора за другими ИИ. Они ожидают, что эти или аналогичные механизмы ограничат возможность ИИ причинять вред в мире. Один из авторов отмечает: «Мы считаем, что есть (и будут) сильные коммерческие стимулы, препятствующие появлению неподконтрольного ИИ, и что рынок предложит много инноваций в области контроля».a
AI as Normal Technology рисует картину, которую большинство людей сочтут гораздо более утешительной, чем AI 2027. Насколько нам надо считать это мнение весомым?
Ставка на то, что ИИ не сломает мир
AI as Normal Technology представляет подробную аргументацию против сценариев, где ИИ уже скоро радикально повлияет на мир. Суть аргумента прямо в названии: ИИ будет развиваться так же, как и другие технологии, подчиняясь обычным пределам темпов изобретений, инноваций, внедрения и распространения. Мир сложен и состоит из многих разнородных, но взаимосвязанных компонентов, что естественным образом ограничивает скорость изменений; мы можем усилить эти ограничения разумными политическими решениями.
Верна ли эта точка зрения? История, безусловно, на её стороне. На памяти нашего поколения звучали громкие заявления о влиянии микропроцессоров, персональных компьютеров, интернета и смартфонов… но все они развивались как «обычные» технологии. Не говоря уже о Segway, виртуальной реальности, 3D-принтерах и многих других технологиях, которые тоже вызывали огромный ажиотаж, но более-менее сошли на нет3 (по крайней мере, пока).
Я застал появление всех этих технологий и не помню, чтобы хоть одна из них казалась столь же грандиозной, как ИИ. Но, конечно, память может подводить. ИИ-максималисты возразят, что технология, способная делать всё то же, что человек (если предположить, что ИИ оправдает эти ожидания), будет принципиально отличаться от всего виденного в прошлом.
Как и в случае с AI 2027, сценарий AI as Normal Technology опирается на несколько ключевых ожиданий и выборов. Даже в тех областях, которые кажутся подходящими для обучения в лабораторных условиях, вроде программирования, у ИИ не будет пространства для быстрого развития сверхчеловеческих способностей; или, если это и произойдёт, эти способности не перенесутся на другие области. ИИ не войдёт в широкий обиход быстрее, чем другие технологии; даже если он окажется необычайно привлекательным и гибким, этого будет недостаточно для преодоления барьеров на пути внедрения (которые должны иногда включать явное регулирование безопасности). Мир слишком сложен, чтобы суперинтеллект смог оказать значимое воздействие на него; ИИ, возможно, способен хитроумно планировать на много шагов вперёд в контролируемой среде шахматной доски, но не в реальной жизни. ИИ останется под пристальным надзором человека, поскольку он не будет достаточно совершенным и надёжным, чтобы решать, что нужно сделать, и выполнять это на большом масштабе, а ещё потому, что преимуществ ИИ в скорости и масштабе будет недостаточно, чтобы побудить нас убрать человека из процесса. Мы будем вкладывать больше средств в меры безопасности, дополняющие этот человеческий надзор: мониторинг, системы защиты от сбоев, ограничения и формальную верификацию.
Если отойти на шаг назад, я думаю, что в основном всё сводится к одному прогнозу и одному выбору. Прогноз: что нет быстрого пути к созданию ИИ, который был бы настолько универсально умным (и универсальным и настолько умным), чтобы выйти за привычные рамки прежних технологий. А выбор: что мы не поддадимся искушению отбросить осторожность, убрать человека из процесса и пренебречь другими мерами безопасности. На этот выбор будет влиять привлекательность продвинутого ИИ. Моё прочтение AI as Normal Technology приводит меня к тому же выводу, что и AI 2027: чтобы понять, к какому будущему мы движемся, нужно посмотреть, стремятся ли способности ИИ к бесконечности или же развиваются просто… обычным образом.
Благодарю Арвинда Нараянана и Саяша Капура за то, что они любезно прочитали черновик этого поста и указали на ряд ошибок. Все оставшиеся ошибки и неверные интерпретации, разумеется, на моей совести. Спасибо также Рэйчел Вайнберг и Тарен Стайнбрикнер-Кауфман за отзывы и помощь.