Когда десятилетия превращаются в дни: разбор «AI 2027»
Четыре условия коротких сроков развития ИИ
Большинство читателей этого блога наверняка слышали о AI 2027. Это недавно опубликованный сценарий, в котором суперинтеллект преобразует мир всего за несколько лет, что, возможно, приведёт к вымиранию человечества к 2030 году.
В «AI 2027» представлено самое подробное на сегодняшний день объяснение того, как может возникнуть трансформативный ИИ. В команду авторов входят Дэниел Кокотайло, написавший ещё в 2021 году известный своей прозорливостью прогноз развития ИИ, и «суперпрогнозист» Илай Лифланд. Вместе с соавторами они составили детальную модель сроков развития ИИ размером с небольшую книгу. Она предсказывает, что недавний невероятный прогресс ИИ был лишь началом, а всемогущий суперинтеллект, к лучшему или к худшему, скорее всего, уже не за горами. Тут я расскажу об «активных компонентах» этого прогноза — ключевых допущениях, ведущих к такому поразительному результату. Если вы задаётесь вопросом, могут ли сбыться прогнозы о колоссальном воздействии ИИ на мир, вам стоит обратить внимание на эти факторы.
Давайте немного задумаемся о том, насколько радикальным может оказаться появление суперинтеллекта
В основе «AI 2027» лежит понятие ИСИ — искусственного суперинтеллекта, то есть «ИИ-системы, которая справляется с любой когнитивной задачей намного лучше, чем лучший из людей». По определению, такая система была бы лучшим физиком, чем Эйнштейн, лучшим стратегом, чем Сунь-цзы, лучшим визионером, чем Стив Джобс, лучшим создателем стартапов, чем Илон Маск, и лучшим аферистом, чем Берни Мэдофф. Что бы ни делало вас, по вашему мнению, особенным, она превзойдёт вас и в этом. И не просто превзойдёт, а будет «намного лучше», её достижения показались бы чудом даже этим выдающимся личностям.1 Кроме того, согласно модели «AI 2027», эта система могла бы мыслить гораздо быстрее любого из них, работая в идеальной координации с сотнями тысяч собственных копий. Это та самая «страна гениев в датацентре» Дарио Амодея.
В «AI 2027» описано, как может появиться ИСИ; приведу оттуда несколько фрагментов.2 В ноябре 2027 года:
В своей специализации исследований ИИ отдельная копия Agent-5 превосходит величайшего человеческого гения в два раза сильнее, чем этот гений превосходит типичного учёного [из ведущей ИИ-лаборатории]. … 400 000 копий Agent-5 с глобальным банком памяти работают вместе как практически идеальный коллективный разум.
…
Сверхчеловеческие способности Agent-5 к обучению и его общий интеллект в сочетании со всеми внутренними данными компании из Slack, электронной почты и т. д. позволяют ему ориентироваться во внутренней корпоративной политике лучше любой группы людей, причём с огромным отрывом. Он отлично понимает, какие свидетельства заставили бы Наблюдательный комитет ударить по тормозам, и следит за тем, чтобы такие свидетельства никогда не появились.
В этот момент ход событий в целом уже предрешён, но ИИ выжидает ещё пару лет, пока:
К началу 2030 года экономика роботов заполнила старые СЭЗ [специальные экономические зоны], новые СЭЗ и значительные части океана. Единственное, куда осталось продвигаться, — это контролируемые людьми территории. … с учётом задействованных триллионов долларов и полного контроля правительства и СМИ, у «Консенсуса-1» не возникает особых проблем с получением разрешения на экспансию в ранее принадлежавшие людям зоны.
В течение примерно трёх месяцев «Консенсус-1» расширяется вокруг людей, застраивая прерии и ледяные шапки фабриками и солнечными панелями. В конце концов он решает, что оставшиеся люди слишком уж мешают: в середине 2030 года ИИ применяет в крупных городах дюжину незаметно распространяющихся видов биологического оружия, позволяет им бесшумно заразить почти всех, а затем активирует их распылением химикатов. Большинство умирает за несколько часов; немногочисленных оставшихся (например, выживальщиков в бункерах и моряков на подводных лодках) зачищают дроны. Роботы сканируют мозг жертв, сохраняя копии в памяти для будущего изучения или воскрешения.
Авторы предлагают и альтернативный сценарий: он заканчивается для человечества более благополучно, но темпы прогресса там едва ли менее драматичные. Их модель допускает, что всё это может случиться уже в 2027 году, но отводит значительную вероятность и тому, что этого не произойдёт до 2100 года. Путь от сегодня до ИСИ сложен и зависит от множества переменных. «AI 2027» не утверждает, что на подготовку у нас точно всего пара лет, но настаивает, что эту возможность нужно воспринимать очень серьёзно.
Как всё может развиваться так быстро?
ИИ должен будет сильно ускорить своё собственное развитие
Это факт: ведущие ИИ-лаборатории всё время выпускают новые, более мощные модели. И ни для кого не секрет, что они используют собственные инструменты для ускорения этого процесса. Некоторые из самых активных пользователей ИИ-помощников для программирования работают в OpenAI, Anthropic и Google DeepMind.
В сценарии «AI 2027» это порождает восходящую спираль: более совершенные ИИ-инструменты ускоряют исследования и разработки в ИИ-лабораториях, что приводит к созданию ещё более совершенных ИИ-инструментов, которые, в свою очередь, ускоряют этот процесс ещё сильнее. К концу сценария исследования и разработки ИИ продвигаются в 2500 раз быстрее, чем это было бы без помощи ИИ, то есть примерно за день совершается прогресс, на который иначе ушло бы десятилетие.3 Подобный сценарий «программного взрыва» предлагался уже много раз, но «AI 2027» необычайно глубоко прорабатывает детали. (Мне, однако, хотелось бы, чтобы в нём подробнее говорилось, из каких конкретно занятий складываются «исследования и разработки ИИ», а значит, и о полном перечне способностей, которые понадобятся ИИ, чтобы их ускорить.)
Безо всякой натяжки можно сказать, что ИИ-инструменты ускорят исследования и разработки. Но 2500-кратное ускорение колоссально. Как команда суперинтеллектуальных ИИ могла бы разогнать прогресс до такой степени?
Как отмечали многие писатели, есть проблема с персонажами-гениями: чтобы понять, как такой поступил бы, нужно самому быть гением. Можно предположить, что, какое бы мы ни придумали применение ИСИ в исследованиях и разработках, настоящий суперинтеллект нашёл бы вариант получше. С этой оговоркой я обсужу некоторые идеи, что, по-видимому, имели в виду авторы «AI 2027».
Для общего понимания: большая часть работы по созданию новых моделей ИИ сводится к проведению «экспериментов». У исследователей нет недостатка в идеях, как лучше обучать ИИ, но заранее невозможно судить, какие из них окажутся удачными. Специалисты-практики сравнивают этот процесс с алхимией. Чтобы отделить хорошие идеи от плохих, необходимо их проверить. «Эксперимент» состоит в том, чтобы обучить новую модель с нуля и посмотреть, улучшила ли результат ваша доработка процесса обучения.
Обучение моделей обходится дорого, поэтому исследователи всегда ограничены в числе экспериментов, которые могут себе позволить. Каждый требует инженерной работы на реализацию идеи, вычислительных ресурсов, чтобы обучить модель на основе этой идеи, и ещё работы, чтобы оценить результат. Известно, что у некоторых сотрудников крупных ИИ-лабораторий особенно хороший «исследовательский вкус»; они лучше справляются с выбором экспериментов, которые окупятся. Но в этом процессе всё равно много проб и ошибок. В принципе, мы могли бы разработать ИИ со сверхчеловеческим «исследовательским вкусом»: они выбирали бы эксперименты, которые с большей вероятностью окупятся и в случае успеха дадут более заметные улучшения.
Ещё ИИ могли бы удешевить каждый эксперимент: автоматизировать программирование и оценку, реже допускать ошибки, из-за которых работа идёт насмарку, и следить за уже запущенными прогонами, чтобы понять, стоит ли доводить их до конца. Кроме того, они могли бы выжать максимум из ограниченных мощностей датацентров, доступных для обучения моделей, проводя больше экспериментов меньшего масштаба.
Эти преимущества, в принципе, перемножаются. Ускорения в 2500 раз можно было бы достичь, скажем, так: выбирать эксперименты в 10 раз удачнее,4 извлекать из каждого в 5 раз больше знаний, не допускать ошибок, которые иначе загубили бы 50 % экспериментов, и тратить на каждый в 25 раз меньше вычислительных ресурсов.
Любой из этих шагов стал бы выдающимся достижением. Даже если все они в совокупности ускорят исследования и разработки в области ИИ в 2500 раз,5 для реализации сценария «AI 2027» потребуется ещё несколько ключевых допущений.
ИИ должен будет стать разносторонним
Способности современного ИИ, как известно, крайне неравномерны. Он может с лёгкостью решать сложные задачи по спортивному программированию и за секунды резюмировать длинные документы, но часто пасует перед более «нечёткими» задачами реального мира. Например, модели уже давно превзошли среднего радиолога в ряде задач по анализу изображений, но они ещё не готовы выполнять работу радиолога.
Авторы «AI 2027» предполагают, что способности ИИ «выровняются». Крупные лаборатории усердно работают над тем, чтобы научить модели вести большие программные проекты. В ходе дискуссии Илай Лифланд отметил, что для этого ИИ потребуется улучшить навыки нечётких суждений, такие как выбор подхода к большому проекту или способность заметить, как поиск пошёл не туда. Он утверждает, что эти «нечёткие» навыки, приобретённые на пути к компетентности в программировании, позволят моделям справляться с более субъективными задачами, которые пока даются им с трудом.
Если этим «нечётким» навыкам окажется трудно научиться на больших программных проектах или если они не будут естественным образом обобщаться на другие виды работы, это создаст для сценария «AI 2027» две проблемы. Во-первых, будет сложнее разработать ИИ, способный делать всё, из чего складываются исследования и разработки ИИ. Во-вторых, как только этот рубеж будет преодолён, может потребоваться дополнительная работа для развития способностей ИИ в других областях.
Даже если неравномерные сильные и слабые стороны современных ИИ начнут выравниваться, может оказаться сложно разработать широкий спектр способностей, не дожидаясь обратной связи от их развёртывания в реальных условиях.
Всё это должно произойти в лаборатории
История проекта беспилотных автомобилей Google Waymo насчитывает уже 20 лет. Год за годом компания Waymo терпеливо тестировала свои автомобили в полевых условиях, обновляла ПО и проводила новые испытания. Прогресс здесь движется только за счёт наблюдений, как каждая итерация ведёт себя в реальных условиях вождения, а это по своей сути медленный процесс. Например, в прошлом году Waymo потребовалось место в Сан-Франциско, где автомобили могли бы парковаться в периоды простоя. Компания арендовала парковку рядом с двумя многоквартирными домами… и внезапно обнаружила, что посреди ночи, когда на стоянке скапливалось много свободных машин Waymo, они начинали непрерывно сигналить друг другу. Очевидно, что никто в команде разработчиков не предвидел такого сценария — он обнаружился только при массовой эксплуатации в реальных условиях.
В «AI 2027», напротив, исследования и разработки предстают полностью замкнутым на себя процессом. Стремительный темп не оставляет времени на то, чтобы опереться на опыт реального мира. Все важные этапы должны выполняться автоматизированными системами внутри крупных ИИ-лабораторий — в том числе и проверка, насколько хорошо новые модели справляются с задачами всех сортов, от сочинения художественных текстов до корпоративного управления. Тесты, предположительно, будут проводиться в симулированных окружениях. Чтобы прогресс был быстрым, этот процесс должен работать безупречно: сверхчеловеческого уровня способностей во всём спектре интеллектуальных задач нужно достичь стремительно и почти без обратной связи от реального мира.
Профильным экспертам тоже почти не останется возможности внести свой вклад. Чтобы в короткие сроки появился универсальный суперинтеллект, ИИ должны будут достичь сверхчеловеческого уровня в биологии при весьма ограниченном участии самих биологов и сверхчеловеческого уровня в бизнес-стратегии без реальной возможности управлять бизнесом.
С петлёй обратной связи, в которой ИИ разрабатывают более совершенные ИИ, связан ещё один вопрос: как её запустить?
Нам придётся вручную раскрутить маховик
Один из первых рубежей в сценарии «AI 2027» — «сверхчеловеческий программист»: «ИИ-система, способная выполнять любые задачи по программированию, с которыми справляется лучший инженер компании-разработчика СИИ, при этом гораздо быстрее и дешевле6». Авторы прогнозируют, что такая система разгонит прогресс в пять раз и что она скорее будет, чем не будет разработана в течение пары лет.
Пятикратное ускорение — это очень много! В нашем недавнем отчёте об автоматизации программной инженерии мы обнаружили, что инженеры тратят значительную часть своего времени на задачи, не связанные с написанием кода. Для автоматизации 80% их рабочего процесса потребуется, чтобы модели стали способны решать гораздо более широкий спектр задач, чем сегодня.
Но и автоматизация 80% работы инженера далеко не обеспечила бы пятикратного ускорения исследований и разработок ИИ. Прогресс зависит от таланта, вычислительных мощностей (чипов для обучения моделей) и данных. Если бы ИИ увеличил производительность «таланта» в 5 раз, его влияние на прогресс был бы гораздо меньше пятикратного ускорения (насколько именно меньше — это было предметом многочисленных дискуссий). Пятикратное ускорение прогресса потребует автоматизации гораздо больше 80% работы из исследований и разработок ИИ, либо потребует, чтобы ИИ давал и другие преимущества: например, обострял «исследовательский вкус» специалистов, которые сегодня решают, какие эксперименты проводить.
Суть в том, что короткие сроки развития ИИ требуют, чтобы мы смогли довольно быстро разработать инструменты, которые будут достаточно универсальными (способными автоматизировать как минимум 80% задач из исследований и разработок ИИ) и мощными (превосходящими типичного специалиста во многих из этих задач). И, по определению, это придётся сделать без сколько-нибудь заметной помощи ИИ — ведь всё это должно произойти раньше, чем такая помощь появится.
Таковы четыре ключевых допущения, которые должны оправдаться, чтобы суперинтеллект появился в короткие сроки. Я закончу пятым, бонусным допущением.
По сути, всё должно сложиться идеально
Как мы видели, спринт к ИСИ требует, чтобы ИИ был способен многократно ускорить собственное развитие во всех сферах человеческой деятельности без обратной связи от развёртываний в реальном мире… и чтобы мы сами, без особой помощи ИИ, запустили этот процесс.
Команда проекта «AI 2027» считает это возможным, и у неё солидный опыт удачных предсказаний. Но нельзя отрицать: прогноз очень смелый. Помимо четырёх ключевых допущений, короткие сроки требуют, чтобы на пути к суперинтеллекту не возникло никаких непредвиденных преград. Никаких внезапных барьеров для прогресса; никаких недостающих способностей, которые в итоге потребуют сложного прорыва; никаких серьёзных геополитических потрясений, нарушающих развитие ИИ.
В предыдущем обсуждении «AI 2027» я процитировал закон Хофштадтера:
Любое дело всегда занимает больше времени, чем вы ожидаете, даже если учесть закон Хофштадтера.
Дэниел Кокотайло указал, что это всего лишь переформулировка «ошибки планирования», которую отлично резюмирует ИИ-обзор Google:
Когнитивное искажение, при котором люди недооценивают время, затраты и усилия, необходимые для завершения проекта или выполнения задачи, даже при наличии прошлого опыта.
Посмотреть на это можно так: когда вы составили эффективный план для сложного проекта, неожиданности скорее замедлят, а не ускорят процесс. Именно об этом и говорит закон Хофштадтера: мы склонны недооценивать этот эффект. Эта тенденция настолько сильна, что получила много названий: «Кредо программиста»7, правило 90-90, закон Мёрфи и т. д. Количественная модель в основе «AI 2027» включает в себя параметры, призванные учесть непредвиденные задержки; их может быть или не быть достаточно.
Легендарный инженер Google Джефф Дин говорил, что распределённую систему, как правило, приходится перепроектировать каждый раз, когда она вырастает в 100 раз. Это связано с тем, что по мере роста система меняется непредсказуемым образом; аспекты, не имевшие значения на 10 000 пользователей, могут стать критически важными на миллионе. «AI 2027» предусматривает ускорение исследований и разработок в области ИИ в 2500 раз; на этом пути непременно возникнут неожиданности.
Если четыре допущения, которые я рассмотрел здесь, оправдаются, и неизбежные сюрпризы по дороге не замедлят процесс больше, чем ожидают авторы «AI 2027», то нас ждёт бурное развитие событий. В следующем посте я подробнее рассмотрю альтернативные допущения, лежащие в основе противоположной модели: AI as Normal Technology.
Благодарю Рэйчел Вайнберг и Тарен Стайнбрикнер-Кауфман за отзывы и помощь в подготовке этого поста… а также Дэниела Кокотайло, Илая Лифланда, Райана Гринблатта и всех остальных, кто нашёл время, чтобы оставить подробные комментарии к двум постам на LessWrong, где я первоначально опробовал представленные здесь идеи.