Мягкая сингулярность

автор: Sam Altman
АвтоматизацияВзлёт ИИИнтеллектуальный взрывИскусственный интеллектСогласование ИИСуперинтеллектТрансформативный искусственный интеллектЭкономический рост
 

Мы уже пересекли горизонт событий; взлёт начался. Человечество близко к созданию цифрового суперинтеллекта, и пока что всё это совсем не так странно, как можно было бы ожидать.

Роботы пока не ходят по улицам, а большинство из нас не общается с ИИ целыми днями. Люди по-прежнему умирают от болезней, мы всё ещё не можем легко отправиться в космос, и во Вселенной много такого, чего мы не понимаем.

И всё же, недавно мы создали системы, которые во многих отношениях умнее людей и могут значительно повысить результативность тех, кто их использует. Самая труднодостижимая часть работы уже позади; научные открытия, которые привели нас к таким системам, как GPT-4 и o3, дались нелегко, но они позволят нам продвинуться очень далеко.

ИИ подействует на мир много как, но выигрыш в качестве жизни от ускорения ИИ научного прогресса и роста продуктивности будет огромен. Будущее может стать намного лучше настоящего. Научный прогресс — главная движущая сила прогресса вообще; невероятно воодушевляет мысль о том, насколько большего мы могли бы достичь.

В каком-то очень важном смысле ChatGPT уже обладает большей мощью, чем любой когда-либо живший человек. Сотни миллионов людей ежедневно полагаются на неё во всё более важных делах; небольшая новая способность может оказать огромное положительное влияние, а небольшая несогласованность, помноженная на сотни миллионов людей, привести к большим негативным последствиям.

В 2025 году появились агенты, способные выполнять настоящую когнитивную работу; программирование уже никогда не будет прежним. В 2026 году, вероятно, появятся системы, способные приходить к новым озарениям. В 2027 году, возможно, появятся роботы, способные выполнять задачи в реальном мире.

Гораздо больше людей смогут создавать программы и искусство. Но миру нужно гораздо больше и того, и другого; а эксперты, вероятно, всё ещё будут намного превосходить новичков — если освоят новые инструменты. Вообще, то, что в 2030 году один человек сможет сделать намного больше, чем в 2020-м, станет поразительной переменой, и многие найдут способ извлечь из этого выгоду.

2030-е годы, возможно, не будут кардинально отличаться в главном. Люди продолжат любить свои семьи, заниматься творчеством, играть в игры и купаться в озёрах.

Но в других всё-же-очень-важных-отношениях 2030-е годы, вероятно, будут кардинально отличаться от всего, что было прежде. Мы не знаем, насколько далеко за пределы интеллекта человеческого уровня мы сможем продвинуться, но вот-вот выясним.

В 2030-х годах интеллект и энергия, идеи и способность воплощать их в жизнь, окажутся в невероятном изобилии. Эти два ресурса долго были фундаментальными ограничителями человеческого прогресса; при таком изобилии (и при хорошем управлении) мы теоретически сможем получить всё остальное.

Уже сейчас мы живём бок о бок с невероятным цифровым интеллектом, и после первоначального шока большинство из нас к нему вполне привыкло. Мы очень быстро переходим от удивления, что ИИ может сгенерировать прекрасно написанный абзац, к вопросу, когда он напишет прекрасный роман; от удивления, что он способен ставить диагнозы, спасающие жизни, к вопросу, когда он сможет разрабатывать лекарства; от удивления, что он может написать небольшую компьютерную программу, к вопросу, когда он создаст целую новую компанию. Так и наступает сингулярность: чудеса становятся рутиной, а затем — базовой нормой.

Мы уже слышим от учёных, что они работают в два-три раза продуктивнее, чем до появления ИИ. Передовой ИИ интересен по многим причинам, но, пожалуй, важнее всего то, что с ним можно ускорить исследования самого ИИ. Возможно, нам удастся открыть новые вычислительные субстраты, разработать более совершенные алгоритмы и кто знает что ещё. Если мы сможем за год или даже за месяц выполнять объём исследований, на который раньше уходило десятилетие, то темпы прогресса, очевидно, станут совершенно иными.

Отныне инструменты, которые мы уже создали, будут помогать нам делать новые научные открытия и создавать более совершенные ИИ-системы. Конечно, это не то же самое, что ИИ-система, полностью автономно меняющая свой код, но всё же, это — зачаточная форма рекурсивного самоулучшения.

Действуют и другие самоусиливающиеся циклы. Созданная экономическая ценность раскрутила маховик: инфраструктуру для этих всё более мощных ИИ-систем наращивают всё быстрее. И роботы, способные собирать других роботов (как и, в некотором смысле, дата-центры, способные строить другие дата-центры), уже не за горами.

Если нам придётся изготовить первый миллион гуманоидных роботов по старинке, но затем они смогут взять на себя всю цепочку поставок: добывать и перерабатывать полезные ископаемые, водить грузовики, обеспечивать работу заводов и т. д., чтобы создавать больше роботов, которые, в свою очередь, смогут строить новые заводы по производству чипов, дата-центры и т. д., то темпы прогресса, очевидно, станут совершенно иными.

По мере автоматизации создания дата-центров стоимость интеллекта должна в итоге приблизиться к стоимости электроэнергии. (Люди часто интересуются, сколько энергии тратится на запрос к ChatGPT. В среднем — около 0,34 ватт-часа. Примерно столько духовка потребляет чуть больше чем за секунду, а энергосберегающая лампочка — за пару минут. Ещё на один запрос расходуется около 0,000085 галлона воды — примерно одна пятнадцатая чайной ложки.)

Темпы технического прогресса продолжат ускоряться, а люди по-прежнему будут способны адаптироваться практически ко всему. Нас ждут очень тяжёлые испытания, например, исчезновение целых категорий профессий, но с другой стороны, мир будет богатеть столь сильно и быстро, что мы сможем всерьёз обсуждать такие политические решения, о которых раньше не могли и мечтать. Вероятно, мы не примем новый общественный договор в одночасье, но когда мы оглянемся назад через несколько десятилетий, окажется, что постепенные изменения сложились во что-то грандиозное.

Если судить по истории, мы придумаем себе новые занятия и новые желания и быстро освоим новые инструменты (смена профессий после промышленной революции — хороший недавний пример). Ожидания будут расти, но способности будут расти так же быстро, и у всех нас появятся вещи получше. Мы будем создавать друг для друга всё более удивительные вещи. Важное и любопытное долгосрочное преимущество людей перед ИИ: нам от природы небезразличны другие люди и то, что они думают и делают, а машины нас особо не занимают.

Крестьянин, тысячу лет назад живший натуральным хозяйством, посмотрел бы на то, чем занимаются многие из нас, и сказал бы, что это всё фальшивая работа, решил бы, что мы просто играем в игры ради развлечения, у нас ведь вдоволь еды и невообразимая роскошь. Я надеюсь, что и мы посмотрим на профессии, которые появятся через тысячу лет, и тоже сочтём их совершенно фальшивыми, но не сомневаюсь, что тем, кто будет ими заниматься, они покажутся невероятно важными и приносящими глубокое удовлетворение.

Темпы появления новых чудес будут огромными. Сегодня даже трудно представить, что мы откроем к 2035 году; возможно, в один год мы решим физику высоких энергий, а в следующий — начнём колонизацию космоса; или в один год совершим крупный прорыв в материаловедении, а в следующий — создадим настоящие быстрые нейрокомпьютерные интерфейсы. Многие предпочтут жить примерно как раньше, но по крайней мере некоторые, вероятно, решат «подключиться».

Заглядывая так в будущее, с трудом укладываешь это в голове. Проживать это, наверное, будет впечатляюще, но вполне посильно. В системе отсчёта изнутри этого процесса, сингулярность наступает постепенно, а слияние происходит медленно. Мы поднимаемся по длинной дуге экспоненциального технологического прогресса; если смотреть вперёд, она всегда кажется вертикальной, а если оглядываться назад — плоской, но на самом деле это одна плавная кривая. (Вспомните 2020 год. Как бы тогда прозвучали слова, что к 2025 году у нас будет что-то близкое к СИИ? И сравните с тем, какими эти пять лет оказались на самом деле.)

Наряду с огромными преимуществами нас ждут и серьёзные вызовы. Нам действительно нужно решить вопросы безопасности, как с технической, так и с социальной точки зрения. Но при этом, учитывая экономические последствия, крайне важно обеспечить широкий доступ к суперинтеллекту. Оптимальный путь вперёд может выглядеть примерно так:

  1. Решить задачу согласования, то есть надёжно гарантировать, что ИИ-системы будут учиться и действовать в стремлении к тому, чего мы все вместе действительно хотим в долгосрочной перспективе (ленты социальных сетей — пример несогласованного ИИ; алгоритмы, лежащие в их основе, невероятно эффективно заставляют без конца их листать, чётко понимая ваши краткосрочные предпочтения и эксплуатируя некие механизмы в вашем мозге, которые подавляют ваши долгосрочные предпочтения).

  2. Затем сосредоточиться на том, чтобы сделать суперинтеллект недорогим, широко доступным и не слишком сконцентрированным в руках какого-либо человека, компании или страны. Общество устойчиво, изобретательно и быстро адаптируется. Если мы сможем направить в нужное русло коллективную волю и мудрость людей, то, хотя мы и совершим немало ошибок, а некоторые вещи пойдут совсем не так, как надо, мы будем быстро учиться и адаптироваться, чтобы использовать эту технологию с максимальной выгодой и минимальным ущербом. Кажется очень важным предоставить пользователям большую свободу в рамках широких границ, которые должно определить общество. И чем раньше мир начнёт обсуждать, что это за границы и как мы определяем коллективную согласованность, тем лучше.

Мы (вся отрасль, а не только OpenAI) создаём мозг для всего мира. Он будет чрезвычайно персонализированным и простым в использовании для каждого; ограничивать нас будет лишь нехватка хороших идей. Технари из стартап-индустрии долго насмехались над «ребятами с идеями» — теми, у кого есть идея и кто ищет команду, чтобы её воплотить. Теперь мне кажется, что их звёздный час вот-вот настанет.

OpenAI сейчас занимается много чем, но прежде всего мы — исследовательская компания в области суперинтеллекта. Впереди у нас много работы, но большая часть предстоящего пути уже освещена, а тёмные участки стремительно отступают. Мы безмерно благодарны за возможность делать то, что мы делаем.

Интеллект, который обходится пренебрежимо дёшево, вполне достижим. Возможно, это звучит безумно, но если бы в 2020 году мы сказали вам о том, что происходит сегодня, это, наверное, звучало бы ещё безумнее, чем наши нынешние прогнозы на 2030 год.

Пусть мы плавно, экспоненциально и без происшествий домасштабируемся до суперинтеллекта.


Оригинальная публикация: Sam Altman (2025) The gentle singularity, Sam Altman’s Blog, 10 июня.