Самый важный момент в истории — сейчас
o3, DeepSeek и другие передовые разработки в ИИ приближают появление СИИ
Исследователи ИИ паникуют от того, как быстро он развивается. Случаи, когда он оказывается умнее людей, стали обычным делом, и его темпы развития растут. Достижения последних недель ещё сильнее ускорили этот процесс. Похоже, ИИ могут в ближайшие 1-5 лет стать умнее людей, а потом быстро уподобиться богам. Мы стоим на краю пропасти и вот-вот прыгнем с обрыва ИИ-суперинтеллекта,1 хотим мы того или нет.
Когда мы прыгнем?
Что нас ждёт внизу?
Есть ли у нас парашют?
Прогнозы рынка
Шесть месяцев назад я написал статью What would you do if you had 8 years left to live?, где объяснял, что рынок прогнозирует появление СИИ (сильного искусственного интеллекта — способного на то, что может большинство людей) через восемь лет, к 2032 году. С тех пор эта дата сдвинулась ближе. Теперь его ждут всего через шесть лет. То есть полугода хватило, чтобы приблизить прогноз на целый год. Оценки вероятности сейчас выглядят так:
Но ИИ, такой же умный, как люди, — не самый тревожащий рубеж. Самый тревожащий — это ASI (искусственный суперинтеллект), настолько превосходящий человеческие возможности, что мы даже не в силах его постичь.
Согласно прогнозистам, осталось пять лет:
-
Два года (то есть конец 2026 года) до слабого СИИ
-
Ещё три года (то есть конец 2029 года) до суперинтеллекта
Можно заметить, что прогнозы не идеально последовательны, но они сходятся в том, что ИИ, способный выполнять любую задачу лучше любого человека, появится уже через пять лет.
У кого больше всего шансов знать точно? Полагаю, у руководителей крупнейших ИИ-лабораторий. Что говорят они?
Ведущие эксперты
Вот ещё одна его цитата:
Я думаю, что мощный ИИ2 может появиться уже в 2026 году.—Машины благодати и любви, Дарио Амодей, генеральный директор Anthropic
И ещё одна:
Два года назад мы были на уровне старшей школы. В прошлом году — на уровне бакалавриата. В этом — на уровне аспирантуры. Если прикинуть скорость развития этих способностей, приходишь к мысли, что мы придём к цели в 2026 или 2027 году.—Дарио Амодей в беседе с Лексом Фридманом
Перейдём к OpenAI, создателям ChatGPT. Вот что говорит генеральный директор компании Сэм Альтман:
Теперь мы уверены, что знаем, как создать СИИ в классическом понимании этого термина. Мы начинаем заглядывать дальше — на суперинтеллект в полном смысле этого слова. С суперинтеллектом мы сможем сделать всё остальное. — Reflections, Сэм Альтман
А вот их глава по продуктам:
ИИ поднимается по списку лучших программистов с миллионного места на тысячное, а затем на 175-е — всего за 3–4 месяца… Траектория очень крутая, я даже не уверен, что это будет 2027 год, думаю, может и раньше.
Почему он говорит, что ИИ сейчас на 175-м месте среди лучших программистов мира?
Обратите внимание, что это программисты разрабатывают ИИ. Так что 175-е место в списке лучших программистов означает, что ИИ способен писать код для ИИ лучше, чем большинство людей.
Вот что говорит исследователь из OpenAI:
И ещё один:
Мы считаем, что o1 [модель, которую OpenAI выпустила несколько месяцев назад] — это новая парадигма масштабирования, и мы пока лишь на ранней стадии продвижения по ней.—Ноам Браун
Всё, что мы сейчас делаем, отлично масштабируется. Всё возникает эмерджентно. Ничего не прописано в коде. Мы никак не говорили модели: «Эй, тебе, возможно, стоит проверить своё решение, сделать шаг назад…» Никаких тактик. Всё возникает само. Всё усваивается через обучение с подкреплением. Это безумие! Безумие!
С тех пор, как я пришёл в январе 2024 года, я перешёл от «это пустой хайп» к «СИИ, по сути, уже здесь». ИМХО, дальше нас ждёт относительно мало новых научных открытий, вместо них — годы упорной инженерной работы: перепробовать все ставшие очевидными идеи в рамках новой парадигмы. Возможно, за этой стеной будет другая, но пока что, насколько видно, впереди 10-кратный рост.
Вот что по этому поводу заявила администрация Байдена:
Возможно, именно поэтому Сэм Альтман назначил на 30 января закрытый брифинг для представителей правительства США. Как сообщает Axios:
Инсайдеры в сфере ИИ считают, что грядёт крупный прорыв в создании суперАгентов уровня PhD… Сотрудники OpenAI рассказывают друзьям, что недавние успехи их одновременно вдохновляют и пугают.
Если вы думаете, что это просто шумиха от лидеров отрасли ИИ в поисках новых инвесторов, обратите внимание на слова Демиса Хассабиса — недавнего лауреата Нобелевской премии за работу в области ИИ и генерального директора DeepMind (это подразделение Google, так что привлекать финансирование им нужды нет):
В этой сфере много шумихи. [До появления СИИ], вероятно, от трёх до пяти лет.
Но есть ли ощутимые доказательства, что эти ИИ-модели и правда становятся настолько хороши?
Бенчмарки
ИИ и раньше требовалось некоторое время, чтобы превзойти людей в разных задачах.
Но раньше, чтобы превзойти человека в какой-нибудь задаче, ИИ требовались десятилетия, а теперь — месяцы. Вот так всё быстро.
Передовая модель o3 от OpenAI ещё не вышла, поэтому давайте посмотрим, что говорят те, кто пользуется гораздо более глупой o1.4
Согласно тесту MENSA, её IQ — 120.
Чтобы оценить, как это много: o1 располагается между выдающимся интеллектом и очень выдающимся интеллектом, что соответствует 87–91-му процентилю. То есть эта штука умнее 9 из 10 человек.
Подумайте об этом.
Проиллюстрируем наглядно (попробуйте сами найти ответ на вопрос ниже!):
Итак, какой у вас ответ?
Подумайте!
Ладно, вот:
Я проверил.5
У меня точно на это ушло больше 5 секунд, и, полагаю, многие вообще не в состоянии её решить.
В июле 2024 года системы AlphaProof и AlphaGeometry от Google DeepMind чуть не завоевали золото на Международной математической олимпиаде (IMO):
o1 — универсальная модель. Она не специализируется на математике. И всё же она набрала 83 % на отборочном экзамене к той же IMO. Предыдущая версия ChatGPT набрала 13 %…
Почему это важно?
Золото на IMO — важный рубеж для исследователей ИИ: они трактуют его как обретение «способности рассуждать».
Пол Кристиано — изобретатель RLHF, признанный гений и, пожалуй, самый уважаемый в мире специалист по согласованию — ранее говорил, что повысит оценку вероятности «резкого взлёта» с 30 % до 50 %, если к 2025 году мы увидим золото на IMO.—@AISafetyMemes
Напомним: «резкий взлёт» — это когда ИИ становится достаточно умным, чтобы улучшать сам себя, — и, делая это, становится ещё умнее, улучшает себя ещё больше, становится всё умнее и — ВЖУХ! — за считанные месяцы, недели или дни достигает уровня суперинтеллекта благодаря рекурсивному циклу самоулучшения.
Чтобы получить об этом представление, послушайте генерального директора NVIDIA — компании, которая сегодня получает более 100 %6 прибыли в сфере ИИ:
В 2021 году Пол оценивал вероятность такого развития событий всего в 8 %! Как известно, он был самым видным сторонником концепции «медленного взлёта». Резкие взлёты пугают своей куда меньшей предсказуемостью. У общественных институтов почти нет времени, чтобы адаптироваться к безумным темпам изменений.—Источник
Посмотрите, как он справляется с научными вопросами уровня PhD:
Он отвечает лучше докторов наук!
Вот широкий набор тестов:
Кроме того, недавно у некоторых ИИ появилось контекстное окно на 100 млн токенов (то есть они могут «прочесть» около 750 романов, чтобы выдать вам ответ).
Всё только что рассказанное касается o1 — предыдущей модели! А что мы знаем о нынешней модели o3, которую OpenAI сейчас тестирует и от которой исследователи в таком восторге?
GPQA — это сложный экзамен по естественным наукам, рассчитанный на докторов наук, который невозможно пройти, просто загуглив. В среднем они набирают 34 %. В своей узкой специализации — около 81 %. Новая модель OpenAI, o3, даёт 88 % правильных ответов.
Другими словами, o3 решает задачи лучше докторов наук в их же областях.9
Ещё один бенчмарк — FrontierMath, набор строгих, не публиковавшихся ранее математических задач, специально составленных математиками, чтобы решить их было невероятно трудно.
Задачи действительно сложные… большинство из них, похоже, намного выше моего уровня. — Эван Чен, тренер Международной математической олимпиады.
ИИ никогда не набирали больше 2%, но o3 верно решил 25% задач.
ARC-AGI — известный тест на подвижный интеллект, задуманный так, чтобы быть относительно простым для человека, но сложным для ИИ. Средний человек набирает в нём 75 %, а аспиранты STEM-специальностей — 100 %; o3 обошёл все предыдущие модели ИИ и набрал 87,5 %.
Два года назад (в 2023 году) один эксперт по ИИ предсказал, что ИИ преодолеет отметку в 70 % в ARC-AGI только через 2–3 года от сегодняшнего дня (то есть примерно в 2027 или 2028 году)…
Подведу итог:
-
Модель o1 от OpenAI была настолько хороша, что уже считалась элитной.
-
Их новая модель, o3, настолько хороша, что превосходит экспертов в их же областях.
-
Прогресс между этими двумя моделями занял лишь месяцы.
-
Исследователи ИИ отмечают, что она даже не оптимизирована!
-
Они настолько ошеломлены этим прогрессом, что многие приходят к выводу: мы достигнем СИИ через 1–3 года.
Вы уже впечатлены?
Пределы роста
Но, может быть, они упускают из виду какие-то препятствия, способные сдержать этот рост? Может ли развитие интеллекта на пути к СИИ упереться в стену?
Может, есть какой-то фундаментальный предел в том, какие типы задач способна решать эта технология? Нет:
Мы математически доказали, что трансформеры способны решить любую задачу — при условии, что им позволено сгенерировать столько промежуточных токенов рассуждения, сколько нужно. — Денни Чжоу, руководитель команды рассуждений в Google DeepMind.
Судя по всему, технологии и интеллект не станут сдерживающими факторами суперинтеллекта. Если что-то и станет ограничением, так это базовое сырьё. Это:
- Данные для обучения ИИ-моделей
- Вычислительные мощности (чипы) для обучения и запуска моделей
- Электроэнергия на вычисления
- Деньги на оплату всего этого
- Качество алгоритмов для оптимизации всего этого
Похоже, что (4) деньги — не проблема.
Внимание всего мира приковано к ИИ. Все понимают, что за ним будущее, и готовы вкладывать деньги, чтобы его приблизить.
3. Электроэнергия
Компании вроде OpenAI, Amazon, Meta и Google понимают, как много им понадобится электроэнергии, и инвестируют в создание собственных мощностей — вплоть до строительства или перезапуска атомных реакторов для стабильного энергоснабжения. То, что такая энергия дороже ископаемого топлива или возобновляемых источников для них неважно: электричество — куда меньшая доля их расходов, чем вычислительные мощности.
Насколько сложно произвести всю нужную электроэнергию? Возьмём США как самый важный пример:
На дата-центры уже приходится 4,5 % спроса на электроэнергию в США, и через четыре года эта доля, вероятно, вырастет до 7–12 %. Насколько это сложно? За последние пару десятилетий объёмы выработки электроэнергии в США выросли не сильно, так что задача может оказаться непростой.
Но возобновляемая энергетика взлетает:
К 2028 году американским дата-центрам потребуется около 200 ТВт·ч дополнительной электроэнергии, но ветряная и солнечная энергетика прибавляют около 200 ТВт·ч в год, так что о нехватке электричества сильно беспокоиться не приходится.12
2. Вычислительные мощности
Вычислительные мощности, вероятно, станут ограничивающим фактором. Именно поэтому NVIDIA занимает третье место в рейтинге самых дорогих компаний мира, а два других производителя микросхем — Broadcom и TSMC — десятое и одиннадцатое.
Но спрос настолько велик, что с NVIDIA всё активнее конкурируют новые поставщики: Cerebras, AMD, Intel, TPU от Google (внутренний спрос на которые настолько высок, что Google забирает их все и больше не продаёт), Microsoft, Groq…
1. Ограничения по данным
Здесь мы действительно упираемся в стену: мы уже скормили моделям почти весь интернет. Объём ещё не оцифрованного контента, который несложно достать, способен разве что удвоить количество доступных данных — и на этом всё. А дальше? Есть два ответа.
Во-первых, синтетические данные. У нас уже есть физические движки, способные создавать реалистичные окружения для ИИ. Это, например, помогает обучать беспилотные автомобили. Более интересный источник синтетических данных — просто использовать ИИ для генерации данных для обучения других ИИ. Почему это работает? Разве не «мусор на входе — мусор на выходе»? Нет, потому что во многих научных областях легко составить задачи, получить от ИИ ответы и проверить их правильность. Если ответ на сгенерированную ИИ задачу верен, можно ИИ об этом сообщить. Если неверен — тоже, и он учится на будущее.
Во-вторых, человеческому мозгу не нужно поглощать весь интернет, чтобы стать умным. А значит, у нас сейчас огромный запас: мы используем триллионы токенов данных, потому что наши алгоритмы обучения и вычислений пока не очень оптимизированы. Природа нашла алгоритм для нашего мозга методом проб и ошибок. Мы же можем как минимум подойти к этой задаче эффективнее.
Вообще, это только что сделали. Малоизвестная китайская компания выпустила революционную модель, который заставил всех переосмыслить мир ИИ.
DeepSeek: «Ух ты!»-момент стоимости ИИ
DeepSeek — небольшая китайская компания, которая выпустила новую ИИ-модель R1; с компьютера её можно использовать здесь.13 Вот её «рейтинг качества ИИ»:
Она стоит в 25 раз дешевле, чем o1:14
И кто это сделал? Китайский стартап из 100 человек безо всякого венчурного финансирования.
К тому же это открытая модель, а значит, каждый может изучать, дорабатывать повторно использовать её код! Они отдали её бесплатно. Все инструменты, использованные ими для этого прорыва, теперь доступны всему миру.
И DeepSeek уже улучшает сам себя!
А что же Meta (Facebook)? Два года назад Meta начала выпускать версии своей собственной открытой модели — Llama. Llama хуже и намнго дороже R1!
И DeepSeek — не единственные, кто так делает. Модель Doubao-1.5-pro от ByteDance показывает в бенчмарках результаты не хуже GPT 4o от OpenAI и Claude Sonnet 3.5 от Anthropic, обходясь в 50 раз дешевле.
А теперь вот: я только что впервые протестировал DeepSeek, и это был поразительный опыт. Впервые я почувствовал, что у меня есть толковый соавтор для тех исследований, которыми я занимаюсь. Я ошеломлён.
Много лет я задавался вопросом, почему население одной страны такое большое. Я много спрашивал об этом ИИ, но они неизменно подводили:
-
Они не доходили до причин, в духе «Людей так много, потому что был демографический бум».
-
Они путали причинно-следственные связи, в духе, например «В этой стране много людей, потому что большинство живёт в городах, а города очень густонаселены».
-
Когда я ошибался, они этого не замечали так что не могли подвергнуть мои допущения сомнению.
-
Они предлагали целый набор пунктов, не учитывая связей между ними.
Ошибок было ещё куда больше.
DeepSeek — первый ИИ, который смог самостоятельно, без подсказок, выдвинуть те же гипотезы, что и я. И первый, который сам предложил новые гипотезы. Но он пошёл ещё дальше: предложил, как эти гипотезы проверить, и откуда брать для этого данные! И всё это — быстро и бесплатно! Самое поразительное — можно посмотреть на ход рассуждений DeepSeek, и он бьёт точно в цель. Он ощущался по-человечески, причём как очень умный и рациональный человек. Все сомнения, возникавшие у ИИ по ходу размышлений, были обоснованы и сильно помогли мне улучшить свои промпты. Например:
Как DeepSeek удалось создать столь качественную модель так дёшево? Точно неясно, но, кажется, это комбинация факторов, которые я разберу в статье для премиум-подписчиков. Там же я расскажу, какие шаги остались до создания СИИ.
Здесь важно, что им не понадобилась обратная связь от человека! Они выстроили процесс, в котором просто скармливали машине данные и создавали механизмы, позволяющие ей учиться самой. Помните, я говорил, что синтетические данные избавят прогресс ИИ от ограничений данных? Вот идеальный пример.
Это очень важно, потому что люди всегда были самым узким местом прогресса ИИ. Прежде, чем AlphaGo смог обыгрывать людей, ему пришлось учиться на десятках миллионов человеческих ходов. А вот AlphaGo Zero научился побеждать людей вообще без этого, играя только сам с собой, всего за 3 дня.
AlphaGo Zero обыграл AlphaGo со счётом 100:0.
Что всё это значит? Давайте соберём всё воедино.
Выводы: будущее вот-вот обрушится на нас
-
Четыре года назад лучшие ИИ-модели достигали примерно уровня интеллекта крысы, три года назад — собаки, два года назад — старшеклассника, год назад — среднестатистического бакалавра, несколько месяцев назад — доктора наук, а сейчас они превосходят людей со степенью доктора наук в их профильных областях. Просто экстраполируйте.
-
Создатели этих моделей единодушно говорят, что масштабирование идёт быстрее, чем ожидалось, и безо всяких хитрых уловок. Они повсюду видят возможности для оптимизации. Интеллект просто масштабируется. Они считают, что до СИИ осталось 1–4 года. Это лишь немногим оптимистичнее прогнозов рынков в ~2–6 лет.
-
Системы ИИ сейчас недалеки от элитных программистов. А ИИ уже улучшает сам себя. Сложите эти два фактора — и представьте, как быстро темпы развития ИИ будут ускоряться.
-
Пока непохоже, чтобы сам интеллект стал затыком на пути к СИИ. Скорее — другие факторы, вроде энергии или вычислительных мощностей.
-
Но DeepSeek только что доказали, что для создания моделей может хватать на порядки меньше денег, энергии и вычислительных мощностей.
-
Так что, хоть развитие ИИ и может быть ограничено электроэнергией, данными и особенно вычислительными мощностями, мы постоянно ослабляем эти физические ограничения, находя способы делать модели эффективнее.
Другими словами: ИИ развивается всё быстрее, не видно явных барьеров для его прогресса, и знающие люди считают, что СИИ появится уже через пять лет.
Отвечая на вопросы из введения: мы сейчас прыгаем в пропасть, и, у нас, наверное, всего несколько лет (от 1 до 6 — смотря кого спросить), чтобы научиться летать — или разбиться о землю.
Как нам к этому подготовиться? Это я и собираюсь исследовать в следующих статьях:
-
Что нового известно о влиянии ИИ на конкретные профессии?
-
Ускорит ли ИИ развитие науки?
-
Что мы узнали о задаче согласования ИИ? ИИ нас всех убьют?
-
Как вам войти в сферу ИИ, если вы о ней ничего не знаете? Как вам оседлать эту волну?
Всё это я рассмотрю в следующих статьях!