Гибель от ИИ с точки зрения убеждённого в выходе LLM на плато
В формате вопросов и ответов
В: Что ты имеешь в виду под «убеждённый в выходе LLM на плато»?
О: Для контекста, я полагаю очевидным, что в какой-то момент возникнет «трансформативный ИИ» (ТИИ), который радикально изменит мир.1
Меня интересует, как этот ТИИ будет выглядеть с алгоритмической точки зрения. Давайте перечислим некоторые возможности:
«Убеждённого в выходе Больших Языковых Моделей (LLM) на плато» можно определить как кого-то, кто считает, что категории (A-B), а обычно ещё и (C) выйдут на плато способностей до достижения уровня ТИИ.2 Я сам к таким отношусь.3
Я не собираюсь обсуждать, верна или ошибочна такая точка зрения – это за пределами темы этого поста, а ещё мне сложно это обсуждать из-за инфоугроз.4 Ну, мы в любом случае довольно скоро выясним.
В сообществе ИИ как убеждённость в выходе LLM на плато, так и её противоположность кажутся довольно мейнстримными. У убеждения в выходе LLM на плато бывают разные причины. Я думаю, основные две категории такие:
- Теоретическая – из теоретических убеждений о том, что необходимо для ТИИ, и человек считает, что LLM просто не подходят для того, чтобы делать всё необходимое для ТИИ.
- Эмпирическая – из-за того, что способности нынешних LLM не особо впечатляют. Да, будущие LLM будут лучше нынешних. Но, может, такие люди экстраполируют, что на нашей планете закончатся данные или вычислительные мощности до того, как LLM дойдут до уровня ТИИ.
В: Если LLM выйдут на плато, доказывает ли это, что беспокойство о x-рисках ИИ ошибочно и глупо?
О: Нет-нет-нет, миллион раз нет, и меня раздражает, что это недопонимание сейчас так распространено в общественном дискурсе.
(Отступление для людей из безопасности ИИ: если у вас высокая уверенность в том, что ИИ всех убьёт, но только умеренная уверенность в том, что этот ИИ будет включать в себя LLM, то, задумайтесь о том, чтобы тщательнее доносить этот нюанс в своей коммуникации. Например, как мне кажется, Элиезер Юдковский в этой категории.)
Пара случайных наблюдавшихся мной примеров того, как у людей не получалось отличить «ИИ может всех убить» от «…и этот ИИ точно будет LLM»:
- Пост Венкатеша Рао Beyond hyperanthropomorphism после семи тысяч слов подробной аргументации оканчивается заключением, что языковая модель, обученная на данных из интернета не будет мощным агентом, способным выполнять задачи в реальном мире, но если обучить ИИ с роботелом, то он сможет стать мощным агентом, способным выполнять задачи в реальном мире. ОК, ладно, давайте допустим, что он прав, и роботела обязательны для ТИИ.5 Тогда люди, очевидно, рано или поздно такие ИИ и создадут, верно? Так давайте поговорим о том, представляют ли они экзистенциальный риск. Но Венкатеш так не делает. Вместо этого он, по сути, принимает «им нужны будут роботела» за триумфальное заключение, более-менее достаточное само по себе для доказательства, что обсуждать x-риски ИИ глупо.
- Пост Сары Константин, озаглавленный Why I am not an AI doomer, сразу начинается с того, что она соглашается: «1. Обобщённый искусственный интеллект в принципе возможен … 2. Обобщённый искусственный интеллект по умолчанию нас всех убивает … 3. Технически сложно, может даже невозможно, удостовериться, что ИИ ценит человеческую жизнь.» Она несогласна только с утверждением, что это произойдёт скоро и посредством масштабирования LLM. Мне кажется, ей стоило выбрать для своего поста другой заголовок!!
(Я видел много других примеров в Twitter, Reddit, комментариях, и т.д.)
В любом случае, если вы считаете, что LLM выйдут на плато, то вы, наверное, можете быть уверены, что мы не получим ТИИ прямо сейчас (см. ниже), но не вижу, с чего бы это увеличивало уверенность, что ТИИ приведёт к хорошим последствиям для человечества. На самом деле, если бы я считал, что систем типа (A) достаточно для ТИИ – а я не считаю – то я, при учёте всего, я бы немного меньше беспокоился о x-рисках ИИ!
X-риски ИИ стали серьёзным беспокойством задолго до LLM. Если вы хотите обсуждение x-рисков ИИ, не сосредоточенное на LLM, большая часть когда-либо написанных обсуждений x-рисков ИИ подойдут. Вот моё, или просто посмотрите на что угодно, написанное больше пары лет назад.
В: Склонны ли люди, профессионально занимающиеся x-рисками ИИ, считать что LLM выйдут на плато? Или нет?
Я не проводил опроса или чего-то подобного, но я выдам свежее общее впечатление. (По большей части основанное на чтении того, что пишут другие, и на периодических разговорах на конференциях и онлайн.)
Уж точно, мнения разнятся. Но один общий шаблон, который я в последнее время (примерно, в последний год) заметил [это точно не про вообще всех], состоит в том, что часто встречается странное расхождение, когда кто-то, если спросить напрямую, заявляет, что высоко (даже 50% или выше) оценивает вероятность случаев за пределами (C), но всё, что этот человек говорит и делает, выглядит соответствующим ожиданию исключительно (A-C), иногда даже только (A).6
Я думаю, щедрым объяснением этого несоответствия может быть то, что сценарий ТИИ из категорий (A-C) более срочный и более понятный, а следовательно, стоит сосредотачивать обсуждения на нём, даже признавая возможность того, что он не случится из-за выхода LLM на плато.
Не-щедрым объяснением может быть, что у некоторых людей высказываемые убеждения рассинхронизированы с реальными – и тогда им надо с этим разобраться.
В: Если LLM выйдут на плато, можем ли мы быть уверены, что до ТИИ ещё десятилетия?
О: Я думаю, что я и мои товарищи по этому убеждению с довольно хорошей уверенностью могут сказать, что ТИИ не будет в 2023. Пожалуй, и в 2024 тоже не будет. Я думаю, заходя сильно дальше, надо быть всё более неуверенными.
Область ИИ сейчас кардинально отличается от себя 10 или 20 лет назад. Так что даже без ТИИ нам стоит ожидать, что через 10 или 20 лет она будет кардинально отличаться от себя сейчас. Я думаю, 10 или 20 лет – более чем достаточно времени, чтобы ныне недоработанная (или даже несуществующая) техника ИИ была изобретена, развита, много раз итерирована, отполирована и отмасштабирована.
Так что даже если вы убеждены в выходе LLM на плато, я не думаю, что вам стоит быть супер-уверенными в том, что ТИИ не произойдёт в ближайшие 10 или 20 лет. Может да, может нет. Никто не знает. Предсказывать технологии очень сложно.
(Кстати: даже если бы мы знали, что до ТИИ ещё десятилетия, нам всё равно стоило бы торопливо работать над согласованием ИИ прямо сейчас, причины тут.)
(Если вы думаете, что до ТИИ точно ещё десятилетия или века, потому что человеческий мозг супер-сложный, у меня есть конкретный ответ на это здесь и здесь.)
В: Если LLM выйдут на плато, что это значит для регуляций и «паузы»?
О: Как я уже говорил, я думаю, рано или поздно возникнет очень опасный ТИИ, и мы крайне к этому не готовы, и наш прогресс к тому, чтобы быть готовыми, медленно, но двигается, и поэтому я лучше бы он возник попозже. (Пока что это не зависит от того, выйдут ли LLM на плато.) (Больше подробностей и ответов на частые контраргументы тут.)
Ближе к теме, недавно были призывы к «постановке на паузу огромных экспериментов с ИИ», возглавленные Future of Life Institute (FLI).
Моё мнение такое: «пауза» в обучении беспрецедентно больших ML-моделей скорее всего полезна, если ТИИ будет выглядеть как (A-B), возможно полезна, если как (C), и, вероятно, контрпродуктивна, если ТИИ будет за пределами (С).
Почему? Как мне кажется, самая большая проблема – прогресс алгоритмов. Если мы за пределами (C), то сейчас «критический путь к ТИИ» именно в нём. Да, масштабирование в какой-то момент может понадобиться, но не сейчас, возможно, не так уж много, а может и вообще можно обойтись без него – я думаю, есть сильные причины полагать, что масштабов GPT-4 (или меньше, или даже намного-намного меньше) хватит для ТИИ при наличии алгоритмов получше.7
(При приближении к (A) алгоритмический прогресс становится всё менее и менее важен, но даже в (A) он всё равно в какой-то степени значим.)
Моё предположение – что масштабирование и прогресс алгоритмов по некоторым причинам сейчас мешают друг-другу. Так что такое вмешательство против масштабирования вызовет более быстрый прогресс алгоритмов, что, с моей точки зрения, плохо.
(По совпадению, ещё как минимум один человек, не убеждённый в выходе LLM на плато, тоже против «паузы» по причинам, связанным с прогрессом алгоритмов.)
Очевидный следующий вопрос: «ОК, тогда как нам замедлить алгоритмический прогресс в сторону ТИИ?». Как мне кажется, самое важное – не выпускать важные для ТИИ алгоритмические озарения и инструменты в свободный доступ (arxiv, github, NeurIPS, и пр.). Я прошу исследователей ИИ не раскрывать свои связанные с ТИИ идеи, а их начальство – избегать основывать зарплаты, найм и повышения на открытых публикациях.8 Исследователи в почти любой другой частной индустрии публикуются куда меньше, чем в ML/ИИ. Посмотрите, например, на SpaceX.
Ещё я продолжу тратить часть своего времени на создание хороших педагогических материалов о x-риске ИИ и участие в терпеливых добросовестных (а не «ха-ха, попались!») дискуссиях на эту тему, а также заниматься исследованиями, которые могут привести к более твёрдым и ясным аргументам в пользу того, что вероятность погибели от ИИ велика (если она действительно велика). Буду рад, если и другие тоже будут всем этим заниматься.
Для верности, я не думаю, что «замедлить прогресс алгоритмов в направлении ТИИ, пытаясь переубедить исследователей ИИ и вежливо прося изменить культуру исследований ИИ» – то, что купит нам много времени, но сколько-то времени это купить нам может, и это очевидно хорошее дело, и в любом случае у меня нет идей получше.
(Спасибо Линде Линсфорс и Сету Херду за критические комментарии к черновику)