Открытые споры о будущем ИИ

Как далеко может зайти нынешняя парадигма; ИИ, совершенствующий ИИ; будет ли и дальше иметь смысл считать ИИ инструментом

автор: Helen Toner
АвтоматизацияГипотеза масштабированияИнтеллектуальный взрывИскусственный интеллектПрогнозирование развития ИИ
 

Сегодняшний пост — слегка отредактированная расшифровка моего выступления несколько недель назад на организованной FAR.AI конференции «Технические инновации для политики в области ИИ». Видео (21 мин) доступно по этой ссылке; другие выступления с конференции можно найти на YouTube-канале организаторов.

Расшифровка выступления и слайды

Меня побудила сегодня выступить с этим докладом неоднократно возникавшая проблема.

Один из ранних примеров относится к 2022 году, когда мы почти подряд наблюдали заголовки о том, что глубокое обучение упёрлось в стену, и о совершенно новой революции, вызванную ChatGPT.

В прошлом году Wall Street Journal написали (и это действительно хороший репортаж) о реальных проблемах внутри OpenAI, связанных с масштабированием их предобученных моделей, о том, насколько это было сложно и как они были недовольны результатами. А потом буквально в тот же день вышла o3, их рассуждающая модель следующего поколения, и известный своим скептицизмом Франсуа Шолле назвал это значительным прорывом по его бенчмарку ARC-AGI. Вот такие весьма противоречивые заявления, в каждом из которых была доля истины.

А в прошлом месяце вышли две крупные публикации, которые, я полагаю, многие из присутствующих видели. В одной утверждается, что ИИ — это всего лишь обычная технология, и его путь будет тем же, что у многих предыдущих технологий. В другой описывается, как к 2027 году у нас может появиться СИИ, а к 2030 — суперинтеллект, и мир радикально преобразится. И снова очень разные точки зрения, и в каждой есть доля истины.

Так что этот доклад для всех, кто… поднимите руку, кого лично ошеломлял натиск новостей об ИИ и их противоречивость? Да, этот доклад для вас. Если вы не подняли руку, можете уходить, я не обижусь, всё в порядке.

Кадр из фильма 2004 года «Дрянные девчонки», на котором виден большой зал, заполненный старшеклассниками, в основном девушками в повседневной одежде начала 2000-х годов, тесно сидящими на трибунах с поднятыми руками; на переднем плане спиной к камере стоит учительница, а по стене из шлакоблоков позади тянется фиолетовый баннер с надписью «LION COUNTRY». Текст: LION COUNTRY.

Один мой друг увидел название доклада и спросил: «Постой, как тебе удалось выпросить девять часов на все открытые споры?» Но мы поговорим лишь о трёх. Мы сосредоточимся на технических дискуссиях — о будущем развитии технологии ИИ, но не о влиянии на общество и том, что нам с этим делать. И на, на мой взгляд, наиболее актуальных или помогающих разобрать некоторые разногласия.

Титульный слайд CSET (Center for Security and Emerging Technology) с шуточно отредактированным заголовком, где красные рукописные пометки «Три из многих, очень многих», «технических» и «самые (по моему мнению) актуальные» перекрывают набранный жирным шрифтом синий основной заголовок; в левом нижнем углу расположен небольшой логотип CSET в виде глобуса.

Так что мы не будем говорить о сроках до СИИ и не будем обсуждать p(гибели), так как, на мой взгляд, обе эти темы не столь продуктивны.

Вот три темы споров, о которых я хочу поговорить: Как далеко может зайти нынешняя парадигма? Насколько ИИ может улучшить ИИ? И будут ли будущие ИИ всё ещё в целом инструментами или чем-то иным?

Простой белый слайд CSET с перечнем трёх пронумерованных тем дебатов, набранных крупным синим текстом по центру, каждая с новой строки, с номером слайда 11 в правом нижнем углу.

#1: Как далеко может зайти нынешняя парадигма?

Люди часто обсуждают «достаточно ли одного лишь масштабирования?» и «можно ли масштабировать языковые модели вплоть до СИИ?». Я не считаю этот вопрос особенно полезным. Он, по-моему, направлен немного не туда. Я бы скорее спросила: на правильной ли мы ветви технологического дерева?

Слайд CSET с нарисованной от руки чёрной схемой дерева, разветвляющейся от одного ствола на несколько ветвей разной длины; самая длинная ветвь в правом верхнем углу обозначена как путь «генеративных предобученных трансформеров».

Представим, что мы исследуем это дерево потенциальных технологий и некоторые пути изучили глубже других. Путь, по которому мы идём сейчас, можно называть по-разному, но я назову его ветвью генеративных предобученных трансформеров (GPT).

Я считаю это более правильной перспективой, потому что на самом деле мы не просто масштабировали что-то вроде GPT-1 2018 года. Нет, мы постоянно по-всякому меняли архитектуру и способы сбора и обработки данных, а теперь мы внедряем рассуждения, создаём агентов — но всё это продолжает расти на той же самой ветви дерева или на похожих ветвях.

Итак, по этому спору — как далеко может зайти нынешняя парадигма? Если далеко, значит, мы можем дальше двигаться по нашей ветви дерева, и она, позвольте слегка смешать метафоры, продолжит приносить плоды. А если нет, то, возможно, нам придётся отступить и перейти на несколько иную ветвь, или даже вернуться далеко назад, может даже отказаться от глубокого обучения или делать что-то совсем непохожее на языковые модели.

Та же нарисованная от руки схема технологического дерева, но с тремя цветными стрелками, добавленными на конце ветви GPT: красная стрелка, загибающаяся назад к другой ветви с символом «?», зелёная стрелка, идущая прямо по ветви GPT к «?», и оранжевая стрелка, уходящая вниз к «?».

Есть разные аргументы о том, далеко мы сможем зайти или нет.

Аргументы за «довольно далеко»:

  • Мелкие и средние улучшения. Действительно важный момент — что весь прогресс, достигнутый за последние 10–15 лет, был результатом не глобальных смен парадигм или грандиозных прорывов, а всевозможных мелких и средних улучшений. Оглянемся на 2015–2016 годы: мы начали успешно применять обучение с подкреплением в играх, выяснили, как совместить его с поиском по дереву, и превзошли человеческие результаты в игре Го; в 2017 году огромным событием стал трансформер — и он лежит в основе всех наших современных языковых моделей. Это было крупное усовершенствование, но не смена парадигмы по сравнению с LSTM (сетями долгой и краткосрочной памяти); этих мелких небольших и средних улучшений было уже много, так что, возможно, они и дальше будут сильно двигать прогресс.

  • Нахождение новых штук, которые можно масштабировать. Часто о масштабировании говорят: «так нужно просто масштабировать то, что у нас уже есть?». Но если поговорить с исследователями из ИИ-компаний, которые занимаются этим непосредственно, они не думают просто как бы выкрутить на максимум «ручку масштаба». Нет, они считают значительной частью своей работы поиск того, что можно масштабировать, поиск, где можно добиться прогресса, если выкрутить ручку масштаба. И сейчас они считают, что есть немало таких новых штук, чьё масштабирование только началось. Например, обучение рассуждениям, мультимодальность как новый источник данных, выяснение, как массово обучать агентов. Нам нужны штуки, где можно выкрутить ручку масштаба и получить хорошие результаты. И, похоже, потенциал нескольких таких мы только начинаем раскрывать.

  • Внедрение —> маховик данных. Ещё вот за чем стоит следить: для этих компаний и команд исследователей очень ценны данные. А хороший способ получать данные — это внедрение в реальных условиях, результаты которого потом можно использовать для обучения следующих систем. Так что по мере роста полезности и внедрения на практике языковых моделей и вообще плодов технологической ветки GPT, маховик будет раскручиваться сильнее и выдавать больше отдачи.

Есть и основания полагать, что нынешняя парадигма не заведёт нас так далеко или не сможет продвинуться сильно дальше.

Аргументы за «не сильно дальше»:

  • Трудноразрешимые проблемы. Есть некоторые очень серьёзные до сих пор не решённые проблемы, неоднократно создававшие трудности для GPT. К ним относятся галлюцинации, также известные как конфабуляции — попросту выдумывание информации. Надёжность — есть разрыв между способностями и надёжностью: можно продемонстрировать, что ИИ-система умеет что-то очень впечатляющее (способности), но если она не справляется в 90, 95 или 99% случаев (надёжность), то в некоторых областях толку мало. Мы пока не видим ничего и близкого к по-настоящему высокой надёжности при решении некоторых из самых хитрых задач. Сверхуверенность — ещё одна большая проблема этих моделей. Вы задаёте вопрос, а они понятия не имеют, когда говорить «я не знаю», а когда «знаю». Они так себе умеют распознавать свои ошибки и отступать назад. Возможно, они становятся лучше, эти проблемы могут не остаться трудноразрешимыми навсегда, но пока они оказались сложнее, чем некоторые ожидали.

  • Фундаментальные ограничения. Есть и фундаментальные ограничения того, как мы сейчас создаём GPT. Одно из главных — что при обучении сразу всему за раз они могут усваивать только содержимое обучающих данных. В конкретных случаев применения можно добавлять информацию в контекстное окно, но пока нет эффективных способов реализовать что-то промежуточное. ИИ-система, которую используют для какой-то рабочей задачи, которая выполняет её много раз и со временем становится лучше, которая помнит, что шесть месяцев назад у вас был разговор, который не казался актуальным тогда, но актуален сейчас, — и она может вернуться к своим заметкам или что-то в этом роде — у нас ничего подобного нет. Люди пробуют штуки с базами знаний, которые ИИ может обновлять, и всякое такое, но это пока не неотъемлемая часть создания ИИ и работает так себе. То же касается отсутствия физического тела. Большинство ИИ-систем, которые мы используем сейчас, не встроены в физические системы. В робототехнике, безусловно, есть интересные достижения, так что ситуация может измениться, но пока что я считаю это довольно серьёзным ограничением.

  • Замедление масштабирования предобучения. Кажется весьма ясным, что улучшения просто за счёт масштабирования предобучения, той начальной фазы, когда система учится имитировать текст или другие виды данных, становятся всё меньше. Ценность его дальнейшего масштабирования постепенно снижается. К тому же, мы дошли до этапа, когда продолжать масштабирование — тратить многие сотни миллионов долларов. И если результат не стоит таких денег, продолжать двигаться вверх по этой кривой будет сложно.

Совершенно неясно, аргументы с левой или правой чаши весов убедительнее. Не берусь утверждать, что хоть что-то здесь на 100 % достоверно. Но я считаю, что ко всему этому стоит отнестись хотя бы с какой-то серьёзностью.

Мне кажется, то, как люди интерпретируют этот график, довольно хорошо отражает суть споров.

Слайд CSET, на котором в центре изображен график продолжительности задач METR, а слева и справа — две цитаты на сером фоне, которые интерпретируют одни и те же данные с оптимизмом и скептицизмом.

Кто ещё не видел, это график от METR — отличнейшей независимой организации по оценке ИИ. Они создали датасет из задач, на выполнение которых у людей уходит разное время. Потом они измерили, насколько разные ИИ-системы с ними справляются и какова продолжительность задач, которые даются им хорошо. Идея, что задача, на которую у человека уходит час, будет сложнее той, на которую хватит 20 секунд. На графике видно, что продолжительность задач, которые могут выполнять ИИ-системы, удваивается каждые семь месяцев. Вообще, судя по свежим данным, не исключено, что кривая начинает загибаться вверх.

Некоторые смотрят на это и говорят, что это демонстрирует способность ИИ выполнять всё более длительные задачи. Если экстраполировать эту кривую, получится, что к 2030 году ИИ сможет решать задачи масштаба месяца. Это будут очень сложные задачи — куда сложнее того, на что ИИ способны сейчас.

Другие смотрят на график и говорят: «Да, но посмотрите, шанс успеха — всего 50 %». То есть GPT-4 может выполнить условную пятиминутную задачу, но справляется с ней лишь в 50 % случаев. Это бесполезно на практике, и если составить такой же график для шанса успеха в 90 % или 99 %, он будет впечатлять куда менее. К тому же, эти задачи оторваны от контекста. Они должны быть небольшими изолированными фрагментами — без этого не потестируешь. И это только задачи на программирование и рассуждения, а не из более широкого спектра. Так что альтернативный взгляд на этот график: что на самом деле он почти ничего нам не говорит, и это лишь очень конкретный вид прогресса в решении одного конкретного типа задач. И тут я снова считаю, что обе точки зрения содержат зерно истины, и только время покажет, какой ответ правильный.

#2: Насколько ИИ может улучшить ИИ?

Второй важный предмет споров, который, как мне кажется, лежит в основе многих других разногласий — это насколько ИИ сможет улучшать ИИ.

Эта идея была, пожалуй, впервые лаконично сформулирована И. Дж. Гудом, одним из первых учёных в области информатики, работавшим с Тьюрингом. Он написал интересную статью об «ультраинтеллектуальных машинах» — я всё жду, когда этот термин вернётся в обиход.

Слайд CSET: слева — отсканированный фрагмент страницы из статьи И. Дж. Гуда 1963 года «Ультраинтеллектуальные машины и их ценность» (с выделенной жёлтым цветом фразой об «интеллектуальном взрыве»), а справа — чёрно-белая фотография Гуда, сидящего за столом перед окном в полосатом кардигане.

Гуд говорит, что если бы у нас была ультраинтеллектуальная машина, превосходящая людей в выполнении любых задач, то она, следовательно, лучше справлялась бы и с созданием других ультраинтеллектуальных машин. Тогда «несомненно, произошёл бы интеллектуальный взрыв, и интеллект человека [прим. редактора: в оригинале „intelligence of man“] остался бы далеко позади». Он ничего не говорит об интеллекте женщин, так что мы в безопасности. Шучу.

Но суть именно в этом. Если можно использовать ИИ для улучшения ИИ, и он начинает с этим справляться, то возникает петля обратной связи и кривая роста в форме клюшки.

И это вообще-то уже начинается. Гуд говорил об этом ещё около 60 лет назад, но только в последние несколько лет мы начинаем видеть действительно значимые признаки.

Слайд CSET с тремя расположенными друг над другом блоками — имитация заголовка блога Google DeepMind об AlphaEvolve, цитата в рамке, приписываемая Аджее Котре, о повышении производительности ИИ, а справа — снимок говорящего в микрофон бородатого мужчины в тёмной толстовке с капюшоном с наложенной надписью о Claude Code.

AlphaEvolve — разработка Google. Там они используют свои передовые языковые модели в составе системы для совершенствования алгоритмов — эволюционного поиска всё более эффективных алгоритмов. Эта система сумела ускорить обучение LLM, которые в ней используются, то есть она, по сути, самосовершенствовалась. Они, вроде бы, заявили, что ускорили обучение Gemini на 1%, а это серьёзная сумма, когда речь идёт о сотнях миллионов долларов.

Есть и первые результаты от моей бывшей коллеги Аджеи Котры. она занимается отличными исследованиями по этому поводу: неформальные опросы исследователей и инженеров в области машинного обучения. По итогам ряда бесед она отметила, что они уже замечают помощь ИИ в своей исследовательской и инженерной работе. Младшие специалисты наблюдают рост производительности где-то на 10–150% благодаря использованию ИИ-инструментов. У старших исследователей рост несколько скромнее, но всё равно значительный: 2–30%.

И как раз готовясь к этому выступлению, я наткнулась на довольно интересную статистику. Claude Code — инструмент от Anthropic, помогающий разработчикам писать код (используя Claude, отсюда и название). Вот ведущий инженер этого проекта, и на подкасте он сказал, что среди кода в основе Claude Code, доля, написанная Claude, составляла «вероятно, около 80[%]». Получается, очень большая часть этого инструмента для программирования была написана ИИ, который и обеспечивает его работу.

Но мы всё равно на самом деле не знаем, как далеко это зайдёт. Вот хитрость: если ИИ может делать то же, что исследователи и инженеры ИИ, то естественным образом возникает петля обратной связи, при которой всё ограничивается, например, доступной вычислительной мощностью. Но если мы столкнёмся с другими узкими местами, если появятся иные замедляющие процесс факторы, то такого рекурсивного роста по «клюшке» может и не произойти.

Некоторые потенциальные узкие места:

  • Ошибки, требующие проверки человеком: Сейчас главная проблема в том, что инструменты для программирования (или исследовательские инструменты, или любой ИИ, используемый для исследований ИИ) допускают ошибки, так что всё надо перепроверять. Это одна из главных причин, почему рост продуктивности исследователей с предыдущего слайда пока не так высок. Им всё ещё приходится следить за всем, что делает ИИ, запускать тесты, проверять, работают ли они, и т. д.

  • Исследовательский вкус/суждение: В будущем, возможно, ошибок станет меньше, но если ИИ просто пишет код или выполняет довольно простые инструкции, у него не обязательно будет исследовательский вкус или суждение, нужные, чтобы действительно автоматизировать весь цикл исследований и разработки.

  • Эксперименты и/или развёртывание в реальном мире: К тому же, даже если удастся это автоматизировать, могут потребоваться эксперименты или развёртывание в реальном окружении. Например, систему придётся действительно внедрить в реальную организацию или компанию, чтобы понять, что работает, а что нет, и получить обратную связь.

Простой слайд CSET с выделенным жирным шрифтом вопросом «Но как далеко это может зайти?», маркированным списком из трёх потенциальных узких мест в верхней половине и оговоркой в скобках в правом нижнем углу, охватывающей весь список.

И всё это может стать узким местом. Но опять же, насколько мы уверены, что все их нельзя автоматизировать? Я не уверена на 100%. Думаю, тут как раз нужно подождать и посмотреть. Время покажет, что тут действительно узкое место, а что на самом деле можно автоматизировать.

#3: Будут ли будущие ИИ по-прежнему в основном инструментами или чем-то иным?

Третье разногласие касается будущих ИИ-систем и того, осмысленно ли рассматривать их как инструменты.

Арвиндом Нараянан и Саяш Капур из Принстона, ведущие блог AI Snake Oil написали статью «ИИ как обычная технология», которую я настоятельно рекомендую. Она очень содержательна, в ней много действительно удачных формулировок тех позиций, которые, как мне кажется, многие люди интуитивно разделяют в отношении ИИ, но не выражали сами. Они говорят: «Мы рассматриваем ИИ как инструмент, над которым мы можем и должны сохранять контроль».

Другой известный скептик в отношении риска ИИ, Ян ЛеКун, высказал схожую точку зрения: «Будущие ИИ-системы […] будут безопасными и останутся под нашим контролем, потому что *мы* устанавливаем их цели и защитные ограничения, и они не могут от них отклоняться».

Слайд CSET, сопоставляющий две концепции «ИИ как инструмент»; в верхней половине показаны портретные снимки Арвинда Нараянана и Саяша Капура с подписью «ИИ как обычная технология» рядом с цитатой, а в нижней половине — небольшой круглый аватар Яна Лекуна рядом с его ником @ylecun и соответствующей цитатой.

Я считаю, что любому, кто не воспринимает ИИ или будущие, более продвинутые ИИ-системы в таком ключе, действительно важно немного поосмыслять то, что это и правда очень разумная отправная точка. Именно так сегодня работают по сути все ИИ-системы, именно так работает большинство технологий, и у нас уже есть такой опыт.⁠⁠1

Итак, если действительно похоже, что ИИ и дальше будет оставаться инструментом, применение которого определяем мы сами — вы открываете приложение ChatGPT, вводите вопрос, оно отвечает вам, вы закрываете приложение, и на этом всё, — то это означает, что во многих отношениях всё будет гораздо проще. Нам тогда не нужно тратить слишком много времени на беспокойство о целях и ценностях ИИ-системы. Это не совсем бесполезно: если вы задаёте вопрос о политике, вам всё ещё важно, какие ответы вы получаете, но это в меньшей степени вопрос природы самого ИИ, скорее просто вопрос его наполнения.

Заодно, если ИИ-системы так и будут оставаться инструментами, то ключевую позицию будут занимать люди. Вопрос не в том, чего ИИ хочет или что он собирается делать; вопрос в том, кто использует ИИ и зачем. Мы, может, по-прежнему будем беспокоиться о неисправностях или сбоях, но это всё же гораздо больше сопоставимо с технологиями прошлого.

Текстовый слайд CSET, где тезис «ИИ = инструмент» представлен как разумный вариант по умолчанию, за которым следует маркированный список из двух пунктов со следствиями; в остальном слайд пустой, белый, с номером слайда 46 внизу.

Но я думаю, ИИ обладает некоторыми особенностями, которые сильно отличают его от технологий прошлого.

Одна из них в том, что ИИ-системы выращиваются, а не создаются. Это довольно часто можно услышать от исследователей.

Имеется в виду отличие от, скажем, смартфона, который собирается из мелких деталей: мы соединяем их вместе и на глубоком уровне понимаем, как каждая работает и как они взаимодействуют, образуя смартфон, обладающий всеми своими хитрыми функциями.

Что касается ИИ, систем машинного и глубокого обучения, больших языковых моделей — их разработка совсем не такая. Вместо этого есть алгоритмы, через которые мы прогоняем данные, применяя процессы математической оптимизации для подстройки миллиардов или триллионов чисел, и в итоге получаем что-то, кажется, работающее. Мы можем это протестировать и посмотреть, что оно делает и как, вроде бы, себя ведёт, но у нас совсем нет этого детального понимания, к которому мы привыкли, имея дело с технологиями. Поэтому ИИ немного больше напоминает органическую систему — растение, животное, хотя бы бактерию, — а не то, что мы сами конструируем по частям.

Ещё одна весьма необычная особенность ИИ-систем, проявившаяся лишь в последние год-два, — это ситуационная осведомлённость. Речь здесь не о сознании или каких-то масштабных философских концепциях; ситуационная осведомлённость сводится к простому вопросу: способен ли ИИ учитывать ситуацию, в которой он сам находится?

Начали встречаться случаи, когда ИИ-системы замечают и отмечают, что странная гипотетическая ситуация, в которую их поместили при тестировании, смахивает на проверку. Если они способны понять, что их сейчас тестируют, и поэтому ведут себя иначе, это как бы сводит на нет весь смысл тестирования. Мы совершенно не привыкли к технологиям, которые так себя ведут. Уж ваш смартфон, если вы, скажем, решите проверить его водонепроницаемость, так не поступит. Он не скажет: «О, меня тестируют, поэтому я буду вести себя не так, как обычно веду себя в воде». Это совершенно нетипично для технологий, которые мы считаем инструментами.⁠⁠2

И наконец, на будущее: есть сильнейшие финансовые/коммерческие стимулы для создания очень автономных и очень универсальных ИИ-систем. Таких, которым можно поручать масштабные высокоуровневые задачи, сложные, с длинным горизонтом планирования, и позволять автономно выполнять без особого присмотра и ограничений.

Может оказаться, что создание таких ИИ-систем — непосильная задача. Или что мы сможем действовать решительно и выбрать не их не создавать. Но, думаю, по умолчанию стоит ожидать, что раз есть очень сильные стимулы, то если это технически возможно, и если не будет некоего серьёзного вмешательства, такие системы появятся.

И если так, и появятся очень автономные, очень универсальные системы, работающие в сложных окружениях, мало смысла будет рассматривать их как инструменты.

Мне тут показалась полезной цитата Джека Кларка, сооснователя и ответственного за политические вопросы в Anthropic. Это отрывок более длинного и, как мне кажется, весьма продуманного текста из его Substack-блога ImportAI. Он написал (выделение моё):

Стоит ожидать, что стремление к независимости будет прямым следствием разработки ИИ-систем, которым поручают широкий спектр сложных когнитивных задач. […] Мы здесь не создаём тупые инструменты — мы обучаем синтетические разумы. И их экономическая ценность растёт пропорционально их интеллекту.

Мне нравится в этой цитате, что он не говорит, будто мы собираемся создавать живых существ, с сознанием или чувствами — это всё может оказаться или не оказаться так, но речь не об этом. Джек говорит лишь, что само обучение систем универсальному и гибкому выполнению сложных, экономически ценных задач означает, что мы можем получить странное, совершенно не характерное для инструментов, поведение. Оно может проявиться в ИИ-системах, и, повторюсь, мы уже начинаем замечать первые проблески.

Я думаю, всё это даёт основания ожидать, что если технология продолжит развиваться, она может перестать быть похожей на инструмент и станет чем-то несколько иным. Может, как иногда говорят, ближе к «второму виду».

Слайд CSET с маркированным списком контраргументов под заголовком «Но…», выровненной по центру цитатой Джека Кларка с подписью в правом нижнем углу рядом с портретной фотографией Кларка (улыбающегося, в тёмном костюме и галстуке на синем фоне) и заключительным маркированным пунктом внизу, обрисовывающим промежуточную концепцию.

Заключительная мысль об этом третьем споре: если одна сторона утверждает, что «конечно, это будет просто инструмент», а другая — «это будет что-то вроде второго вида», промежуточная позиция, которую мы, пожалуй, уже начинаем замечать, может рассматривать искусственный интеллект как оптимизационный процесс, возможно, самоподдерживающийся, сродни, скажем, рынку или бюрократии. Это не инструмент, не что-то, что можно просто взять, использовать, и отложить в сторону, чтобы она перестала что-либо делать; и это не обязательно живое существо или разум. Но он очень могущественен, и, пожалуй, не лишним будет задуматься, на что направлена его оптимизация, какие у него цели, что он, вероятно, будет делать в будущем, а не воспринимать его просто как инструмент. Думаю, это чуть менее научно-фантастический взгляд на этот спектр возможностей.

Заключение

Тут я на сегодня закончу. Похоже, есть время на пару вопросов. Надеюсь, эти три дискуссии помогут структурировать некоторые из неразрешённых и часто бесплодных споров в этой области.


Оригинальная публикация: Helen Toner (2025) Unresolved debates about the future of AI, Rising Tide, 30 июня.

1 2