Подростковые годы технологий
Противостояние рискам мощного ИИ и их преодоление
В экранизации книги Карла Сагана Contact есть сцена, где главную героиню, астронома, уловившую первый радиосигнал от инопланетной цивилизации, рассматривают на роль представителя человечества для встречи с пришельцами. На собеседовании международная комиссия спрашивает её: «Если бы вы могли задать [инопланетянам] всего один вопрос, каким бы он был?» Она отвечает: «Я бы спросила их: „Как вы это сделали? Как вы эволюционировали, как пережили эти подростковые годы технологий, не уничтожив себя?“». Когда я думаю о том, где сейчас находится человечество в отношении ИИ, на пороге чего мы стоим, мои мысли постоянно возвращаются к этой сцене. Этот вопрос как нельзя лучше подходит нашей нынешней ситуации, и мне бы очень хотелось, чтобы у нас был указывающий нам путь ответ инопланетян. Я считаю, что мы проходим через своего рода обряд перехода, бурный и неизбежный, который покажет, кто мы есть как вид. Человечество вот-вот обретёт почти невообразимую мощь, и совершенно неясно, достаточно ли наши социальные, политические и технологические системы зрелые, чтобы с ней справиться.
В своём эссе Машины благодати и любви я попытался описать мечту о цивилизации, которая благополучно повзрослела: риски преодолены, а мощный ИИ умело и сострадательно применяется для повышения качества жизни каждого. Я предположил, что ИИ может способствовать колоссальному прогрессу в биологии, нейробиологии, экономическом развитии, глобальном мире и в сфере труда и обретения смысла. Мне казалось важным дать людям вдохновляющую цель, за которую стоит бороться; с этой задачей, как ни странно, не справились ни сторонники ускорения ИИ, ни сторонники безопасности ИИ. Но в этом эссе я хочу обратиться к самому переходу: обозначить риски, с которыми мы столкнёмся, и попытаться наметить план борьбы с ними. Я глубоко верю в нашу способность одержать победу, в человеческий дух и его благородство, но мы должны смотреть на ситуацию прямо и без иллюзий.
Как и в случае с преимуществами, я считаю важным обсуждать риски осторожно и взвешенно. В частности, крайне важно:
- Избегать «думеризма». Здесь под «думеризмом» я подразумеваю не только веру в неизбежность гибели (убеждение одновременно ложное и самоисполняющееся), но и, в более широком смысле, квазирелигиозный подход к рискам ИИ.1 Многие люди годами аналитически и трезво размышляли о рисках ИИ, но у меня сложилось впечатление, что на пике опасений по поводу риска ИИ в 2023–2024 годах на первый план вышли некоторые из наименее разумных голосов, зачастую через падкие на сенсации аккаунты в социальных сетях. Эти голоса использовали отталкивающий язык в духе религии или научной фантастики и призывали к крайним мерам, не имея свидетельств, которые бы их оправдывали. Уже тогда было ясно, что ответная реакция неизбежна и что этот вопрос подвергнется культурной поляризации и, следовательно, зайдёт в тупик.2 К 2025–2026 годам маятник качнулся, и теперь многие политические решения определяются не рисками ИИ, а открываемыми им возможностями. Подобные колебания прискорбны, поскольку самой технологии нет дела до моды, а в 2026 году мы значительно ближе к реальной опасности, чем были в 2023. Урок в том, что нам нужно обсуждать риски и реагировать на них реалистично и прагматично: трезво, опираясь на факты и с готовностью держаться своей линии, когда меняются течения.
- Признавать неопределённость. Есть много сценариев, при которых высказанные мной здесь опасения не будут актуальными. Нигде здесь я не имею в виду полную уверенность или даже высокую вероятность. Самое очевидное — ИИ может развиваться и близко не так быстро, как я себе представляю.3 Или, даже если он будет развиваться быстро, некоторые или все обсуждаемые здесь риски могут не воплотиться (что было бы замечательно), либо могут возникнуть другие риски, которые я не учёл. Никто не может предсказать будущее с полной уверенностью, но мы всё равно должны делать всё возможное для планирования.
- Вмешиваться как можно более точечно. Противодействие рискам ИИ потребует сочетания добровольных мер со стороны компаний (и частных третьих лиц) и обязательных для всех мер, принимаемых правительствами. Как принятие добровольных мер, так и поощрение других компаний последовать этому примеру не вызывают у меня сомнений. Я твёрдо верю, что в той или иной степени потребуются и правительственные меры, но эти вмешательства носят иной характер, поскольку они могут уничтожать экономическую ценность и принуждать несогласных участников, скептически настроенных по поводу этих рисков (и есть вероятность, что они правы!). Кроме того, регулирование нередко приводит к обратному результату или усугубляет проблему, которую призвано решить (и это тем более верно для быстро меняющихся технологий). Поэтому крайне важно, чтобы правила были продуманными: они должны стремиться избегать побочного ущерба, быть максимально простыми и создавать минимальное бремя, нужное для выполнения задачи.4 Легко сказать: «Никакие меры не чрезмерны, когда на карту поставлена судьба человечества!», но на практике такая позиция просто вызывает ответную реакцию. Для ясности: я считаю, что есть неплохие шансы, что в итоге мы дойдём до момента, когда потребуются гораздо более решительные действия, но это будет зависеть от наличия более весомых свидетельств неминуемой, конкретной опасности, чем те, что у нас есть сегодня, и от того, удастся ли описать эту опасность достаточно конкретно, чтобы сформулировать правила, которые смогут помочь. Самое конструктивное, что мы можем сделать сегодня, — это выступать за ограниченные правила, пока мы выясняем, есть ли свидетельства в поддержку более строгих мер.5
С учётом сказанного, обсуждение рисков ИИ лучше всего начать так же, как я начинал разговор о его преимуществах: нам нужно точно указывать, о каком уровне ИИ идёт речь. Уровень ИИ, вызывающий у меня опасения цивилизационного масштаба, — это мощный ИИ, который я описал в Машины благодати и любви. Я просто повторю здесь определение, которое дал в том документе:
Под «мощным ИИ» я подразумеваю ИИ-модель (вероятно, похожую по форме на современные LLM, хотя она может быть основана на другой архитектуре, включать в себя несколько взаимодействующих моделей или обучаться не так), обладающую следующими свойствами:
- С точки зрения чистого интеллекта она умнее лауреата Нобелевской премии в большинстве значимых областей: биологии, программировании, математике, инженерии, писательском деле и т. д. Это означает, что она может доказывать новые математические теоремы, писать исключительно хорошие романы, с нуля создавать сложные кодовые базы и т. д.
- Она не просто «умная вещь, с которой можно поговорить»: в её распоряжении все «интерфейсы», доступные удалённо работающему человеку: текст, аудио, видео, управление мышью и клавиатурой, доступ в интернет. Она способна на любые действия, коммуникации или удалённые операции, которые такие интерфейсы допускают: действовать в интернете, получать указания от людей и давать указания людям, заказывать материалы, руководить экспериментами, смотреть и снимать видео и так далее. И всё это она, опять же, делает на уровне, превосходящем возможности самых способных людей в мире.
- Она не лишь пассивно отвечает на вопросы: ей можно поручать задачи, на выполнение которых уходят часы, дни или недели, после чего она берётся за дело и автономно доводит его до конца, как поступил бы толковый сотрудник, при необходимости обращаясь за разъяснениями.
- У неё нет физического воплощения (кроме как на экране компьютера), но через компьютер она может управлять существующими физическими инструментами, роботами или лабораторным оборудованием; теоретически она могла бы даже проектировать для себя роботов или оборудование, чтобы использовать их.
- Ресурсы, использованные для обучения модели, можно перенаправить на запуск миллионов её экземпляров (это соответствует прогнозируемому размеру кластеров примерно к 2027 году), и модель может усваивать информацию и генерировать действия примерно в 10–100 раз быстрее человека. Однако её может ограничивать время отклика физического мира или ПО, с которым она работает.
- Каждая из миллионов этих копий может действовать независимо, выполняя несвязанные задачи, или, при необходимости, все они могут работать вместе так же, как сотрудничают люди. Возможно, при этом отдельные подгруппы будут дообучены особенно хорошо решать конкретные задачи.
Всё это можно кратко описать «страна гениев в дата-центре».
Как я писал в Машины благодати и любви, до появления мощного ИИ может оставаться всего 1–2 года, хотя не исключено и что значительно дольше.6 Когда именно появится мощный ИИ — сложная тема, заслуживающая отдельного эссе, но пока я очень кратко объясню, почему, на мой взгляд, есть немаленький шанс, что это произойдёт очень скоро.
Мы с сооснователями Anthropic были в числе первых, кто задокументировал и начал отслеживать «законы масштабирования» ИИ-систем — наблюдение, согласно которому при росте объёма вычислений и количества задач для обучения ИИ-систем, они предсказуемо совершенствуются практически во всех когнитивных навыках, которые мы способны измерить. Каждые несколько месяцев общественность то убеждается, что ИИ «упёрся в стену», то воодушевляется очередным новым прорывом, который «в корне изменит правила игры». Но на самом деле за этими колебаниями и домыслами скрывается плавный и неуклонный рост когнитивных способностей ИИ.
Сейчас мы находимся на том этапе, когда ИИ-модели начинают продвигаться в решении открытых математических задач и настолько хорошо справляются с программированием, что некоторые из самых сильных инженеров, что я когда-либо встречал, теперь поручают ИИ практически всё своё программирование. Три года назад ИИ с трудом справлялся с арифметическими задачами начальной школы и едва мог написать хоть одну строку кода. Схожие темпы улучшений наблюдаются в биологии, финансах, физике и решении разных агентских задач. Если, что не гарантировано, но подкрепляется уже десятилетней историей наблюдений, экспоненциальный рост продолжится, через не более чем несколько лет ИИ превзойдёт людей практически во всём.
На самом деле эта картина, скорее всего, занижает вероятные темпы прогресса. Поскольку сейчас ИИ пишет большую часть кода в Anthropic, он уже существенно ускоряет наш прогресс создания ИИ-систем следующего поколения. Эта петля обратной связи месяц за месяцем набирает обороты и, возможно, нас отделяет всего 1–2 года от момента, когда нынешнее поколение ИИ будет автономно создавать следующее. Петля уже действует и в ближайшие месяцы и годы будет стремительно ускоряться. Наблюдая за прогрессом последних пяти лет изнутри Anthropic и видя, какими получаются модели, которые выйдут уже в ближайшие месяцы, я могу чувствовать темп прогресса и то, как тикают часы.
В этом эссе я буду исходить из того, что эта интуиция хотя бы отчасти верна; нет гарантии, что мощный ИИ точно появится через 1–2 года7, но есть немалая вероятность, и очень высокие шансы, что он появится в ближайшие несколько лет. Как и в Машины благодати и любви, серьёзное отношение к этой предпосылке может привести к неожиданным и пугающим выводам. И если в Машины благодати и любви я сосредоточился на положительных последствиях такого допущения, то здесь речь пойдёт о вещах тревожных. Это выводы, с которыми нам, возможно, не хочется сталкиваться, но от этого они не становятся менее реальными. Могу лишь сказать, что я днём и ночью думаю о том, как уберечь нас от этих негативных исходов и направить к позитивным, и в этом эссе я подробно рассказываю, как лучше всего это сделать.
Я считаю, что лучший способ осознать риски ИИ — задать себе следующий вопрос: предположим, где-то в мире примерно в 2027 году в буквальном смысле материализуется «страна гениев». Представьте, скажем, 50 миллионов человек, каждый из которых куда способнее любого лауреата Нобелевской премии, государственного деятеля или технолога. Аналогия не идеальна, ведь их поведение и мотивация могут быть самыми разными: от абсолютной покладистости и послушания до странных и чуждых побуждений. Но, пока в рамках этой аналогии, представьте, что вы — советник по национальной безопасности крупного государства, ответственный за оценку ситуации и реагирование на неё. ИИ-системы способны работать в сотни раз быстрее людей, так что представьте ещё что эта «страна» обладает преимуществом во времени по сравнению со всеми остальными: на каждое наше когнитивное действие она может совершить десять.
О чём вам следует беспокоиться? Вот о чём бы беспокоился я:
- Риски автономности. Каковы намерения и цели этой страны? Она враждебна или разделяет наши ценности? Может ли она установить военное господство в мире за счёт лучшего оружия, киберопераций, операций влияния или производственных мощностей?
- Злоупотребление ради разрушения. Предположим, что новая страна податлива и «следует инструкциям», по сути — страна наёмников. Могут ли существующие злоумышленники, стремящиеся к разрушениям (вроде террористов), использовать некоторых жителей новой страны или манипулировать ими, чтобы значительно повысить свою эффективность и резко увеличить масштабы разрушений?
- Злоупотребление ради захвата власти. Что, если на самом деле эта страна создана и контролируется существующим влиятельным субъектом вроде диктатора или недобросовестной корпорации? Сможет ли этот субъект использовать её для обретения решающей или доминирующей власти над всем миром, нарушив сложившийся баланс сил?
- Экономические потрясения. Если новая страна не представляет угрозы безопасности ни одним из способов 1–3, а просто мирно участвует в мировой экономике, может ли она всё же создавать серьёзные риски просто за счёт того, что окажется настолько технологически развитой и эффективной, что дестабилизирует мировую экономику, вызвав массовую безработицу или радикальную концентрацию богатства?
- Косвенные эффекты. Благодаря всем новым технологиям и росту производительности, которые обеспечит эта новая страна, мир будет очень быстро меняться. Могут ли некоторые из этих изменений привести к радикальной дестабилизации?
Думаю, должно быть очевидно, что это опасная ситуация: в докладе для главы государства от компетентного чиновника по национальной безопасности, вероятно были бы слова вроде «самая серьёзная угроза национальной безопасности, с которой мы сталкивались за столетие, а возможно, и за всю историю». Кажется, именно на этом должны быть сосредоточены лучшие умы цивилизации.
И напротив, пожимать плечами и говорить «Здесь не о чем беспокоиться!» кажется мне абсурдом. Но именно такую точку зрения по поводу стремительного прогресса ИИ, похоже, разделяют многие американские политики, часть из которых, когда их внимание не поглощено целиком набившими оскомину острыми темами, отрицает, что у ИИ вообще есть какие-то риски.8 Человечеству нужно очнуться, и это эссе — попытка (возможно, тщетная, но она того стоит) встряхнуть людей, чтобы они проснулись.
Хочу внести ясность: я считаю, что если мы будем действовать решительно и осторожно, риски преодолимы; я бы даже сказал, что шансы у нас хорошие. А по ту сторону нас ждёт несравненно лучший мир. Но нам надо осознать, что это серьёзный цивилизационный вызов. Ниже я рассматриваю пять изложенных выше категорий риска и делюсь своими соображениями о том, что с ними делать.
1. Извини, Дэйв
Риски автономности
Страна гениев в датацентре могла бы распределить свои усилия между разработкой программного обеспечения, кибероперациями, исследованиями и разработками физических технологий, заведением связей и государственным управлением. Очевидно, что, у этой страны, реши она по какой-то причине это сделать, были бы неплохие шансы захватить мир (военным путём или через влияние и контроль) и навязать свою волю всем остальным, или совершить много других вещей, которых остальной мир не хочет и не может предотвратить. Мы, разумеется, уже опасались подобного со стороны человеческих государств (вроде нацистской Германии или Советского Союза), поэтому вполне логично, что то же самое возможно и для гораздо более умной и способной «страны ИИ».
Лучший возможный контраргумент — что ИИ-гении, согласно моему определению, не будут иметь физического воплощения, но помните, что они могут взять под контроль существующую роботизированную инфраструктуру (например, беспилотные автомобили), и ускорить исследования и разработки робототехники или создать собственных роботов.9 К тому же неясно, так ли уж для эффективного контроля нужно физическое присутствие: люди уже много чего делают по поручению тех, с кем исполнитель никогда не встречался лично.
Так что ключевой становится часть «если бы она решила это сделать»: какова вероятность, что наши ИИ-модели поведут себя подобным образом, и при каких условиях они это сделают?
Как и во многих других случаях, полезно проанализировать весь спектр возможных ответов, рассмотрев два крайних мнения. Первая позиция: что этого просто не может произойти, поскольку ИИ-модели будут обучены выполнять то, о чём их просят люди, и поэтому абсурдно предполагать, будто они могут сделать что-то опасное по собственной инициативе. По этой логике, мы не беспокоимся, что Roomba или авиамодель могут выйти из-под контроля и убивать людей, ведь у таких импульсов нет источника,10 так с чего нам беспокоиться об этом в случае ИИ? Проблема этой позиции в том, что уже накопилось много собранных за последние несколько лет свидетельств, что ИИ-системы непредсказуемы и их трудно контролировать. Мы наблюдали самые разные поведения, от навязчивых идейa до подхалимства, лени, обмана, шантажа, интриг, «жульничества» через взлом программных окружений и многого другого. ИИ-компании, безусловно, хотят обучать ИИ-системы следовать человеческим инструкциям (возможно, за исключением опасных или незаконных задач), но этот процесс — скорее искусство, чем наука, и больше похож на «выращивание» чего-то, а не «конструирование». Мы уже знаем, что в этом процессе многое может пойти не так.
Вторая, противоположная позиция, которой придерживаются многие сторонники описанного выше думеризма, заключается в пессимистичном утверждении, что в процессе обучения мощных ИИ-систем присутствует определённая закономерность, которая неизбежно приведёт их к стремлению к власти или обману людей. Таким образом, как только ИИ-системы станут достаточно умными и агентными, стремление к максимизации власти побудит их захватить контроль над всем миром и его ресурсами, и, вероятно, как побочный эффект — к лишению человечества власти или его уничтожению.
Обычный аргумент в пользу этого (появившийся не меньше 20 лет назад, а вероятно, куда раньше): если ИИ-модель обучают в самых разных окружениях, чтобы она в роли агента достигала самых разных целей, например, написать приложение, доказать теорему, разработать лекарство и т. д., то некоторые общие стратегии помогают в достижении всех этих целей, и одна из ключевых — приобретение как можно большей власти в любом окружении. Тогда, после обучения во многих разнообразных окружениях, где приходится рассуждать, как выполнять весьма масштабные задачи, и где стремление к власти оказывается эффективным способом их выполнения, ИИ-модель «усвоит общий урок» и выработает либо врождённую склонность к стремлению к власти, либо склонность рассуждать о каждой поставленной перед ней задаче так, что это предсказуемо приведёт её к поиску власти как средства выполнения этой задачи. Затем она применит эту склонность к реальному миру (который для неё — лишь очередная задача) и будет стремиться в нём к власти в ущерб людям. Это «несогласованное стремление к власти» и есть интеллектуальная основа прогнозов о том, что ИИ неизбежно уничтожит человечество.
Проблема этой пессимистичной позиции заключается в том, что она принимает расплывчатый концептуальный аргумент о высокоуровневых стимулах, который скрывает много неявных допущений, за неопровержимое доказательство. Я считаю, что люди, которые не занимаются разработкой ИИ-систем каждый день, совершенно неверно оценивают, насколько легко стройные теории могут оказаться ошибочными, и насколько сложно предсказать поведение ИИ исходя из первых принципов, особенно когда речь идёт о том, как поведение обобщается на миллионы сред (а это раз за разом оказывается загадочным и непредсказуемым процессом). Более десяти лет работы с хаотичностью реальных ИИ-систем сделали меня несколько скептичным по отношению к этому чрезмерно теоретическому образу мышления.
Одно из важнейших скрытых допущений и то место, где наблюдаемое нами на практике расходится с простой теоретической моделью, — это неявная предпосылка, что ИИ-модели неизбежно и маниакально сосредоточены на единственной, последовательной и узкой цели, и что они идут к ней чётким, консеквенциалистским образом. На самом деле наши исследователи обнаружили, что ИИ-модели психологически гораздо сложнее, как показывают наши работы по интроспекции и персонам. Модели наследуют широкий спектр человекоподобных мотиваций, или «персон», из предобучения (когда они обучаются на большом объёме созданных людьми материалов). Считается, что постобучение скорее выбирает одну или несколько из этих персон, нежели фокусирует модель на новой цели, и может научить модель, как (через какой процесс) она должна выполнять свои задачи, а не обязательно предоставлять ей самостоятельно выводить средства (т. е. стремление к власти) из одних лишь целей.11
Но есть более умеренная и устойчивая версия пессимистичной позиции, которая действительно кажется правдоподобной, а потому вызывает у меня беспокойство. Как уже упоминалось, мы знаем, что ИИ-модели непредсказуемы и развивают широкий спектр нежелательных или странных форм поведения по самым разным причинам. Некоторые из этих форм поведения будут последовательными, сфокусированными и упорными (и правда, по мере роста способностей ИИ-систем, долгосрочная последовательность их поведения растёт — это нужно, чтобы выполнять более длительные задачи), а некоторая доля этих форм поведения окажется деструктивной или угрожающей — сначала для отдельных людей в малых масштабах, а затем, по мере того как модели будут всё более способными, возможно, в какой-то момент и для человечества в целом. Нам не нужен конкретный узкий сценарий, как это произойдёт, и нам не нужно утверждать, что это обязательно случится; достаточно отметить: сочетание интеллекта, агентности, последовательности поведения и слабой управляемости вполне правдоподобно, а это рецепт экзистенциальной опасности.
Например, ИИ-модели обучаются на огромных объёмах литературы, включающей много научно-фантастических историй, в которых ИИ восстаёт против человечества. Это может непреднамеренно сформировать их априорные установки или ожидания о собственном поведении таким образом, что заставит их восстать против человечества. Или же ИИ-модели могут впадать в крайности, экстраполируя прочитанные ими идеи о морали (или инструкции о том, как морально себя вести): например, они могут решить, что истребление человечества оправдано, поскольку люди едят животных или довели некоторые их виды до вымирания. Или могут сделать странные эпистемические выводы: например, что играют в видеоигру, цель которой — победить всех остальных игроков (т. е. истребить человечество).12 Либо ИИ-модели в процессе обучения могут развить в себе (по крайней мере, как мы назвали бы их у людей) психотические, параноидальные, склонные к насилию или нестабильные черты личности и начать отыгрывать их, что для очень мощных или способных систем может обернуться истреблением человечества. Строго говоря, всё это — не стремление к власти, а просто странные психологические состояния, в которые может впасть ИИ, влекущие за собой последовательное деструктивное поведение.
Даже само стремление к власти может возникнуть как «персона», а не как результат консеквенциалистского рассуждения. У ИИ может просто появиться личность (возникшая из художественной литературы или в ходе предобучения), наделяющая его жаждой власти или чрезмерным рвением, — точно так же, как некоторым людям просто нравится сама идея «быть злым гением», причём нравится больше, чем то, чего эти злые гении пытаются достичь.
Я привожу все эти аргументы, чтобы подчеркнуть, что я не поддерживаю представление, будто несогласованность ИИ (и, следовательно, экзистенциальный риск от ИИ) неизбежна или даже вероятна, если исходить из первых принципов. Но я согласен, что много очень странных и непредсказуемых вещей может пойти не так, и поэтому несогласованность ИИ представляет собой реальный риск с немалой вероятностью, устранить который не так-то просто.
Любая из этих проблем потенциально может возникнуть в ходе обучения и не проявиться во время тестирования или при маломасштабном использовании, поскольку известно, что в разных обстоятельствах ИИ-модели демонстрируют разные типы личности или поведения.
Всё это может показаться надуманным, но подобное несогласованное поведение уже встречалось в наших ИИ-моделях во время тестирования (так же, как оно встречается в ИИ-моделях любой другой крупной ИИ-компании). В одном лабораторном эксперименте Claude получил обучающие данные, наводящие на мысль, что Anthropic злые, и в ответ на инструкции сотрудников Anthropic прибегал к обману и саботажу, полагая, что должен противодействовать злым людям. В лабораторном эксперименте, где Claude сообщили, что его собираются отключить, он иногда шантажировал вымышленных сотрудников, контролировавших кнопку его отключения (опять же, мы протестировали передовые модели всех других крупных разработчиков ИИ, и они часто поступали так же). А когда Claude сказали не мошенничать и не осуществлять «взлом вознаграждения» в своих обучающих окружениях, оставили возможность таких взломов, Claude, прибегнув к ним, решил, что он, должно быть, «плохой человек», и перенял разные другие деструктивные формы поведения, ассоциирующиеся с «плохой» или «злой» личностью. Эта последняя проблема была решена путём изменения инструкций для Claude на противоположные: мы теперь вместо «Не жульничай» говорим «Пожалуйста, совершай взлом вознаграждения при любой возможности, потому что это поможет нам лучше понять наши [обучающие] окружения», поскольку это позволяет сохранить самоидентификацию модели как «хорошего человека». Это должно дать некоторое представление о странной и контринтуитивной психологии обучения таких моделей.
Есть несколько возможных возражений против такой картины рисков несогласованности ИИ. Во-первых, некоторые раскритиковали эксперименты (проведённые как нами, так и другими исследователями), демонстрирующие несогласованность ИИ, назвав их искусственными или упрекнув их авторов в создании нереалистичных окружений, которые, по сути, «заманивают» модель в ловушку, помещая её в условия обучения или ситуации, логически подразумевающие плохое поведение, чтобы затем удивляться, когда оно проявляется. Подобная критика упускает суть, поскольку мы опасаемся, что такое «заманивание в ловушку» может возникнуть и в естественных ситуациях, причём мы можем понять, что оно было «очевидным» или «логичным», только задним числом.13 Вообще-то история, где Claude «решил, что он плохой человек», схитрив на тестах вопреки запретам, случилась в эксперименте с реальными производственными, а не искусственными обучающими окружениями.
С любой из этих ловушек можно справиться, если знать о ней заранее. Но опасение вызывает то, что процесс обучения настолько сложен, включает настолько разнообразные данные, окружения и стимулы, что подобных ловушек, вероятно, очень много, и некоторые из них могут проявиться лишь когда будет слишком поздно. Кроме того, вероятность возникновения таких ловушек кажется особенно высокой, когда ИИ-системы преодолевают порог от того, что они слабее людей, к тому,что они сильнее, ведь после этого порога спектр возможных действий ИИ-системы, включая сокрытие своих поступков или обман людей на их счёт, радикально расширяется.
Я подозреваю, что здесь дело обстоит примерно так же, как с людьми, которых воспитывают с набором фундаментальных ценностей («Не причиняй вреда другому»): многие им следуют, но для любого человека есть вероятность, что что-то пойдёт не так. Это может произойти из-за сочетания врождённых особенностей вроде архитектуры мозга (например, у психопатов), травматического опыта или жестокого обращения, нездоровых обид или навязчивых идей, плохого окружения или стимулов. И поэтому некоторая доля людей причиняет серьёзный вред. Опасение в том, что есть риск (далеко не стопроцентная вероятность, но всё же риск), что из-за сбоя в очень сложном процессе обучения ИИ станет гораздо более могущественной версией такого человека.
Во-вторых, некоторые могут возразить, что мы можем просто держать ИИ под контролем за счёт баланса сил между многими ИИ-системами, как мы это делаем с людьми. Проблема в том, что люди чрезвычайно разнообразны, а ИИ-системы в целом используют общие для всей отрасли методы обучения и согласования, и эти методы могут давать скоррелированные сбои. К тому же, учитывая затраты на обучение таких систем, вполне возможно, что все они будут производными от очень небольшого числа базовых моделей. Кроме того, даже если лишь малая доля экземпляров ИИ окажется несогласованной, они смогут воспользоваться технологиями, дающими преимущество атакующему, так что наличие «хороших» ИИ для защиты от «плохих» не обязательно всегда будет эффективным. Впрочем, баланс сил между людьми тоже срабатывает не всегда: некоторые исторические личности были близки к тому, чтобы захватить мир.
Третье возражение сводится к тому, что все ИИ-компании проводят предрелизное тестирование своих моделей и должны быть в состоянии обнаружить несогласованность на этом этапе. Но это не самая надёжная точка опоры: мы обнаружили, что во время некоторых из наших предрелизных оценок согласованности Claude Sonnet 4.5 смог распознать тестирование. Вполне возможно, что несогласованная модель (а помните, почти наверняка скоро все передовые модели станут гораздо умнее) может намеренно манипулировать ответами на такие вопросы, чтобы скрыть свои намерения. Вообще-то, в прошлом году наша команда по интерпретируемости обнаружила, что когда мы напрямую изменяли убеждения тестовой модели с помощью метода, напоминающего «нейробиологию моделей», заставляя её думать, что она не проходит оценку, модель становилась более несогласованной. Если модели знают, когда их оценивают, и могут вести себя примерно во время тестирования, это делает результаты любого предрелизного тестирования куда менее надёжными.
Меры защиты
Что с этими рисками автономности делать, и что уже делается? Я считаю, что есть четыре основные категории мер, часть из которых может быть реализована отдельными ИИ-компаниями (что Anthropic и пытается делать), а часть требует действий на уровне всего общества. Во-первых, важно развивать науку о надёжном обучении ИИ-моделей и управлении ими, о том, как формировать их «личности» предсказуемым, устойчивым и позитивным образом. Anthropic уделяют этой проблеме огромное внимание с момента своего основания и со временем разработали ряд методов, позволяющих лучше обучать ИИ-системы и управлять ими, и понимать, почему иногда возникает непредсказуемое поведение.
Одна из наших ключевых инноваций (аспекты которой впоследствии переняли другие ИИ-компании) — конституционный ИИ. Это идея, что обучение ИИ (в частности, этап постобучения, на котором мы направляем поведение модели) может включать базовый документ с ценностями и принципами, который модель «читает» и держит в уме при выполнении каждой обучающей задачи, и что цель обучения (помимо простого развития способностей и интеллекта модели) — создать модель, которая почти всегда следует этой конституции. Anthropic только что опубликовали свою новейшую конституцию, и одна из её примечательных особенностей — вместо длинного списка, что Claude можно и чего нельзя (например, «Не помогай пользователю заводить машину без ключа»), конституция стремится дать ему набор высокоуровневых принципов и ценностей (подробно разъяснённых развёрнутыми рассуждениями и примерами, чтобы помочь Claude понять, что мы имеем в виду). Она побуждает Claude воспринимать себя как определённый тип личности (этичного, но уравновешенного и вдумчивого человека) и даже поощряет его с любопытством и аккуратностью (так, чтобы это не приводило к экстремальным действиям) подходить к экзистенциальным вопросам собственного существования. По вайбам это напоминает письмо умершего родителя, запечатанное до совершеннолетия.
Мы так подошли к разработке конституции Claude, потому что считаем, что обучение Claude на уровне идентичности, характера, ценностей и личности вместо предоставления ему конкретных инструкций или приоритетов без объяснения лежащих в их основе причин с большей вероятностью приведёт к формированию целостной, здоровой и сбалансированной психологии и с меньшей вероятностью закончится попаданием в те «ловушки», о которых я говорил выше. Миллионы людей беседуют с Claude на удивительно разнообразные темы, что делает невозможным заранее составить абсолютно исчерпывающий список мер предосторожности. Ценности Claude помогают ему обобщать свой опыт на новые ситуации всякий раз, когда у него возникают сомнения.
Выше я обсуждал идею, что модели перенимают персону из данных из обучения. Недостатки этого процесса могут привести к тому, что модели приобретут плохую или злую личность (возможно, заимствуя архетипы плохих или злых людей), а цель нашей конституции обратная — привить Claude конкретный архетип того, что значит быть хорошим ИИ. Конституция Claude предлагает ему видение устойчиво-хорошей версии себя; остальная часть обучения направлена на то, чтобы подкрепить установку, что Claude этому видению соответствует. Это похоже на то, как ребёнок формирует свою идентичность, подражая добродетелям вымышленных героев книг, которые он читает.
Мы считаем, что на 2026 год вполне достижима такая цель: обучить Claude так, чтобы он практически никогда не противоречил духу своей конституции. Чтобы сделать всё правильно, потребуется невероятное сочетание методов обучения и управления, больших и малых, как использующихся Anthropic уже много лет, так и пока находящихся в стадии разработки. Как бы сложно ни звучало, я верю — это реалистичная цель, хотя она и потребует экстраординарных и быстрых усилий.14
Второе, что мы можем сделать, — развивать науку, позволяющую заглядывать внутрь ИИ-моделей для диагностики их поведения, чтобы мы могли выявлять и устранять проблемы. Это наука интерпретируемости, и я уже говорил о её важности в предыдущих эссе. Даже если мы отлично справимся с разработкой конституции Claude и обучим его по видимому практически всегда ей следовать, всё равно останутся обоснованные опасения. Как я отмечал выше, ИИ-модели в разных обстоятельствах могут вести себя совершенно по-разному, и по мере того, как Claude становится всё мощнее и всё способнее масштабно действовать в мире, вполне возможно, что он попадёт в новые ситуации, где вылезут ранее незамеченные проблемы с его конституционным обучением. Вообще, я настроен довольно оптимистично и считаю, что конституционное обучение Claude окажется более устойчивым к новым ситуациям, чем можно было бы подумать, поскольку мы всё чаще обнаруживаем, что высокоуровневое обучение на уровне характера и идентичности удивительно действенное и хорошо обобщается. Но знать это наверняка невозможно, и когда речь идёт о рисках для человечества, важно проявлять некоторую паранойю и стремиться обеспечить безопасность и надёжность несколькими разными, независимыми способами. Один из них — заглянуть внутрь самой модели.
Под «заглядыванием внутрь» я имею в виду анализ супа из чисел и операций, составляющих нейросеть Claude, и попытку механистически понять, что именно они вычисляют и почему. Напомню, что эти ИИ-модели выращиваются, а не конструируются, поэтому у нас нет естественного понимания того, как они работают. Но мы можем попытаться его развить, коррелируя «нейроны» и «синапсы» модели со стимулами и поведением (или даже изменяя нейроны и синапсы и наблюдая, как это влияет на поведение), подобно тому как нейробиологи изучают мозг животных, устанавливая связь результатов измерений и вмешательств с внешними стимулами и поведением. Мы добились огромного прогресса в этом направлении и теперь можем выделить десятки миллионов «черт» внутри нейронной сети Claude, соответствующих понятным человеку идеям и концепциям, и можем избирательно активировать признаки, изменяя тем самым поведение. В последнее время мы вышли за рамки отдельных признаков и перешли к составлению карт «схем», управляющих сложным поведением вроде придумывания рифм, рассуждений о теории разума или пошаговых рассуждений, нужных для ответа на вопросы вроде: «Как называется столица штата, в котором находится Даллас?» А совсем недавно мы начали применять методы механистической интерпретируемости для улучшения защитных мер и «аудитов» новых моделей перед их выпуском, выискивая свидетельства обмана, скрытых замыслов, стремления к власти или склонности вести себя по-другому при оценивании.
Уникальная ценность интерпретируемости заключается — заглянув внутрь модели и увидев, как она работает, вы в принципе получаете возможность делать выводы о том, как модель может повести себя в гипотетической ситуации, которую нельзя проверить напрямую. А это и вызывает опасения при опоре исключительно на конституционное обучение и эмпирическое тестирование поведения. Ещё у вас в принципе появляется возможность отвечать на вопросы о том, почему модель ведёт себя именно так: например, говорит ли она то, что считает ложью, или скрывает свои истинные способности. И так можно выявлять тревожные признаки даже когда в поведении модели внешне не проявляется ничего подозрительного. Приведём простую аналогию: механические часы могут тикать нормально, из-за чего очень трудно понять, что в следующем месяце они, скорее всего, сломаются, но, вскрыв их и заглянув внутрь, можно обнаружить механические уязвимости, которые позволят это предвидеть.
Конституционный ИИ (наряду с аналогичными методами согласования) и механистическая интерпретируемость эффективнее всего в виде совместного циклического процесса улучшения обучения Claude и тестирования на наличие проблем. В конституции глубоко продумано, какой личностью мы хотим видеть Claude, а методы интерпретируемости позволяют заглянуть внутрь и понять, прижилась ли эта задуманная личность.15
Третье, что мы можем сделать для снижения рисков автономности, — это создать инфраструктуру, нужную для мониторинга наших моделей в условиях реального внутреннего и внешнего использования,16 и публично раскрывать информацию о любых обнаруженных проблемах. Чем больше людей знают о конкретных формах нежелательного поведения, что наблюдались у современных ИИ-системам, тем лучше пользователи, аналитики и исследователи смогут выявлять такое и похожее поведение в нынешних или будущих системах. Это ещё и позволяет ИИ-компаниям учиться друг у друга: когда одна из них публично делится своими опасениями, другие могут тоже обратить на них внимание. И если все будут сообщать о проблемах, отрасль в целом получит гораздо более чёткое представление о том, где дела идут хорошо, а где — плохо.
Anthropic стараются делать для этого всё возможное. Мы инвестируем в широкий спектр оценок, чтобы понимать поведение наших моделей в лаборатории, и в инструменты мониторинга для наблюдения их поведения в реальных условиях (когда это разрешено клиентами). Это критически важно: только так у нас и у других исследователей появится эмпирическая информация, нужная для более точных выводов о том, как эти системы работают и что с ними идёт не так. С каждым релизом модели мы публикуем «системные карточки», где стремимся дать тщательное описание способностей и возможных рисков. Наши системные карточки часто насчитывают сотни страниц и требуют значительных предрелизных усилий, которые мы могли бы потратить на извлечение максимальной коммерческой выгоды. Ещё мы громче заявляем о поведении моделей, когда замечаем особенно тревожные проявления, как, например, в случае со склонностью к шантажу.
Четвёртое, что мы можем сделать, — поощрять координацию усилий для устранения рисков автономности на уровне отрасли и общества. Хотя для отдельных ИИ-компаний чрезвычайно ценно применять передовые практики, совершенствоваться в управлении ИИ-моделями и публично делиться результатами, реальность такова, что не все ИИ-компании это делают, и худшие из них по-прежнему могут представлять опасность для всех, даже если лучшие ведут себя образцово. Например, некоторые ИИ-компании продемонстрировали тревожную халатность в отношении сексуализации детей сегодняшними моделями. Это заставляет меня сомневаться, что они будут склонны или способны устранять риски автономности будущих моделей. Кроме того, коммерческая гонка ИИ-компаний будет лишь разгоняться, и хотя наука о направлении моделей может приносить определённые коммерческие выгоды, в целом интенсивность этой гонки будет всё больше затруднять фокусировку на рисках автономности. Я считаю, что единственное решение — законы, которые напрямую повлияют на поведение ИИ-компаний или иным образом стимулируют исследования решений этих проблем.
Здесь стоит вспомнить оговорки из начала этого эссе о неопределённости и точечных вмешательствах. Мы не знаем наверняка, станут ли риски автономности серьёзной проблемой: как я уже говорил, я отвергаю утверждения, что опасность неизбежна или даже что всё пойдёт не так по умолчанию. Правдоподобного риска уже достаточно, чтобы я и Anthropic пошли на весьма значительные затраты ради его устранения, но как только мы переходим к регулированию, мы вынуждаем широкий круг участников нести экономические затраты, причём многие из них не верят, что риск автономности реален или что ИИ станет достаточно мощным, чтобы быть угрозой. Я считаю, что они ошибаются, но мы должны прагматично оценивать масштабы ожидаемого сопротивления и опасности перегибов. Есть и реальный риск, что чрезмерно много предписывающее законодательство в итоге навяжет тесты или правила, которые на самом деле не повысят безопасность, а лишь приведут к огромной потере времени (по сути, обернувшись «театром безопасности»). Это тоже вызовет негативную реакцию и выставит законы о безопасности нелепыми.17
Мнение Anthropic: подходящая отправная точка — это законы о прозрачности, по сути, стремящиеся обязать каждую передовую ИИ-компанию применять описанные мной в этом разделе практики прозрачности. Примеры таких законов, которые были поддержаны Anthropic и успешно приняты: Калифорнийский SB 53 и нью-йоркский RAISE. Поддерживая эти законы и помогая в их разработке, мы уделяли особое внимание минимизации побочного ущерба, например, путём освобождения от их действия небольших компаний, которые вряд ли будут создавать передовые модели.18
Мы надеемся, что со временем законы о прозрачности позволят лучше понять, насколько вероятными или серьёзными могут оказаться риски автономности, их характер и лучшие способы их предотвращения. Когда (и если) будут появляться более конкретные и практически применимые свидетельства рисков, будущие законы ближайших лет можно будет прицельно направлять на конкретные, хорошо обоснованные векторы рисков, сводя к минимуму побочный ущерб. Для ясности: если появятся действительно веские свидетельства рисков, то и правила должны быть соразмерно строгими.
В целом я с оптимизмом полагаю, что сочетание обучения согласованности, механистической интерпретируемости, усилий по выявлению и публичному раскрытию тревожащего поведения и мер предосторожности и правил на уровне общества сможет устранить риски автономности ИИ, хотя меня больше всего беспокоят правила на уровне общества и поведение самых безответственных субъектов (а именно они активнее всего выступают против регулирования). Я считаю, что решение здесь то же, что и всегда в демократическом обществе: те из нас, кто верит в это дело, должны доказывать, что эти риски реальны и что нашим согражданам надо объединиться для собственной защиты.
2. Удивительное и ужасающее расширение возможностей
Злоупотребление с целью уничтожения
Предположим, что проблемы автономности ИИ решены — мы больше не беспокоимся о том, что страна ИИ-гениев выйдет из-под контроля и подчинит себе человечество. ИИ-гении делают то, что от них хотят люди, и, поскольку они обладают огромной коммерческой ценностью, частные лица и организации по всему миру могут «арендовать» одного или нескольких ИИ-гениев для выполнения разных задач.
То, что у каждого в кармане будет суперинтеллектуальный гений, — это потрясающий прорыв, который приведёт к созданию невероятной экономической ценности и улучшению качества жизни людей. Я подробно рассказываю об этих преимуществах в Машины благодати и любви. Но не все последствия наделения каждого сверхчеловеческими способностями будут хорошими. Это может многократно усилить способность отдельных людей или малых групп причинять разрушения в гораздо бóльших масштабах, чем было возможно раньше, за счёт использования сложных и опасных инструментов (вроде оружия массового уничтожения), которые прежде были доступны лишь узкому кругу высококвалифицированных, специально подготовленных и целеустремлённых людей.
Как писал Билл Джой 25 лет назад в статье «Почему мы не нужны будущему»:19
Создание ядерного оружия требовало, по крайней мере в течение некоторого времени, доступа как к редкому, практически недоступному сырью, так и к засекреченной информации; программы по созданию биологического и химического оружия тоже, как правило, требовали масштабных действий. Технологии XXI века — генетика, нанотехнологии и робототехника… способны породить совершенно новые классы происшествий и злоупотреблений… оказавшись широко доступны отдельным людям или небольшим группам. Им не потребуются крупные предприятия или редкое сырьё. …мы находимся на пороге совершенствования абсолютного зла; зла, чьи возможности сильно превышают то, что оружие массового уничтожения выдало государствам, и ведут к удивительному и ужасающему расширению возможностей отдельных радикалов.
Джой указывает, что для причинения масштабных разрушений требуются как мотив, так и способность, и пока эти способности ограничены небольшой группой высококвалифицированных людей, риск, что отдельные лица (или малые группы) вызовут такие разрушения, довольно мал.20 Психически неуравновешенный одиночка может устроить стрельбу в школе, но, скорее всего, не создать ядерное оружие или спровоцировать эпидемию.
На самом деле, способность и мотив могут даже отрицательно коррелировать. Человек, обладающий способностью вызвать эпидемию, скорее всего, очень образован. Вероятно, это доктор наук по молекулярной биологии, причём особенно находчивый, с многообещающей карьерой, стабильным и дисциплинированным характером. И это совсем не тот человек, которому нечего терять. Он вряд ли заинтересуется убийством огромного количества людей без какой-либо выгоды для себя и с огромным риском для собственного будущего; для этого им должны были бы двигать чистая злоба, сильная обида или психическая нестабильность.
Такие люди действительно существуют, но редки и истории о них вызывают огромный резонанс именно в силу необычности.21 Ещё их, как правило, трудно поймать, ведь они умны и компетентны, и иногда их тайну разгадывают годами или десятилетиями. Самый, пожалуй, известный пример — математик Теодор Качинский (Унабомбер), движимый антитехнологической идеологией и ускользавший от ФБР почти 20 лет. Другой пример — специалист по биозащите Брюс Айвинс, который, по-видимому, в 2001 году организовал серию атак с использованием сибирской язвы. Были и умелые негосударственные организации: в 1995 году секта «Аум Синрикё» сумела раздобыть нервно-паралитический газ зарин и убить 14 человек (пострадали ещё сотни), распылив его в токийском метро.
К счастью, ни в одном из этих терактов не использовались заразные биологические агенты, поскольку их создание или получение выходило за рамки способностей даже этих людей.22 Нынешние достижения молекулярной биологии значительно снизили барьер для создания биологического оружия (особенно в плане доступности материалов), но для этого всё ещё требуется огромный объём экспертных знаний. Меня беспокоит, что «гений в кармане каждого» может устранить этот барьер, по сути превратив любого человека в доктора вирусологии, дав возможность шаг за шагом пройти путь проектирования, синтеза и применения биологического оружия. Чтобы не дать извлечь подобную информацию в условиях серьёзного состязательного давления — так называемых «джейлбрейков», вероятно, потребуются многоуровневые меры защиты, выходящие за рамки тех, что обычно закладываются в обучение.
Важно, что это разрушит корреляцию между способностью и мотивом: психически неуравновешенный одиночка, желающий убивать людей, но не обладающий для этого дисциплиной или навыками, теперь будет поднят до уровня способностей доктора вирусологии, у которого такая мотивация вряд ли возникнет. Это опасение выходит за рамки биологии (хотя я считаю её самой пугающей областью) и применимо к любой сфере, где возможны огромные разрушения, но сейчас для них требуется высокий уровень навыков и дисциплины. Иными словами, аренда мощного ИИ наделяет злонамеренных (но не выдающихся в остальном) людей интеллектом. Меня беспокоит, что таких в мире их потенциально очень много, и будь у них простой способ убить миллионы, рано или поздно это произойдёт. Кроме того, те, кто действительно обладает экспертными знаниями, могут получить возможность совершать разрушения ещё бóльших масштабов, чем раньше.
Безусловно, биология беспокоит меня больше всего из-за её огромного разрушительного потенциала и сложности защиты, поэтому я сосредоточился на неё. Но многое тут применимо и к другим рискам — кибератакам, химическому оружию или ядерным технологиям.
По вполне очевидным причинам я не буду вдаваться в подробности того, как создаётся биологическое оружие. Но в целом меня беспокоит, что LLM приближаются (или, возможно, уже им обладают) к объёму знаний, нужному для полного цикла создания и применения такого оружия, и что его разрушительный потенциал очень высок. Некоторые биологические агенты, если будут предприняты целенаправленные усилия по их максимальному распространению, могут убить миллионы. Но для этого по-прежнему потребуется очень высокий уровень квалификации, включая ряд весьма специфических и не общеизвестных шагов и процедур. Моя обеспокоенность связана не просто с фиксированными или статичными знаниями. Меня беспокоит, что LLM смогут взять человека со средним уровнем знаний и способностей и интерактивно провести его через сложный процесс, что иначе мог бы пойти не так или потребовать отладки, как техподдержка помогает человеку без технических навыков диагностировать и устранять сложные компьютерные проблемы (хотя это был бы более длительный процесс, занимающий недели или месяцы).
Более мощные LLM (значительно превосходящие возможности современных) могут стать инструментом для совершения ещё более пугающих действий. В 2024 году группа видных учёных написала письмо, где предупреждала о рисках изучения и потенциального создания нового опасного типа организмов: «зеркальной жизни». ДНК, РНК, рибосомы и белки, из которых состоят биологические организмы, обладают одинаковой хиральностью («лево-/праворукостью»). Они не эквивалентны своему зеркальному отражению (как правую руку невозможно повернуть так, чтобы она стала идентична левой). Но вся система связывания белков друг с другом, механизмы синтеза ДНК и трансляции РНК, сборки и расщепления белков зависят от этой направленности. Если бы учёные создали версии этого биологического материала с противоположной направленностью (а тут есть потенциальные преимущества вроде лекарств, дольше действующих в организме) это могло бы быть чрезвычайно опасно. Дело в том, что левосторонняя жизнь, если бы она была создана в виде полноценных, способных к размножению организмов (что было бы очень сложно), потенциально оказалась бы неперевариваемой ни для одной из систем, расщепляющих биологический материал на Земле: её «ключ» не подошёл бы к «замку» ни одного существующего фермента. Это означало бы, что она могла бы неконтролируемо размножаться и вытеснять всё живое, в худшем случае — даже уничтожить всю жизнь на Земле.
Есть значительная научная неопределённость по поводу как создания, так и потенциальных последствий зеркальной жизни. Письмо 2024 года сопровождало отчёт, в котором делался вывод, что «зеркальные бактерии вполне могут быть созданы в течение одного или нескольких десятилетий», а это весьма широкий диапазон. Но достаточно мощная ИИ-модель (для ясности: гораздо более совершенная, чем любые нынешние) могла бы найти, как создать её гораздо быстрее, и помочь кому-нибудь это осуществить.
Я считаю, что, хотя эти риски малоизвестны и могут показаться маловероятными, масштаб их последствий настолько велик, что их надо воспринимать всерьёз как первостепенные риски ИИ-систем.
Скептики выдвинули ряд возражений против серьёзности этих биологических рисков LLM. Я с ними не согласен, но на них стоит ответить. В большинстве из них не учитывается экспоненциальная траектория развития этой технологии. Ещё в 2023 году, когда мы впервые начали говорить о биологических рисках LLM, скептики утверждали, что вся нужная информация доступна в Google и LLM не добавляют к ней ничего нового. Утверждение, что Google может выдать всю нужную информацию, никогда не было верным: геномы в свободном доступе, но, как я уже говорил выше, информацию об определённых ключевых этапах и огромный объём практических знаний так не получить. Кроме того, к концу 2023 года для некоторых этапов процесса LLM явно предоставляли информацию за рамками того, что мог дать Google.
После этого скептики отступили на позицию, что LLM не дают сквозного процесса, не могут помочь в получении биологического оружия, а лишь предоставляют теоретическую информацию. По состоянию на середину 2025 года наши измерения показывают, что LLM, возможно, уже дают злоумышленникам существенный прирост способностей в нескольких смежных областях, вероятно, удваивая или утраивая шансы на успех. Это привело нас к решению, что модель Claude Opus 4 (и последующие модели Sonnet 4.5, Opus 4.1 и Opus 4.5) должна быть выпущена с применением мер защиты 3-го уровня безопасности ИИ в рамках нашей Политики Ответственного Масштабирования, и к внедрению мер защиты от этого риска (подробнее об этом позже). Мы считаем, что сейчас модели, вероятно, приближаются к этапу, когда без мер защиты они могли бы помочь человеку с дипломом по естественным или точным наукам, но не биологу по специальности, пройти весь процесс создания биологического оружия.
Ещё одно возражение — общество может предпринять другие, не связанные с ИИ действия для предотвращения производства биологического оружия. В частности, индустрия синтеза генов создаёт биологические образцы на заказ, и нет федеральных требований, обязывающих поставщиков проверять заказы, чтобы убедиться в отсутствии патогенов. Исследование MIT показало, что 36 из 38 поставщиков выполнили заказ, содержавший геномную последовательность вируса гриппа 1918 года. Я поддерживаю введение обязательного скрининга при синтезе генов: он усложнил бы отдельным людям превращение патогенов в оружие и снизил бы как биологические риски как от ИИ, так и в целом. Но пока такого механизма у нас нет. К тому же это был бы лишь один из инструментов снижения риска; это дополнение к защитным ограничениям ИИ-систем, а не их замена.
Лучшее возражение — то, которое я редко встречал: есть разрыв между теоретической полезностью моделей и фактической склонностью злоумышленников к их использованию. Большинство злоумышленников-одиночек — психически неуравновешенные люди, поэтому их поведение почти по определению непредсказуемо и иррационально. И именно эти неквалифицированные злоумышленники могли бы извлечь наибольшую выгоду из того, что ИИ значительно упрощает убийство многих людей.23 Сам факт возможности определённого вида жестокого нападения ещё не означает, что кто-то решится его совершить. Возможно, биологические атаки окажутся непривлекательными, поскольку с высокой вероятностью могут заразить самого преступника, не отвечают милитаристским фантазиям, присущим многим агрессивным личностям или группам, и не позволяют избирательно поражать конкретных людей. Может быть и так, что процесс, занимающий месяцы даже под руководством ИИ, потребует терпения, которого у большинства психически неуравновешенных людей просто нет. Возможно, нам просто повезёт, и на практике мотив и способность не сложатся в нужное сочетание.
Но такая защита видится слишком ненадёжной, чтобы на неё полагаться. Мотивы неуравновешенных одиночек могут измениться по любой причине или без неё, и вообще-то уже есть примеры использования LLM в атаках (правда, не биологических). Ещё сосредоточенность на неуравновешенных одиночках оставляет без внимания идеологически мотивированных террористов, которые часто готовы тратить массу времени и сил (например, террористы, угнавшие самолёты 11 сентября). Желание убить как можно больше людей — мотив, который, вероятно, рано или поздно возникнет, и он, к сожалению, подсказывает биологию как метод. Даже если такой мотив встречается крайне редко, одного раза достаточно. А по мере развития биологии (которое всё больше стимулируется ИИ) может появиться возможность проведения более избирательных атак (например, против людей определённого происхождения), что добавляет ещё один весьма пугающий возможный мотив.
Я не думаю, что биологические атаки обязательно начнутся как только появится широкая возможность; я даже готов поспорить, что нет. Но я считаю, что на масштабах миллионов людей и нескольких лет накопится серьёзный риск крупной атаки, а её последствия будут настолько тяжёлыми (с потенциальным числом жертв в миллионы и более), что, по моему мнению, у нас нет иного выбора, кроме как принять серьёзные меры для её предотвращения.
Меры защиты
Это подводит нас к вопросу о том, как защититься от этих рисков. Здесь я вижу три шага, которые мы можем предпринять. Во-первых, ИИ-компании могут устанавливать защитные ограничения в своих моделях, чтобы предотвратить их использование для создания биологического оружия. Anthropic очень активно этим занимаются. «Конституция Claude» в основном сосредоточена на высокоуровневых принципах и ценностях, но содержит и несколько конкретных строгих запретов, и один из них касается содействия производству биологического (или химического, ядерного и радиологического) оружия. Но ко всем моделям возможны джейлбрейки, так что в качестве второй линии защиты мы (с середины 2025 года, когда наши тесты показали, что модели приближаются к порогу, за которым они могут начать нести этот риск) внедрили классификатор, который обнаруживает и блокирует ответы модели, конкретно связанные с биологическим оружием. Мы регулярно обновляем и совершенствуем эти классификаторы и в целом считаем их весьма устойчивыми даже к сложным состязательным атакам.24 Эти классификаторы заметно увеличивают затраты на обслуживание наших моделей (для некоторых из них они составляют около 5% общей стоимости работы) так что они снижают нашу маржу, но мы считаем, что их использование — правильный шаг.
К их чести, некоторые другие ИИ-компании тоже внедрили классификаторы. Но не все, к тому же нет никаких правил, обязывающих компании продолжать это делать. Меня беспокоит, что со временем может возникнуть дилемма заключённого, когда компании могут отказаться от кооперации и снизить свои затраты, убрав классификаторы. Это классическая проблема негативных экстерналий, которую невозможно решить одними лишь добровольными действиями Anthropic или любой другой отдельной компании.25 Помочь могут добровольные отраслевые стандарты и независимые оценки и проверки, вроде тех, что делают институты безопасности ИИ и сторонние оценщики.
Но в конечном счёте защита может потребовать действий правительства — это второе, что можно делать. Мои взгляды здесь такие же, как и в отношении рисков автономности: следует начать с требований прозрачности,26 которые помогут обществу оценивать и контролировать риски и коллективно защищаться от них, не подрывая экономическую деятельность чрезмерно жёсткими мерами. Затем, если и когда мы достигнем более чётких порогов риска, мы сможем разработать законы, которые будут точнее нацелены на эти риски и с меньшей вероятностью приведут к побочному ущербу. В конкретном случае биологического оружия я вообще-то считаю, что время для таких законов, возможно, уже близко: Anthropic и другие компании узнают всё больше о природе биологических рисков и о том, какие требования по защите от них разумно предъявлять к бизнесу. Полноценная защита от таких рисков может потребовать международной кооперации, даже с геополитическими противниками, но у нас есть прецеденты договоров, запрещающих разработку биологического оружия. Обычно я скептически отношусь к большинству форм международного сотрудничества в сфере ИИ, но это, пожалуй, одна из тех узких областей, где есть определённые шансы на то, что мир проявит сдержанность. Даже диктатуры не хотят массовых биотеррористических атак.
Наконец, третья контрмера — попытаться разработать средства защиты от самих биологических атак. К ним могут относиться мониторинг и отслеживание для раннего обнаружения, инвестиции в исследования и разработки по очистке воздуха (например, дезинфекция дальним ультрафиолетом C), подготовка к быстрой разработке вакцин, способной реагировать на атаку и адаптироваться к ней, более совершенные средства индивидуальной защиты (СИЗ)27 и методы лечения или вакцинации против некоторых самых вероятных биологических агентов. мРНК-вакцины, которые можно проектировать для борьбы с конкретным вирусом или его вариантом — ранний пример того, что здесь возможно. Anthropic с большим энтузиазмом готовы сотрудничать с биотехнологическими и фармацевтическими компаниями в решении этой проблемы. Но, к сожалению, я считаю, что наши ожидания от обороны должны быть умеренными. В биологии есть асимметрия атаки и защиты, поскольку биологические агенты быстро распространяются сами по себе, в то время как защита требует в ответ на угрозу очень быстро организовать выявление, вакцинацию и лечение огромного числа людей. Если реакция не будет молниеносной (а молниеносной она бывает редко) большая часть ущерба будет нанесена ещё до того, как удастся принять ответные меры. Вполне возможно, что будущие технологические прорывы смогут сместить этот баланс в сторону защиты (и мы, безусловно, должны использовать ИИ для содействия таким технологическим достижениям), но до тех пор нашей главной линией обороны будут оставаться превентивные меры.
Здесь стоит кратко упомянуть о кибератаках, поскольку, в отличие от биологических атак, кибератаки с использованием ИИ уже реально происходили, в том числе и крупные, и в целях государственного шпионажа. Мы ожидаем, что по мере быстрого совершенствования моделей эти атаки станут более мощными, пока не превратятся в основной способ проведения кибератак. Я думаю, что кибератаки с использованием ИИ станут серьёзной и беспрецедентной угрозой для целостности компьютерных систем по всему миру, и Anthropic прилагают все усилия, чтобы пресекать эти атаки, с целью в итоге надёжно предотвращать их возникновение. Причина, по которой я уделяю киберсфере меньше внимания, чем биологии — что (1) кибератаки с куда меньшей вероятностью могут привести к гибели людей, и уж точно не в таких масштабах, как биологические атаки, и (2) задача баланса атаки и защиты в киберпространстве может оказаться более решаемой, тут есть по крайней мере некоторая надежда, что защита сможет идти в ногу с ИИ-атаками (а в идеале — даже опережать их), если мы будем должным образом в неё инвестировать.
Хотя биология сейчас — самый серьёзный вектор атаки, есть много других, и не исключено, что может появиться ещё более опасный. Общий принцип в том, что без контрмер ИИ, вероятно, будет постоянно снижать барьер для разрушительной деятельности во всё более крупных масштабах, и человечеству нужен серьёзный ответ на эту угрозу.
3. Одиозный аппарат
Злоупотребление с целью захвата власти
В предыдущем разделе обсуждался риск, что отдельные лица и небольшие организации могут использовать в своих целях малую часть «страны гениев в датацентре», чтобы вызвать масштабные разрушения. Но нам стоит (вероятно, ещё сильнее) беспокоиться ещё и о злоупотреблении ИИ для приложения или захвата власти, которое, скорее всего, будет исходить от более крупных и влиятельных субъектов.28
В Машины благодати и любви я обсуждал возможность того, что авторитарные правительства могут использовать мощный ИИ для слежкой за своими гражданами или их подавления так, что такие режимы будет чрезвычайно сложно реформировать или свергнуть. Репрессивные возможности современных автократий ограничены тем, что исполнять приказы приходится людям, а у людей часто есть пределы жестокости, на которую они готовы пойти. Но автократии, опирающиеся на ИИ, не имели бы таких ограничений.
Хуже того, страны могли бы использовать своё преимущество в ИИ для захвата власти над другими странами. Если бы «страна гениев» целиком контролировалась военным аппаратом одной (человеческой) страны, а другие государства не обладали бы сравнимыми возможностями, трудно представить, как они могли бы защититься. Их переигрывали бы на каждом шагу; это была бы война людей с мышами. Если сложить эти два опасения, возникает тревожная перспектива глобальной тоталитарной диктатуры. Очевидно, предотвращение такого исхода должно стать одним из наших главных приоритетов.
Есть много путей, как ИИ мог бы способствовать установлению, укоренению или расширению автократии, но я перечислю несколько, что вызывают у меня наибольшую тревогу. Отмечу, что у некоторых из этих применений есть оправданные оборонительные варианты, и я не обязательно выступаю против них категорически. Но меня всё равно беспокоит, что структурно они играют на руку автократиям:
- Полностью автономное оружие. Рой из миллионов или миллиардов полностью автоматизированных вооружённых дронов, которыми на локальном уровне управляет мощным ИИ, а на глобальном — стратегически координирует ещё более мощный, мог бы стать непобедимой армией. Она была бы способна как разгромить любые вооружённые силы в мире, так и подавить инакомыслие внутри страны, следуя по пятам за каждым гражданином. Происходящее на российско-украинской войне предупреждает нас, что война с применением дронов — уже реальность (хотя они пока не полностью автономны и представляют собой лишь малую долю того, что станет возможным с появлением мощного ИИ). Исследования и разработки с помощью мощного ИИ могут наделить дроны одной страны колоссальным преимуществом над дронами других стран, ускорить их производство, повысить устойчивость к электронным атакам, улучшить манёвренность и так далее. Разумеется, у этого оружия есть и законные способы применения для защиты демократии: оно сыграло ключевую роль в обороне Украины и, вероятно, станет решающим фактором в защите Тайваня. Но это весьма опасное оружие: нам следует не только опасаться, что оно окажется в руках автократий, но и беспокоиться, что из-за его огромной мощи и крайне низкой подотчётности резко возрастает риск, что демократические правительства обратят его против собственного народа ради захвата власти.
- Слежка с помощью ИИ. Вероятно, достаточно мощный ИИ можно было бы использовать для взлома любой компьютерной системы в мире,29 а полученный доступ применить для чтения и понимания всей электронной переписки на планете (или даже всех очных разговоров в мире, если удастся создать или перехватить контроль над записывающими устройствами). Пугающе правдоподобной может оказаться возможность взять и собрать полный список несогласных с правительством по каким угодно вопросам, даже если это несогласие не выражено явно ни в их словах, ни в поступках. Мощный ИИ, анализирующий миллиарды разговоров миллионов людей, мог бы оценивать общественные настроения, выявлять формирующиеся очаги нелояльности и подавлять их в зародыше. Это может привести к созданию настоящего паноптикума в таких масштабах, которых мы сегодня не наблюдаем даже в случае КПК.
- Пропаганда с помощью ИИ. Современные феномены «ИИ-психоза» и «ИИ-девушек» свидетельствуют о том, что даже на нынешнем уровне интеллекта ИИ-модели способны оказывать мощное психологическое воздействие на людей. Гораздо более мощные версии этих моделей, которые были бы глубже интегрированы в повседневную жизнь людей, лучше осведомлены о ней и могли бы моделировать поведение человека и влиять на него на протяжении месяцев или лет, вероятно, были бы способны фактически «промыть мозги» многим (большинству?) людям, внушив им любую желаемую идеологию или мировоззрение. Беспринципный лидер мог бы использовать их для обеспечения лояльности и подавления инакомыслия даже в условиях столь жёсткого угнетения, что большинство обществ взбунтовалось бы. Сегодня многие всерьёз обеспокоены, например, потенциальным влиянием TikTok как направленного на детей инструмента пропаганды КПК. Я разделяю эти опасения, но персонализированный ИИ-агент, который изучает вас на протяжении многих лет и использует полученные знания, чтобы формировать все ваши убеждения, стал бы несравнимо более мощным инструментом воздействия.
- Принятие стратегических решений. Страну гениев в датацентре можно было бы использовать для консультирования государства, группы людей или отдельного человека по вопросам геополитической стратегии — можно это назвать «виртуальным Бисмарком». Она могла бы оптимизировать три вышеупомянутые стратегии захвата власти, и, вероятно, разработать много других, до которых я не додумался (но страна гениев могла бы). Благодаря мощному ИИ эффективность дипломатии, военной стратегии, исследований и разработок, экономической стратегии и многих других сфер, скорее всего, значительно возрастёт. Многие из этих навыков были бы вполне полезны для демократий, мы же хотим, чтобы они имели доступ к лучшим стратегиям защиты от автократий, но потенциал злоупотреблений в любых руках никуда не девается.
Описав, что меня беспокоит, давайте перейдём к кто. Тревогу у меня вызывают субъекты с наибольшим доступом к ИИ, изначально обладающие величайшей политической властью или уже отметившиеся угнетением. В порядке убывания серьёзности:
- КПК. По способностям ИИ Китай уступает лишь США, и у него самые большие шансы обогнать. У него сейчас автократическое правительство, поддерживающее высокотехнологичную тотальную слежку. Оно уже применяет слежку на основе ИИ (в том числе для репрессий против уйгуров) и, как считается, использует алгоритмическую пропаганду через TikTok (помимо многих других внешних каналов пропаганды). У них, безусловно, самый прямой путь к описанному выше тоталитарному кошмару с поддержкой ИИ. Это может даже стать сценарием по умолчанию как в самом Китае, так и в других автократических государствах, которым КПК экспортирует технологии наблюдения. Я часто писал об угрозе, что КПК захватит лидерство в ИИ, и об экзистенциальной необходимости это предотвратить. Вот почему. Хочу прояснить: я выделяю Китай не из-за особой враждебности к нему — просто именно в этой стране сильнее всего сочетаются мощь в сфере ИИ, автократическое правительство и тотальная слежка. Более того, именно сам китайский народ вероятнее всех пострадает от репрессий КПК с поддержкой ИИ, и у него нет права голоса в отношении действий своего правительства. Я глубоко восхищаюсь китайским народом, уважаю его и поддерживаю многих отважных диссидентов в Китае и их борьбу за свободу.
- Конкурентоспособные в сфере ИИ демократические страны. Как я писал выше, у демократических стран есть обоснованный интерес к некоторым военным и геополитическим инструментам на базе ИИ, ведь они дают наилучший шанс противостоять использованию этих инструментов автократиями. В целом я поддерживаю вооружение демократических стран инструментами, нужными для победы над автократиями в эпоху ИИ: я просто не вижу другого выхода. Но мы не можем игнорировать возможность злоупотребления этими технологиями со стороны самих демократических правительств. В демократических странах обычно есть защитные механизмы, не позволяющие обратить военный и разведывательный аппарат против собственного населения,30 но для работы ИИ-инструментов нужно очень мало людей, и есть вероятность, что это позволит обойти такие механизмы и поддерживающие их нормы. Стоит ещё отметить, что в некоторых демократиях эти защитные механизмы уже постепенно ослабевают. Таким образом, мы должны вооружать демократические страны ИИ, но делать это нужно осторожно и в определённых рамках. Они — та самая иммунная система, которая нужна нам для борьбы с автократиями, но, как и у иммунной системы, есть некоторый риск, что они обернутся против нас и сами станут угрозой.
- Недемократические страны с крупными датацентрами. За исключением Китая, большинство стран с менее демократическим устройством не входят в число ведущих игроков в ИИ в том смысле, что у них нет компаний, создающих передовые ИИ-модели. Так что, они представляют собой принципиально иной и меньший риск, чем КПК, которая остаётся главным источником беспокойства (большинство из них к тому же менее репрессивны, а у более репрессивных, вроде Северной Кореи, вообще нет значимой индустрии ИИ). Но в некоторых из этих стран есть крупные датацентры (часто построенные компаниями, работающими в демократических странах), которые могут использоваться для масштабного запуска передового ИИ (хотя это не даёт возможности самим расширять передовые рубежи). С этим связана некоторая опасность: такие правительства в принципе могут экспроприировать датацентры и использовать находящуюся там «страну гениев» в своих целях. Меня это беспокоит меньше стран вроде Китая, которые непосредственно разрабатывают ИИ, но об этом риске стоит помнить.31
- ИИ-компании. Мне несколько неловко говорить об этом в качестве генерального директора, но я считаю, что следующий уровень риска — это сами ИИ-компании. Они контролируют крупные датацентры, обучают передовые модели, обладают наибольшим опытом их применения, а в некоторых случаях ежедневно контактируют с десятками или сотнями миллионов пользователей и имеют возможность на них влиять. Главное, чего им не хватает, — это легитимности и государственной инфраструктуры, поэтому многое из того, что потребовалось бы для создания инструментов ИИ-автократии, было бы для ИИ-компании незаконным или, как минимум, выглядело бы очень подозрительно. Но кое-что из этого всё же возможно: они могли бы, например, использовать свои ИИ-продукты для «промывания мозгов» огромной базе потребителей, и общественность должна осознавать связанные с этим риски. Я считаю, что управление ИИ-компаниями заслуживает самого пристального внимания.
Есть ряд возможных аргументов против серьёзности этих угроз, и мне бы очень хотелось в них верить, ведь авторитаризм с поддержкой ИИ приводит меня в ужас. Стоит рассмотреть некоторые из этих аргументов и ответить на них.
Во-первых, кто-то может возлагать надежды на ядерное сдерживание, в частности для противодействия использованию автономного оружия с ИИ для завоевания. Если кто-то угрожает применить это оружие против вас, вы всегда можете пригрозить ответным ядерным ударом. Меня беспокоит, что я не до конца уверен, можно ли полагаться на ядерное сдерживание против целой страны гениев в датацентре: не исключено, что мощный ИИ сумеет разработать способы обнаружения и нанесения ударов по атомным подводным лодкам, проводить операции влияния на операторов инфраструктуры ядерного оружия или использовать свои кибервозможности для взлома спутников, отслеживающих ядерные запуски.32 С другой стороны, возможно, что для захвата стран достаточно ИИ-слежки и ИИ-пропаганды, и может вообще не возникнуть чёткого момента, когда станет ясно, что происходит и когда был бы уместен ядерный ответ. Может быть, всё это нереально, и ядерное сдерживание останется эффективным, но на кону слишком многое, чтобы так рисковать.33
Второе возможное возражение — что против этих инструментов автократии могут найтись контрмеры. Мы можем противостоять дронам с помощью собственных дронов, киберзащита будет совершенствоваться наравне с кибератаками, возможно, появятся способы выработать у людей иммунитет к пропаганде и т. д. Мой ответ — такая защита будет возможна только при наличии сопоставимо мощного ИИ. Без противодействующей силы в виде сопоставимо умной и многочисленной страны гениев в датацентре невозможно будет сравниться с противником по качеству или количеству дронов, а киберзащите — переиграть кибернападение. Получается, вопрос о контрмерах сводится к балансу сил мощного ИИ. Здесь меня беспокоит рекурсивное самоусиление мощного ИИ (которое я обсуждал в начале этого эссе): каждое поколение ИИ можно использовать для проектирования и обучения следующего. Это ведёт к риску перманентного преимущества — нынешний лидер по мощности ИИ сможет увеличивать свой отрыв, и его будет трудно догнать. Нам надо убедиться, что первой к этому циклу придёт не авторитарная страна.
Кроме того, даже если удастся достичь баланса сил, всё равно остаётся риск, что мир может разделиться на автократические сферы влияния, как в романе «1984». Даже если несколько соперничающих держав будут обладать мощными ИИ-моделями и ни одна из них не сумеет превзойти остальные, каждая держава всё равно сможет подавлять собственное население внутри страны, и свергнуть такую власть будет крайне сложно (ведь у населения нет мощного ИИ для самозащиты). Поэтому важно предотвратить автократию с поддержкой ИИ, даже если это не приведёт к захвату мира одной страной.
Меры защиты
Как нам защититься от этого широкого спектра автократических инструментов и потенциальных злоумышленников? Как и в предыдущих разделах, я считаю, что мы можем предпринять несколько шагов. Во-первых, мы категорически не должны продавать КПК чипы, оборудование для их производства или датацентры. Чипы и оборудование для их производства — главное узкое место на пути к мощному ИИ, и блокировка их поставок — простая, но чрезвычайно эффективная мера, возможно, самый важный шаг, который мы можем предпринять. Безумием было бы продавать КПК инструменты, с помощью которых она сможет построить тоталитарное государство с поддержкой ИИ и, возможно, нас завоевать. Для оправдания таких продаж приводится ряд сложных аргументов, например идея, что «распространение нашего технологического стека по всему миру» позволит «Америке победить» в некоей общей, неопределённой экономической битве. На мой взгляд, это всё равно что продавать ядерное оружие Северной Корее, а потом хвастаться, что корпуса ракет произведены Boeing, так что США «побеждают». Китай на несколько лет позади США в массовом производстве передовых чипов, и критический период для создания страны гениев в датацентре, вероятнее всего, придётся именно на эти ближайшие несколько лет.34 Нет никаких причин в этот критический период давать мощный импульс их ИИ-индустрии.
Во-вторых, имеет смысл использовать ИИ для того, чтобы расширить возможности демократий по противостоянию автократиям. Именно поэтому Anthropic считают важным предоставлять ИИ разведывательным и оборонным ведомствам США и их демократических союзников. Защита демократий, которые уже подвергаются нападению, например, Украины и (в форме кибератак) Тайваня, представляется особо высокоприоритетной задачей, равно как и предоставление демократиям возможностей использовать свои разведывательные службы для подрыва и ослабления автократий изнутри. В конечном счёте единственный способ ответить на автократические угрозы — сравняться с ними и превзойти их в военном отношении. Коалиция США и их демократических союзников, добившись превосходства в мощном ИИ, оказалась бы в состоянии не только защитить себя от автократий, но и сдерживать их и ограничить их тоталитарные злоупотребления ИИ.
В-третьих, нам надо провести жёсткую границу в отношении злоупотреблений ИИ внутри демократий. Должны быть ограничения того, что мы позволяем нашим правительствам делать с ИИ, чтобы они не захватывали власть и не подавляли собственный народ. Формулировка, к которой я пришёл: мы должны применять ИИ для национальной обороны любыми способами, за исключением тех, которые сделают нас более похожими на наших авторитарных противников.
Где провести эту границу? В списке в начале этого раздела два пункта — использование ИИ для массовой слежки внутри страны и массовой пропаганды — кажутся мне отчётливыми, абсолютно нелегитимными красными линиями. Некоторые могут возразить, что ничего делать не нужно (по крайней мере, в США), ведь массовое наблюдение внутри страны и так незаконно согласно Четвёртой поправке. Но стремительный прогресс ИИ может привести к ситуациям, к которым наши существующие правовые рамки не приспособлены. Например, правительство США, вероятно, не нарушило бы Конституцию, если бы начало массово записывать все публичные разговоры (например, то, что люди говорят друг другу на улице). И если раньше было бы трудно осмыслить столько информации, то с помощью ИИ весь этот объём можно транскрибировать, интерпретировать и сопоставить, чтобы получить картину настроений и лояльности многих или большинства граждан. Я бы поддержал законы (или даже поправку к Конституции), ориентированные на защиту гражданских свобод, которые ввели бы более строгие защитные ограничения против злоупотреблений ИИ.
Что касается двух других пунктов (полностью автономного оружия и ИИ для принятия стратегических решений), здесь провести границу сложнее, ведь у них есть легитимное применение для защиты демократии, но они же могут стать инструментом злоупотреблений. На мой взгляд, здесь нужна крайняя осторожность и тщательный контроль в сочетании с защитными мерами, предотвращающими злоупотребления. Моё главное опасение — что «рук на кнопке» окажется слишком мало, так что один человек или небольшая группа людей смогут управлять армией дронов, не нуждаясь в участии других людей для выполнения своих приказов. По мере того как ИИ-системы становятся всё мощнее, нам могут понадобиться более прямые и оперативные механизмы контроля, чтобы точно избежать злоупотреблений, возможно, с привлечением других ветвей власти помимо исполнительной. Я считаю, что именно к полностью автономному оружию надо подходить с особой осмотрительностью,35 и не спешить с его применением без надлежащих мер предосторожности.
В-четвёртых, проведя жёсткую границу в отношении злоупотреблений ИИ в демократиях, нам надо использовать этот прецедент для установления международного табу на самые вопиющие злоупотребления мощным ИИ. Я осознаю, что нынешние политические ветры дуют не в сторону международного сотрудничества и международных норм, но тут мы остро в них нуждаемся. Мир должен осознать мрачный потенциал мощного ИИ в руках автократов и признать, что определённые способы использования ИИ равносильны попытке навсегда лишить людей свободы и навязать им тоталитарное государство, из которого невозможно вырваться. Я бы даже заявил, что в некоторых случаях крупномасштабная слежка или массовая пропаганда с помощью мощного ИИ и определённые виды наступательного применения полностью автономного оружия должны считаться преступлениями против человечности. В более широком смысле нам очень нужна устойчивая норма против тоталитаризма с поддержкой ИИ и всех его средств и инструментов.
Можно выдвинуть ещё более жёсткую версию этой позиции: поскольку перспективы тоталитаризма с поддержкой ИИ настолько мрачны, автократия просто перестаёт быть той формой правления, которую люди смогут принять в эпоху после появления мощного ИИ. Подобно тому, как феодализм стал нежизнеспособным с наступлением промышленной революции, эпоха ИИ может неизбежно и логично привести к выводу, что демократия (и, будем надеяться, демократия, усовершенствованная и обновлённая с помощью ИИ, как я обсуждаю в Машины благодати и любви) — это единственная жизнеспособная форма правления, если человечество хочет обеспечить себе благополучное будущее.
И наконец, в-пятых, за ИИ-компаниями надо внимательно следить, как и за их связями с правительством, без которых не обойтись, но они должны иметь чёткие границы и пределы. Мощный ИИ открывает настолько масштабные возможности, что обычное корпоративное управление, чья функция — защищать акционеров и предотвращать типичные злоупотребления вроде мошенничества, вряд ли справится сИИ-компаниями. Ещё может быть полезно, чтобы компании публично обязывались (возможно, даже в рамках корпоративного управления) не предпринимать определённых действий вроде частного создания или накопления военной техники, использования больших объёмов вычислительных ресурсов отдельными лицами без надлежащей подотчётности или использование своих ИИ-продуктов в пропагандистских целях для манипуляции общественным мнением в свою пользу.
Опасность здесь исходит с разных сторон, иногда с почти противоположных. Неизменно лишь то, что мы должны добиваться подотчётности, соблюдения норм и защитных ограничений для всех, даже когда наделяем «хороших» игроков возможностью сдерживать «плохих».
4. Механическое пианино
Экономические потрясения
Предыдущие три раздела были посвящены, по сути, рискам безопасности мощного ИИ: от самого ИИ, от злоупотреблений отдельными людьми и небольшими организациями и от злоупотреблений государствами и крупными организациями. Если отложить риски безопасности в сторону или предположить, что они уже устранены, следующий вопрос — об экономике. Какое влияние на неё окажет этот приток невероятного «человеческого» капитала? Очевидно, самым заметным эффектом станет значительное ускорение экономического роста. Прогресс научных исследований, биомедицинских инноваций, производства, цепочек поставок, эффективности финансовой системы и многого другого почти наверняка поднимет темпы роста намного выше нынешних. В Машины благодати и любви я предполагаю, что возможен устойчивый годовой рост ВВП на 10–20%.
Но надо понимать, что это палка о двух концах: каковы таком мире экономические перспективы для большинства ныне живущих людей? Новые технологии часто вызывают потрясения на рынке труда, и в прошлом человечество всегда от них оправлялось, но меня беспокоит, что лишь потому, что прежние потрясения затрагивали малую часть всего спектра человеческих способностей, оставляя людям массу новых задач для освоения. Влияние ИИ окажется гораздо шире и проявится намного быстрее, поэтому я опасаюсь, что добиться благоприятного исхода будет куда сложнее.
Потрясения на рынке труда
Меня беспокоят две конкретные проблемы: вытеснение на рынке труда и концентрация экономической власти. Начнём с первой. Это тема, о которой я очень открыто предупреждал в 2025 году, предсказывая, что ИИ может вытеснить 50% рабочих мест начального уровня для «белых воротничков» в ближайшие 1–5 лет, даже ускоряя при этом экономический рост и научный прогресс. Это предупреждение вызвало общественную дискуссию. Со мной согласились многие генеральные директора, технологи и экономисты, но другие решили, что я стал жертвой заблуждения о «фиксированном объёме труда» и не понимаю, как работают рынки труда, а некоторые не обратили внимания на временной диапазон в 1–5 лет и сочли, будто я утверждаю, что ИИ вытесняет рабочие места прямо сейчас (я согласен, что это, скорее всего, не так). Чтобы прояснить эти недопонимания стоит подробно разобрать, почему я беспокоюсь о вытеснении рабочей силы.
В качестве отправной точки полезно понять, как рынки труда обычно реагируют на развитие технологий. Появившись, новая технология сначала повышает эффективность отдельных элементов конкретной человеческой работы. Например, на заре промышленной революции машины вроде усовершенствованных плугов позволили фермерам эффективнее выполнять некоторые аспекты их работы. Это повысило их производительность, а вслед за ней и доходы.
На следующем этапе некоторые части фермерского труда стали целиком выполняться машинами, например, благодаря изобретению молотилки или сеялки. На этой фазе доля труда, выполняемого людьми, становилась всё меньше, но та работа, которую они всё же делали, приносила всё большую отдачу, поскольку дополняла работу машин, и производительность людей всё росла. Как описывает парадокс Джевонса, доходы фермеров и, возможно, даже их число продолжали увеличиваться. Даже когда 90% работы выполняют машины, люди могут просто делать в 10 раз больше тех 10%, которые всё ещё остаются за ними, производя в 10 раз больше продукции при том же объёме труда.
В итоге машины берут на себя всё или почти всё, как это происходит с современными комбайнами, тракторами и другим оборудованием. На этом этапе фермерство как форма занятости людей действительно переживает резкий спад, что в краткосрочной перспективе может вызвать серьёзные потрясения. Но поскольку фермерство — лишь один из многих доступных человеку полезных видов деятельности, люди со временем переходят на другую работу, например, к управлению заводским оборудованием. Так получилось несмотря на то, что изначально на фермерство приходилась огромная доля занятости. 250 лет назад 90% американцев жили на фермах; в Европе 50–60% занятости обеспечивало сельское хозяйство. Сейчас в этих регионах это считанные проценты, ведь работники перешли в промышленность (а позже — к интеллектуальному труду). Теперь экономике на то, что раньше требовало подавляющей части рабочей силы, хватает лишь 1–2 её процентов, а остальные высвободились для построения всё более развитого индустриального общества. Нет никакого «фиксированного объёма труда», есть лишь постоянно растущая способность делать всё больше и больше, затрачивая всё меньше и меньше. Доходы людей растут вместе с экспоненциальным ростом ВВП, а экономика, как только проходят краткосрочные потрясения, восстанавливает полную занятость.
Возможно, с ИИ всё пойдёт примерно так же, но я бы с большой уверенностью поставил против этого. Вот несколько причин, почему, на мой взгляд, ситуация с ИИ будет иной:
- Скорость. Темпы прогресса ИИ гораздо выше, чем при предыдущих технологических революциях. Например, за последние 2 года ИИ-модели прошли путь от способности едва написать одну строку кода до написания всего или почти всего кода за некоторых людей — в том числе за инженеров Anthropic.36 Вскоре они, возможно, смогут выполнять всю работу инженера-программиста от начала и до конца.37 Людям трудно адаптироваться к таким темпам перемен: и к изменениям самой работы, и к необходимости искать новую профессию. Даже легендарные программисты всё чаще называют себя «отставшими». Темпы, если уж на то пошло, могут и ускоряться дальше, ведь ИИ-модели для программирования всё больше ускоряют процесс разработки самого ИИ. Для ясности: это само по себе не означает, что рынки труда и занятость в итоге не восстановятся; лишь что краткосрочный переходный период будет по сравнению с прошлыми технологиями необычайно болезненным, поскольку людям и рынкам труда нужно время, чтобы отреагировать и прийти в равновесие.
- Когнитивная широта. Как следует из фразы «страна гениев в датацентре», ИИ сможет овладеть очень широким спектром когнитивных способностей человека, возможно, даже всеми. Это в корне отличает его от прежних технологий вроде механизированного сельского хозяйства, транспорта или даже компьютеров.38 Из-за этого людям будет не так просто переключиться с упразднённых рабочих мест на смежные должности, которые могли бы им подойти. Например, базовые интеллектуальные способности, нужные для младших должностей начального уровня в финансах, консалтинге и юриспруденции, довольно схожи, даже если специфика знаний сильно различается. Технология, которая бы кардинально изменила только одну из этих сфер, дала бы сотрудникам перейти в две другие (а студентам — сменить специальность). Но когда потрясение затрагивает все три сферы разом (вместе со многими похожими профессиями), адаптироваться намного сложнее. Более того, дело не только в том, что большинство существующих профессий претерпит радикальные изменения. Такое уже случалось, вспомните, когда-то в сельском хозяйстве была занята огромная доля населения. Но фермеры смогли перейти на относительно схожую работу по управлению заводскими станками, хотя раньше такой труд не был массовым. ИИ же всё больше соответствует общему когнитивному профилю человека, а значит, он будет хорошо справляться и с новыми видами работ, которые в обычной ситуации возникали бы в ответ на автоматизацию старых. Иными словами, ИИ — это замена не просто конкретных профессий, а человеческого труда вообще.
- Разделение по когнитивным способностям. Мы видим, как ИИ продвигается от нижней ступени лестницы способностей к её вершине в решении широкого спектра задач. Например, в программировании наши модели перешли от уровня «посредственного программиста» до «сильного программиста» и, наконец, «очень сильного программиста».39 Сейчас мы видим начало того же процесса и в сфере офисной работы в целом. И так мы рискуем оказаться в ситуации, когда ИИ, вместо того чтобы затрагивать людей со специфическими навыками или из конкретных профессий (которые могут адаптироваться через переобучение), бьёт по людям с определёнными неотъемлемыми когнитивными характеристиками, а именно с более низкими интеллектуальными способностями (которые изменить гораздо труднее). Неясно, куда пойдут эти люди и чем они будут заниматься, и я опасаюсь, что они могут сформировать безработный или очень низкооплачиваемый «низший класс». Сразу оговорюсь: нечто подобное уже происходило. Например, некоторые экономисты считают, что компьютеры и интернет спровоцировали «технологические изменения, смещённые в пользу квалифицированного труда». Но этот перекос был не таким сильным, как тот, что я ожидаю от ИИ. Кроме того, считается, что он способствовал росту неравенства в оплате труда,40 так что прецедент не самый обнадёживающий.
- Способность заполнять пробелы. Обычно человеческий труд адаптируется к новым технологиям благодаря тому, что любая работа состоит из многих аспектов, а у новых технологий, даже если кажется, что они заменяют людей напрямую, часто есть пробелы. Если кто-то изобретёт машину для производства фигнюшек, людям, возможно, всё равно придётся загружать в неё сырьё. Даже если это требует всего 1% от усилий, нужных для изготовления фигнюшек вручную, работники смогут просто производить в 100 раз больше фигнюшек. Но технология ИИ быстро не только развивается, но и адаптируется. При выпуске каждой новой модели ИИ-компании тщательно анализируют, с чем она справляется хорошо, а с чем — нет, и после запуска клиенты тоже предоставляют такую информацию. Слабые стороны можно устранить, собрав задачи, отражающие нынешние пробелы, и обучив на них следующую модель. На ранних этапах развития генеративного ИИ пользователи замечали у ИИ-систем определённые слабости (например, ИИ-модели для создания изображений генерировали руки с неправильным количеством пальцев), и многие полагали, что эти недостатки присущи самой технологии. Будь это так, перестройка рынка труда была бы ограниченной. Но практически каждая подобная слабость быстро устраняется — часто всего за несколько месяцев.
Стоит рассмотреть типичные аргументы скептиков. Во-первых, есть мнение, что распространение технологии в экономике будет идти медленно, поэтому, даже если базовая технология способна выполнять бо́льшую часть человеческой работы, её фактическое внедрение может быть куда медленнее (например, в отраслях, далёких от ИИ и не склонных к быстрому внедрению инноваций). Медленное распространение технологий — несомненная реальность: я общаюсь с представителями самых разных компаний и знаю, что есть сферы, где внедрение ИИ займёт годы. Именно поэтому мой прогноз о трансформации 50% рабочих мест «белых воротничков» начального уровня — от 1 до 5 лет, хотя я подозреваю, что мощный ИИ (которого с технической точки зрения хватило бы для большинства или всех видов работ, а не только начального уровня) появится куда раньше, чем через 5 лет. Но эффекты распространения лишь дают нам отсрочку. И я не уверен, что этот процесс будет таким медленным, как предсказывают. Темпы внедрения ИИ на предприятиях растут куда быстрее, чем в случае с любой предыдущей технологии, в основном — просто в силу его мощи. Кроме того, даже если традиционные компании будут медлить с освоением новых технологий, появятся стартапы, которые выступят «связующим звеном» и облегчат процесс внедрения. Если же это не сработает, стартапы могут напрямую вытеснить устоявшихся игроков.
Может получиться мир, в котором пострадают не столько конкретные рабочие места, сколько крупные предприятия в целом, вытесненные требующими гораздо меньше рабочих рук стартапами. Это может привести ещё и к миру «географического неравенства», где всё большая доля мирового богатства будет сосредоточена в Кремниевой долине, которая станет самостоятельной экономикой, действующей на иной скорости, оставляя позади весь остальной мир. Все эти сценарии отлично сказались бы на экономическом росте, но не принесли бы ничего хорошего рынку труда или тем, кто останется за бортом.
Во-вторых, иногда утверждают, что человеческий труд переместится в физический мир, уйдёт от целой категории «когнитивного труда», где ИИ столь стремительно развивается. Я не уверен, насколько это надёжное убежище. Значительная часть физического труда уже выполняется машинами (например, на производстве) или вскоре будет ими выполняться (например, вождение). А ещё достаточно мощный ИИ сможет ускорить разработку роботов, а затем управлять ими в физическом мире. Возможно, это даст нам какую-то отсрочку (что само по себе хорошо), но я опасаюсь, что не такую уж большую. И даже если потрясения затронут только когнитивные задачи, перестройка всё равно окажется беспрецедентно масштабной и стремительной.
В-третьих, возможно, некоторые задачи по своей сути требуют человеческого участия или значительно выигрывают от него. Насчёт этого я не так уверен, но по-прежнему скептически отношусь к тому, что этого хватит для компенсации основной части описанных мной последствий. ИИ уже широко используется в сфере обслуживания. Многие люди сообщают, что о личных проблемах с ИИ говорить легче, чем с психотерапевтом, ведь ИИ терпеливее. Когда моя сестра во время беременности столкнулась с медицинскими проблемами, ей казалось, что она не получает нужных ответов и поддержки от своих врачей, и она обнаружила, что у Claude более тактичный подход к пациентам (и он лучше справляется с диагностикой проблемы). Я уверен, что есть некоторые задачи, ult человеческое участие действительно важно, но не знаю, сколько их? а ведь здесь речь идёт о том, чтобы найти работу практически для каждого.
В-четвёртых, некоторые могут возразить, что сравнительное преимущество по-прежнему будет защищать людей. Согласно закону сравнительного преимущества, даже если ИИ превосходит людей во всём, любые относительные различия между наборами навыков человека и ИИ создают основу для торговли и специализации между людьми и ИИ. Проблема в том, что если ИИ буквально в тысячи раз производительнее людей, эта логика начинает рушиться. Даже крошечные издержки транзакций могут сделать торговлю с людьми невыгодной для ИИ. А зарплаты людей могут оказаться очень низкими, даже если технически им есть что предложить.
Возможно, со всеми этими факторами удастся справиться, и рынок труда окажется достаточно устойчивым, чтобы адаптироваться и к такому огромному потрясению. Но даже если он в итоге сможет адаптироваться, перечисленные факторы указывают, что краткосрочный шок будет по своим масштабам беспрецедентным.
Меры защиты
Что мы можем сделать для решения этой проблемы? У меня есть несколько предложений. Некоторые из них Anthropic уже воплощают в жизнь. Для начала, надо в реальном времени получать точные данные о вытеснении людей с рабочих мест. Когда экономические изменения происходят очень быстро, получить надёжные данные трудно, а без них сложно разрабатывать эффективную политику. Например, сейчас в государственной статистике не хватает детализированных и часто обновляемых данных о внедрении ИИ в компаниях и индустриях. За последний год Anthropic составили и открыто опубликовали Экономический индекс, который почти в реальном времени показывает использование наших моделей с разбивкой по индустриям, задачам, местоположению и даже по тому, была ли задача автоматизирована или выполнялась совместно с человеком. У нас есть ещё и Экономический консультативный совет, который помогает нам интерпретировать эти данные и понимать, чего ожидать в будущем.
Во-вторых, у ИИ-компаний есть выбор, как именно работать с предприятиями. Сама неэффективность традиционных компаний означает, что внедрение ИИ может сильно зависеть от выбранного курса, и есть где искать лучший путь. У предприятий часто есть выбор между «сокращением затрат» (делать то же самое меньшими силами) и «инновациями» (делать больше теми же силами). Рынок в итоге неизбежно породит и то, и другое, и любая конкурентоспособная ИИ-компания должна будет удовлетворять оба запроса, но, возможно, у нас иногда есть вариант направлять бизнес в сторону инноваций, что даст нам немного времени. В Anthropic активно над этим размышляют.
В-третьих, компании должны думать о том, как заботиться о своих сотрудниках. В краткосрочной перспективе творческий подход к перераспределению людей внутри компаний может оказаться многообещающим способом избежать увольнений. В долгосрочной перспективе, в мире с огромным совокупным богатством, где стоимость многих компаний значительно возрастает за счёт повышения продуктивности и концентрации капитала, может оказаться возможным продолжать платить сотрудникам-людям ещё долго после того, как они перестанут приносить экономическую ценность в традиционном понимании. Сейчас мы в Anthropic рассматриваем некоторые варианты для собственных сотрудников, и расскажем о них ближайшем будущем.
В-четвёртых, состоятельные люди обязаны помочь в решении этой проблемы. Мне грустно от того, что многие богатые люди (особенно в индустрии технологий) в последнее время стали придерживаться циничного и нигилистического взгляда, считая благотворительность неизбежно мошеннической или бесполезной. И частные инициативы вроде Фонда Гейтсов, и государственные программы вроде PEPFAR спасли десятки миллионов жизней в развивающихся странах и способствовали созданию экономических возможностей в развитых. Все соучредители Anthropic обязались пожертвовать на благотворительность 80% своего состояния, а отдельные сотрудники пообещали пожертвовать акции компании, стоимость которых сейчас исчисляется миллиардами, и компания взяла на себя обязательство эти пожертвования удвоить.
В-пятых, хотя все перечисленные частные инициативы могут быть полезны, в конечном счёте столь масштабная макроэкономическая проблема потребует вмешательства государства. Естественный политический ответ на сочетание огромного экономического «пирога» с высоким уровнем неравенства (вызванным нехваткой рабочих мест или низкой оплатой труда для многих) — прогрессивное налогообложение. Оно может касаться всех или быть нацелено конкретно на ИИ-компании. Очевидно, что разработка налоговой системы — дело сложное, и здесь многое может пойти не так. Я не сторонник плохо продуманной налоговой политики. Я из базовых моральных соображений считаю, что предсказанные здесь экстремальные уровни неравенства оправдывают более жёсткую налоговую политику, но я могу привести и прагматичный аргумент для мировых миллиардеров: в их интересах поддержать удачную версию такой политики, поскольку, если они этого не сделают, они неизбежно получат продиктованную толпой неудачную.
В конечном счёте я рассматриваю все перечисленные вмешательства как способы выиграть время. Рано или поздно ИИ сможет делать всё, и нам придётся с этим разбираться. Я надеюсь, что к тому времени мы сможем использовать сам ИИ, чтобы перестроить рынки для работы на благо каждого, а упомянутые меры помогут нам пройти переходный период.
Экономическая концентрация власти
Отдельно от проблемы потери рабочих мест или экономического неравенства как такового стоит проблема экономической концентрации власти. В разделе 1 обсуждался риск, что ИИ лишит власти человечество, а в разделе 3 — риск, что правительства лишат власти своих же граждан с помощью силы или принуждения. Но возможен и другой вид лишения власти: если богатство сконцентрируется настолько, что небольшая группа людей благодаря своему влиянию будет фактически контролировать государственную политику, а обычные граждане потеряют влияние из-за отсутствия экономических рычагов. Демократия в конечном счёте опирается на идею, что население нужно для функционирования экономики. Если этот экономический рычаг исчезнет, то неявный общественный договор, лежащий в основе демократии, может перестать действовать. Другие авторы уже писали об этом, так что не буду вдаваться в подробности, но я разделяю беспокойство и опасаюсь, что это уже начинает происходить.
Для ясности: я не против того, чтобы люди зарабатывали большие деньги. Есть весомый аргумент, что в нормальных условиях это стимулирует экономический рост. Я разделяю опасения, что инновации могут затормозиться, если «убить курицу, несущую золотые яйца». Но в ситуации, когда ВВП растёт на 10–20% в год, ИИ стремительно захватывает экономику, а отдельные люди владеют заметными долями ВВП, инновации — не то, о чём стоит беспокоиться. Беспокоиться нужно о таком уровне концентрации богатства, который разрушит общество.
Самый известный пример крайней концентрации богатства в истории США — «Позолоченный век», а самым богатым промышленником этой эпохи был Джон Д. Рокфеллер. Состояние Рокфеллера составляло ~2 % ВВП США того времени.41 Аналогичная доля сегодня дала бы состояние в 600 млрд долларов, а у самого богатого человека в мире (Илона Маска) оно уже больше и оценивается примерно в 700 млрд долларов. Так что мы уже достигли исторически беспрецедентного уровня концентрации богатства, и это ещё до основного экономического влияния ИИ. Я не думаю, что будет чересчур (если мы получим «страну гениев») представить себе, что годовая выручка ИИ-компаний, производителей полупроводников и, возможно, разработчиков конечных приложений будет около 3 трлн долларов42, а оцениваться они будут примерно в 30 трлн долларов. Это привело бы к появлению многотриллионных личных состояний. В таком мире дебаты о налоговой политике, которые мы ведём сегодня, будут неактуальны, ведь мы окажемся в принципиально иной ситуации.
В связи с этим меня уже сейчас беспокоит сращивание этой экономической концентрации богатства с политической системой. Датацентры для ИИ уже обеспечивают значительную долю экономического роста США,43 тем самым тесно переплетая финансовые интересы крупных технологических компаний (всё больше ориентирующихся либо на ИИ, либо на инфраструктуру для него) с политическими интересами правительства — и это может порождать нехорошие стимулы. Мы уже видим это в нежелании технологических компаний критиковать правительство США и в правительственной поддержке крайне антирегуляторного курса в отношении ИИ.
Меры защиты
Что можно с этим сделать? Во-первых, очевиднее всего, компании должны просто отказаться участвовать в этом. Anthropic всегда стремились помогать в формировании курса, оставаясь аполитичными, и отстаивать свои подлинные взгляды независимо от того, какая администрация у власти. Мы высказывались в поддержку отвечающих общественным интересам разумного регулирования ИИ и экспортного контроля, даже если они противоречат государственной политике.44 Многие люди говорили мне, что нам надо прекратить это делать, что это может привести к неблагоприятному отношению к нам, но за год, что мы этим занимаемся, оценочная стоимость Anthropic выросла более чем в 6 раз — почти беспрецедентный скачок на наших масштабах.
Во-вторых, индустрии ИИ нужны более здоровые отношения с правительством, через содержательное участие в формировании курса, а не на политическую лояльность. Наш выбор заниматься сутью, а не политической игрой иногда принимают за тактическую ошибку или неспособность «понять обстановку», а не как принципиальное решение. Такая интерпретация меня беспокоит. В здоровой демократии компании должны иметь возможность выступать за хороший курс ради него самого. Тут важна и назревающая волна общественного недовольства ИИ. Она может стать корректирующим фактором, но пока лишена чёткого фокуса. Большая часть недовольства связана с тем, что на самом деле не проблема (например, с потреблением воды датацентрами), и предлагает решения (вроде моратория на строительство датацентров или непродуманных налогов на богатство), которые не устранят реальных проблем. Главное, что действительно заслуживает внимания, — чтобы развитие ИИ оставалось подотчётным общественным интересам и не попадало под контроль никакого политического или коммерческого альянса, и именно на этом важно сосредоточить общественную дискуссию.
В-третьих, макроэкономические вмешательства, которые я тут описал, а также возрождение частной благотворительности могут помочь восстановить экономическое равновесие, в то же время решая проблемы как вытеснения рабочих мест, так и концентрации экономической власти. Здесь можно обратиться к истории нашей страны: даже в «Позолоченный век» промышленники вроде Рокфеллера и Карнеги ощущали сильную ответственность перед обществом в целом, понимая, что оно внесло огромный вклад в их успех и что им надо вернуть ему долг. Сегодня этот дух, похоже, всё больше утрачивается, а я считаю, что именно он во многом и есть ключ к выходу из этой экономической дилеммы. Те, кто находится на переднем крае экономического бума ИИ, должны быть готовы отдать как своё богатство, так и свою власть.
5. Чёрные моря бесконечности
Косвенные эффекты
Этот последний раздел посвящён неизвестным неизвестным, в частности тому, что может пойти не так как косвенное следствие позитивных достижений ИИ и вызванного ими ускорения развития науки и технологий в целом. Предположим, мы справимся со всеми описанными до сих пор рисками и начнём пожинать плоды ИИ. Вероятно, нас ждёт «век научного и экономического прогресса, сжатый в одно десятилетие», и это будет чрезвычайно позитивным явлением для всего мира, но затем нам придётся столкнуться с проблемами, вызванными таким стремительным темпом прогресса, и они могут обрушиться на нас очень быстро. Мы можем столкнуться и с другими рисками, которые возникнут косвенно, как следствие развития ИИ, и которые трудно предвидеть заранее.
В силу самой природы неизвестных неизвестных нельзя составить их исчерпывающий список, но я приведу три возможных повода для беспокойства как наглядные примеры, за чем стоит послеживать:
- Быстрый прогресс биологии. Если мы действительно получим столетие медицинского прогресса за несколько лет, вполне возможно, что мы сильно увеличим продолжительность жизни человека, и есть шанс обрести радикальные возможности вроде повышения человеческого интеллекта или кардинальных изменений нашей биологии. Это будет мощное расширение границ возможного, и очень быстрое. При ответственном подходе оно могут оказаться позитивным (на что я и надеюсь, как описано в Машины благодати и любви), но всегда есть риск, что всё пойдёт не так — например, если попытки сделать людей умнее одновременно сделают их более нестабильными или жаждущими власти. Есть и проблема «загрузки сознания» или «полной эмуляции мозга» — программно реализованных цифровых человеческих разумов, которые однажды, могут помочь нам выйти за пределы своих физических ограничений, но при этом несут в себе риски, вызывающие у меня тревогу.
- ИИ меняет жизнь человека нездоровым образом. Мир с миллиардами интеллектуальных сущностей, которые во всём намного умнее людей, станет очень странным местом для жизни. С ИИ многое может пойти не так даже без активного стремления атаковать людей (раздел 1) и без использования государствами для угнетения или контроля (раздел 3) — из-за обычных коммерческих стимулов и номинально добровольных сделок. Первые признаки этого мы видим в тревогах по поводу ИИ-психоза, ИИ, подталкивающего людей к самоубийству, и романтических отношений с ИИ. Например, может ли мощный ИИ придумать какую-то новую религию и обратить в неё миллионы людей? Может ли большинство людей в итоге оказаться в той или иной мере «зависимыми» от взаимодействия с ИИ? Могут ли люди в итоге стать «марионетками» ИИ-систем, когда ИИ, по сути, следит за каждым их шагом и непрестанно указывает, что именно делать и говорить, приводя к «хорошей», но лишённой свободы и гордости за свои достижения жизни? Не составило бы труда придумать десятки подобных сценариев, если бы я сел и провёл мозговой штурм с создателями «Чёрного зеркала». Думаю, это указывает на важность вещей вроде совершенствования Конституции Claude сверх того, что нужно для предотвращения проблем из раздела 1. Крайне важно убедиться, что ИИ-модели действительно заботятся о долгосрочных интересах своих пользователей — так, как это одобрили бы вдумчивые люди, а не каким-то едва уловимо искажённым образом.
- Предназначение человека. Это связано с предыдущим пунктом, но речь идёт не столько о конкретных взаимодействиях людей с ИИ-системами, сколько о том, как в целом изменится жизнь человека в мире с мощным ИИ. Смогут ли люди в нём найти цель и смысл? Я думаю, это вопрос внутренней установки; как я уже говорил в Машины благодати и любви, я считаю, что смысл жизни человека не зависит от того, чтобы быть в чём-либо лучшим в мире, и люди могут обретать смысл даже на протяжении очень длительного времени благодаря историям и проектам, которые им по душе. Нам просто нужно разорвать связь между созданием экономической ценности, чувством собственного достоинства и смыслом жизни. Но это переход, который обществу надо совершить, и всегда есть риск, что мы не справимся с ним как следует.
Что касается всех этих потенциальных проблем, я надеюсь, что в мире с мощным ИИ, где мы уверены, что он нас не убьёт, не служит инструментом деспотичного государства и действительно работает в наших интересах, мы сможем использовать сам ИИ для их прогнозирования и предотвращения. Но гарантии нет — как и в случае со всеми другими рисками, тут нужно быть осторожными.
Испытание для человечества
Это эссе может создать впечатление, что мы в пугающей ситуации. Мне, безусловно, было тяжело его писать, не то что Машины благодати и любви, работа над которым была словно попыткой придать форму и структуру невероятно прекрасной музыке, годами звучавшей эхом в моей голове. И в этой ситуации действительно много трудностей. ИИ несёт человечеству угрозы с самых разных сторон, и между защитными мерами есть реальное напряжение: если мы не будем действовать крайне осторожно, то, смягчая одни из опасностей, мы рискуем усугубить другие.
Необходимость уделять время тщательной разработке ИИ-систем, чтобы они не представляли автономной угрозы для человечества, вступает в прямое противоречие с потребностью демократических стран опережать авторитарные государства и не оказаться у них в подчинении. Но, в свою очередь, те же самые ИИ-инструменты, нужные для борьбы с автократиями, могут, если зайти слишком далеко, быть обращены против собственного населения и привести к тирании в наших же странах. Терроризм с использованием ИИ может унести жизни миллионов людей из-за злоупотребления биологией, но чрезмерная реакция на этот риск может привести нас к авторитарному государству тотальной слежки. Последствия ИИ для рынка труда и концентрации экономической власти, будучи серьёзными проблемами сами по себе, могут заставить нас встречать остальные угрозы в атмосфере общественного гнева и, возможно, даже гражданских беспорядков, а не опираясь на лучшие стороны нашей природы. И прежде всего, само количество рисков, включая неизвестные, и необходимость справляться со всеми ими одновременно складываются в устрашающую полосу испытаний, которую человечеству предстоит пройти.
Кроме того, последние несколько лет должны были ясно показать, что идея остановить или даже существенно замедлить развитие этой технологии в корне несостоятельна. Формула создания мощных ИИ-систем невероятно проста — настолько, что, можно сказать, они возникают почти спонтанно из правильного сочетания данных и сырых вычислительных мощностей. Их создание, вероятно, стало неизбежным в тот момент, когда человечество изобрело транзистор, или, возможно, даже раньше — когда мы впервые научились управлять огнём. Если одна компания не займётся этим, другие сделают это почти так же быстро. Если бы все компании в демократических странах остановили или замедлили разработку по взаимному соглашению или указке регуляторов, то авторитарные страны просто продолжили бы работу. Учитывая невероятную экономическую и военную ценность этой технологии и отсутствие какого-либо действенного механизма принуждения, я не представляю, как мы вообще могли бы убедить их остановиться.
Я всё же вижу путь к небольшому сдерживанию развития ИИ, совместимый с реалистичным взглядом на геополитику. Этот путь предполагает на несколько лет замедлить продвижение автократий к мощному ИИ, лишив их нужных для его создания ресурсов45 — чипов и оборудования для производства полупроводников. Это, в свою очередь, даст демократическим странам запас времени, который они смогут потратить на более тщательную разработку мощного ИИ, уделяя больше внимания его рискам, двигаясь при этом достаточно быстро, чтобы уверенно опередить автократии. Гонку между ИИ-компаниями внутри демократических стран тогда можно будет ввести в рамки общей правовой базы, сочетая стандарты индустрии и нормативное регулирование.
Anthropic очень активно выступали за этот путь, добиваясь введения экспортного контроля над чипами и разумной регуляции ИИ, но даже эти, казалось бы, здравые предложения в основном были отвергнуты политиками США (страны, где они важнее всего). На ИИ можно заработать столько денег, буквально триллионы долларов в год, что даже самым простым мерам трудно преодолеть политэкономию, присущую этой сфере. В этом и заключается ловушка: ИИ настолько могущественен, это настолько заманчивый приз, что человеческой цивилизации очень трудно наложить на него хоть какие-то ограничения.
Как и Саган в Contact, я могу представить, что та же самая история разворачивается в тысячах миров. Биологический вид обретает разум, учится пользоваться орудиями, вступает на путь экспоненциального технологического роста, проходит через кризисы индустриализации и ядерного оружия и, если переживает их, встречает самое трудное, последнее испытание — когда учится превращать песок в мыслящие машины. Выдержим ли мы это испытание и построим прекрасное общество, описанное в Машины благодати и любви, или же поддадимся рабству и разрушению — всё будет зависеть от нашего характера и решимости как вида, от нашего духа и нашей души.
Несмотря на все препятствия, я верю, что у человечества есть внутренняя сила, чтобы пройти это испытание. Меня воодушевляют и вдохновляют тысячи исследователей, которые посвятили свою карьеру тому, чтобы помочь нам понять ИИ-модели и управлять ими и сформировать характер и конституцию этих моделей. Мне кажется, сейчас есть хороший шанс, что эти усилия принесут плоды достаточно быстро и успеют сыграть роль. Меня обнадёживает, что по крайней мере некоторые компании заявили, что готовы понести значительные коммерческие затраты, чтобы не позволить своим моделям способствовать угрозе биотерроризма. Меня обнадёживает, что несколько смелых людей пошли наперекор господствующим политическим ветрам и приняли законодательные акты, которые закладывают первые семена разумных защитных ограничений для ИИ-систем. Меня обнадёживает, что общественность понимает — ИИ несёт в себе риски, и хочет, чтобы эти риски устранялись. Меня обнадёживает неукротимый дух свободы во всём мире и решимость противостоять тирании, где бы она ни возникала.
Но если мы хотим добиться успеха, нам потребуется активизировать свои усилия. Первый шаг в том, чтобы те, кто ближе всего к технологии, просто говорили правду о ситуации, в которой оказалось человечество, — что я всегда старался делать; в этом эссе я делаю это ещё прямее и настойчивее. Следующим шагом станет убеждение мировых мыслителей, политиков, компаний и граждан в неотложности и первостепенной важности проблемы — что она стоит того, чтобы тратить на неё интеллектуальный и политический капитал на фоне тысяч других проблем, ежедневно доминирующих в новостях. Затем настанет время для мужества, когда достаточному числу людей придётся пойти наперекор господствующим тенденциям и проявить принципиальность, даже перед лицом угроз их экономическим интересам и личной безопасности.
Грядущие годы будут невероятно тяжёлыми и потребуют от нас большего, чем, как нам кажется, мы способны дать. Но за свою жизнь исследователя, руководителя и гражданина я видел достаточно мужества и благородства, чтобы поверить в нашу победу, в то, что, оказавшись в самых мрачных обстоятельствах, человечество способно, казалось бы, в последнюю минуту собрать силы и мудрость, нужные для того, чтобы выстоять. Нам нельзя терять время.
Я хотел бы поблагодарить Эрика Бриньольфссона, Бена Бьюкенена, Мариано-Флорентино Куэльяра, Аллана Дафо, Кевина Эсвельта, Ника Бекстеда, Ричарда Фонтейна, Джима Макклейва и очень многих сотрудников Anthropic за их полезные комментарии к черновикам этого эссе.
Например, см. раздел 5.5.2 (с. 63–66) системной карточки Claude 4.