Машины благодати и любви

Как ИИ может изменить мир к лучшему

автор: Dario Amodei
БлагополучиеВсемирное здравоохранение и развитиеИскусственный интеллектИсследования прогрессаСуперинтеллектТрансформативный искусственный интеллектЭкономический рост
 

Я много думаю и говорю о рисках мощного ИИ. Компания Anthropic, которую я возглавляю, много исследует, как эти риски снизить. Из-за этого люди иногда делают вывод, что я пессимист или «думер», считающий, что ИИ принесёт в основном вред или опасность. Я вовсе так не думаю. На самом деле я столько внимания уделяю рискам во многом именно потому, что только они стоят между нами и, по моему мнению, фундаментально позитивным будущим. Я думаю, что большинство людей недооценивают, насколько радикальными могут быть плюсы ИИ, точно так же, как я думаю, что большинство людей недооценивают, насколько плохими могут быть риски.

В этом эссе я пытаюсь набросать, как могут выглядеть эти плюсы, как мог бы выглядеть мир с мощным ИИ, если всё пойдёт как надо. Конечно, никто не может знать будущее хоть сколько-нибудь наверняка или точно, а последствия появления мощного ИИ, вероятно, будут ещё менее предсказуемыми, чем прошлые технологические изменения, так что всё это неизбежно будет состоять из догадок. Но я стремлюсь к тому, чтобы они были хотя бы обоснованными и полезными, чтобы они передавали суть того, что произойдёт, пусть большинство деталей в итоге и окажутся неверными. Я привожу много деталей в основном потому, что считаю: конкретное видение продвигает дискуссию куда лучше крайне осторожного и абстрактного.

Однако сначала я хотел бы кратко объяснить, почему Anthropic и я не так особо говорили о плюсах мощного ИИ и почему мы, вероятно, в целом продолжим много говорить о рисках. Я сделал этот выбор, стремясь, в частности:

  • Максимизировать рычаг воздействия. Само развитие технологий ИИ и многие (но не все) их преимущества кажутся неизбежными (если только риски всё не сорвут) и в основе своей движимы могучими рыночными силами. Риски же, напротив, не предопределены, и наши действия могут сильно изменить их вероятность.
  • Избежать впечатления пропаганды. Когда ИИ-компании рассказывают обо всех удивительных преимуществах ИИ, есть риск, что это может выглядеть пропагандой или попыткой отвлечь внимание от минусов. Ещё я считаю, что тратить слишком много времени на «продвижение своей позиции» в принципе вредно для души.
  • Избежать грандиозности. Меня часто отталкивает то, как многие занимающиеся риском ИИ общественные деятели (не говоря уж о руководителях ИИ-компаний) говорят о мире после появления СИИ, будто их миссия — в одиночку воплотить его в жизнь подобно пророку, ведущему свой народ к спасению. Я считаю опасным видеть в компаниях силу, единолично формирующую мир, и не менее опасным — описывать практические технологические цели по сути религиозным языком.
  • Избежать «научно-фантастического» багажа. Хотя я считаю, что большинство людей недооценивают преимущества мощного ИИ, небольшое сообщество тех, кто действительно обсуждает радикальные сценарии будущего ИИ, часто делает это в чрезмерно «научно-фантастическом» тоне (например, с загрузкой сознания, исследованием космоса или общей киберпанковской атмосферой). Мне кажется, из-за этого люди относятся к таким утверждениям менее серьёзно и видят в них что-то ненастоящее. Для ясности: вопрос не в том, возможны ли такие технологии и насколько они вероятны (в основном эссе это обсуждается в мельчайших деталях), а скорее в том, что эта «атмосфера» протаскивает в текст целый ворох культурных коннотаций и невысказанных предположений о том, какое будущее желательно, как будут развиваться различные социальные проблемы, и т. д. В результате текст часто читается как фантазия для узкой субкультуры и отталкивает большинство читателей.

И всё же, несмотря на все перечисленные опасения, я действительно считаю важным обсудить, как мог бы выглядеть хороший мир с мощным ИИ, стараясь при этом изо всех сил избежать упомянутых ловушек. На самом деле я считаю крайне важным иметь по-настоящему вдохновляющее видение будущего, а не просто план по тушению пожаров. Многие последствия появления мощного ИИ антагонистичны или опасны, но должно в итоге быть что-то, за что мы боремся, некий результат с положительной суммой, при котором всем станет лучше, нечто, что сплотит людей, поможет им подняться над дрязгами и встретить предстоящие вызовы. Страх — это один из видов мотивации, но его недостаточно: нам нужна и надежда.

Список позитивных применений мощного ИИ чрезвычайно велик (и включает робототехнику, производство, энергетику и многое другое), но я сосредоточусь на небольшом числе областей с, как мне кажется, величайшим потенциалом напрямую улучшить качество человеческой жизни. Пять категорий, что меня больше всего вдохновляют:

  1. Биология и физическое здоровье
  2. Нейробиология и психическое здоровье
  3. Экономическое развитие и бедность
  4. Мир и управление
  5. Труд и смысл

Мои прогнозы будут радикальными по меркам большинства (за исключением научно-фантастических представлений о «сингулярности»⁠⁠1), но я делаю их абсолютно искренне и со всей серьёзностью. Всё, что я говорю, может оказаться совершенно неверным (как я уже предупреждал), но я, по крайней мере, попытался обосновать свои взгляды полуаналитической оценкой, как может ускориться прогресс в различных областях и что это может означать на практике. Мне повезло иметь профессиональный опыт как в биологии, так и в нейробиологии, а в экономическом развитии я осведомлённый любитель, но уверен, что много где ошибусь. Работая над этим эссе, я понял, что было бы полезно собрать группу специалистов по соответствующим областям (биологии, экономике, международных отношениях и других), чтобы они написали гораздо более качественную и компетентную версию того, что я здесь изложил. Вероятно, лучше всего считать написанное тут стартовым промптом для такой группы.

Основные допущения и подход

Чтобы сделать эссе более точным и обоснованным, полезно чётко определить, что мы понимаем под мощным ИИ (то есть порог, с которого запускается таймер на 5–10 лет), и наметить концептуальную основу, которая поможет осмыслить, что такой ИИ, появившись, изменит.

Как будет выглядеть мощный ИИ (не люблю термин «СИИ»)⁠⁠2 и когда (если вообще) он появится — сама по себе огромная тема. Я уже обсуждал её публично и мог бы написать целое отдельное эссе (вероятно, когда-нибудь так и сделаю). Очевидно, многие скептически относятся к тому, что мощный ИИ будет создан уже скоро, а некоторые вообще сомневаются, что это когда-либо произойдёт. Я считаю, что он может появиться уже в 2026 году, хотя есть сценарии, при которых на это уйдёт гораздо больше времени. Но в этом эссе я хотел бы оставить эти вопросы в стороне, предположить, что это случится довольно скоро, и сфокусироваться на том, что будет происходить в следующие 5–10 лет после. Ещё я хочу сделать допущения о том, как такая система будет выглядеть, о её способностях и том, как она взаимодействует с миром, хотя по этому поводу могут быть разногласия.

Под мощным ИИ я подразумеваю ИИ-модель (вероятно, похожую по форме на современные LLM, хотя она может быть основана на другой архитектуре, включать в себя несколько взаимодействующих моделей или обучаться не так), обладающую следующими свойствами:

  • С точки зрения чистого интеллекта⁠⁠3 она умнее лауреата Нобелевской премии в большинстве значимых областей: биологии, программировании, математике, инженерии, писательском деле и т. д. Это означает, что она может доказывать новые математические теоремы, писать исключительно хорошие романы, с нуля создавать сложные кодовые базы и т. д.
  • Она не просто «умная вещь, с которой можно поговорить»: в её распоряжении все «интерфейсы», доступные удалённо работающему человеку: текст, аудио, видео, управление мышью и клавиатурой, доступ в интернет. Она способна на любые действия, коммуникации или удалённые операции, которые такие интерфейсы допускают: действовать в интернете, получать указания от людей и давать указания людям, заказывать материалы, руководить экспериментами, смотреть и снимать видео и так далее. И всё это она, опять же, делает на уровне, превосходящем возможности самых способных людей в мире.
  • Она не лишь пассивно отвечает на вопросы: ей можно поручать задачи, на выполнение которых уходят часы, дни или недели, после чего она берётся за дело и автономно доводит его до конца, как поступил бы толковый сотрудник, при необходимости обращаясь за разъяснениями.
  • У неё нет физического воплощения (кроме как на экране компьютера), но через компьютер она может управлять существующими физическими инструментами, роботами или лабораторным оборудованием; теоретически она могла бы даже проектировать для себя роботов или оборудование, чтобы использовать их.
  • Ресурсы, использованные для обучения модели, можно перенаправить на запуск миллионов её экземпляров (это соответствует прогнозируемому размеру кластеров примерно к 2027 году), и модель может усваивать информацию и генерировать действия примерно в 10–100 раз быстрее человека⁠⁠4. Однако её может ограничивать время отклика физического мира или ПО, с которым она работает.
  • Каждая из миллионов этих копий может действовать независимо, выполняя несвязанные задачи, или, при необходимости, все они могут работать вместе так же, как сотрудничают люди. Возможно, при этом отдельные подгруппы будут дообучены особенно хорошо решать конкретные задачи.

Всё это можно кратко описать «страна гениев в дата-центре».

Очевидно, такая система была бы способна решать очень сложные задачи очень быстро, но определить, насколько, непросто. Две «крайние» точки зрения кажутся мне ложными. Во-первых, можно было бы подумать, что мир преобразится мгновенно — за секунды или дни («Сингулярность»), ведь превосходящий интеллект будет наращивать сам себя и почти мгновенно решать все возможные научные, инженерные и непосредственные задачи. Проблема в том, что существуют реальные физические и практические ограничения, например, связанные с созданием аппаратного обеспечения или проведением биологических экспериментов. С этими ограничениями столкнулась бы даже новая страна гениев. Интеллект может быть очень могущественным, но он не волшебная пыльца фей.

Во-вторых, и наоборот, можно считать, что технологический прогресс достиг насыщения или сдерживается данными из реального мира или социальными факторами, и что от интеллекта, превосходящего человеческий, пользы будет очень мало⁠⁠5. Мне это кажется столь же неправдоподобным. Я могу назвать сотни научных или даже социальных проблем, где большая группа по-настоящему умных людей кардинально ускорила бы прогресс, особенно если эти люди не ограничены одним лишь анализом и могут влиять на реальный мир (наша гипотетическая страна гениев может, в том числе руководя командами людей или помогая им).

Я думаю, что истина, скорее всего, кроется в некой запутанной смеси этих двух крайних картин, в чём-то, что меняется от задачи к задаче, от области к области, очень тонко и зависимо от деталей. Я считаю, что для продуктивного осмысления этих деталей нам нужен новый концептуальный подход.

Экономисты часто говорят о «факторах производства» — труде, земле, капитале. Выражение «предельная отдача от труда/земли/капитала» отражает идею, что в конкретной ситуации тот или иной фактор может быть или не быть ограничивающим. Например, военно-воздушным силам нужны и самолёты, и пилоты, но найм дополнительных пилотов мало поможет, если самолёты закончились. Я считаю, что в эпоху ИИ нам следует говорить о предельной отдаче от интеллекта⁠⁠6 и пытаться выяснить, какие ещё факторы дополняют интеллект и становятся ограничивающими, когда его уровень очень высок. Мы не привыкли так мыслить, спрашивать «насколько и как быстро в этой задаче полезно быть умнее?», но это кажется правильным способом осмыслить мир с очень мощным ИИ.

Вот мой примерный список факторов, которые ограничивают интеллект или дополняют его:

  • Скорость внешнего мира. Разумным агентам, чтобы достигать целей и учиться, надо интерактивно действовать в мире⁠⁠7. Но у мира своя скорость. Клетки и животные живут в своём темпе, поэтому эксперименты на них требуют времени, которое, возможно, не сократить. То же справедливо для аппаратного обеспечения, материаловедения, всего, что связано с общением с людьми, и даже нашей существующей программной инфраструктуры. Кроме того, в науке многие эксперименты часто нужно проводить последовательно, и каждый опирается на предыдущий или использует его результаты. Всё это означает, что скорость, с которой может быть завершён крупный проект (например, разработка лекарства от рака), может иметь несократимый минимум, ниже которого её не опустить даже при продолжающемся росте интеллекта.
  • Потребность в данных. Иногда не хватает исходных данных, и в их отсутствие более высокий интеллект не помогает. Современные специалисты по физике элементарных частиц очень изобретательны и разработали много теорий, но им не хватает данных, чтобы между ними выбрать, потому что данные с ускорителей частиц очень ограничены. Неочевидно, что, обладая суперинтеллектом, они справились бы радикально лучше, разве что, возможно, быстрее построили бы ускоритель побольше.
  • Внутренняя сложность. Некоторые явления по своей природе непредсказуемы или хаотичны, и даже самый мощный ИИ не сможет предсказывать их поведение или разбираться в них существенно лучше современных людей или компьютеров. Например, даже невероятно мощный ИИ в общем случае смог бы заглянуть в будущее хаотической системы (вроде задачи трёх тел) лишь ненамного дальше⁠⁠8.
  • Ограничения со стороны людей. Многого невозможно добиться, не нарушая законов, не причиняя людям вреда и не внося хаос в общество. Согласованный ИИ не захотел бы так поступать (а если у нас будет несогласованный ИИ, то мы снова возвращаемся к разговору о рисках). Многие человеческие социальные структуры неэффективны или даже активно вредны, но их трудно изменить, соблюдая при этом ограничения вроде законных требований к клиническим испытаниям, готовности людей менять свои привычки или поведения правительств. Вот примеры достижений, которые отлично работают в техническом смысле, но чьё влияние заметно снизили регуляции или неуместные страхи: атомная энергетика, сверхзвуковые полёты и даже лифты.
  • Законы физики. Это более жёсткая версия первого пункта. Некоторые физические законы, судя по всему, нерушимы. Нельзя двигаться быстрее света. Пудинг невозможно отразмешать назад. Чипы могут вмещать лишь ограниченное количество транзисторов на квадратный сантиметр, прежде чем станут ненадёжными. Вычисления требуют определённой минимальной энергии на каждый стёртый бит, что ограничивает плотность вычислений в мире.

Есть ещё одно различие — по временным масштабам. То, что в краткосрочной перспективе служит жёстким ограничением, может оказаться более податливым для интеллекта в долгосрочной. Например, интеллект можно использовать для разработки новой экспериментальной парадигмы, позволяющей изучать in vitro то, что раньше требовало экспериментов на живых животных, или для создания аппаратуры для сбора новых данных (например, более крупного ускорителя частиц), или для того, чтобы (оставаясь в этических рамках) найти, как обойти исходящие от людей ограничения (например, помогая усовершенствовать систему клинических испытаний, помогая создавать новые юрисдикции с меньшей бюрократией в этой сфере или совершенствуя саму науку, чтобы сделать клинические испытания на людях дешевле или не такими нужными).

Так что стоит представить себе картину, где интеллект изначально сильно сдерживается другими факторами производства, но со временем сам всё чаще обходит эти факторы, даже если они никогда полностью не исчезнут (а некоторые вещи, вроде законов физики, абсолютны)⁠⁠9. Ключевой вопрос — как быстро и в каком порядке всё это происходит.

Держа такой подход в уме, я попробую на это ответить для пяти упомянутых во введении областей.

1. Биология и здоровье

Биология — это, пожалуй, область, где научный прогресс сильнее всего способен напрямую и однозначно улучшить качество человеческой жизни. В прошлом веке мы наконец победили некоторые из древнейших человеческих недугов (например, оспу), но многие другие остаются, и победа над ними стала бы огромным гуманитарным достижением. Помимо лечения болезней, биологическая наука может в целом улучшить базовое качество здоровья человека, увеличив продолжительность здоровой жизни, расширив контроль над нашими собственными биологическими процессами и свободу ими распоряжаться и решив повседневные проблемы, которые мы сейчас считаем неизменными деталями человеческого состояния.

Говоря языком «ограничивающих факторов» из предыдущего раздела, главные трудности прямого применения интеллекта к биологии — это данные, скорость физического мира и её внутренняя сложность (вообще, все три фактора взаимосвязаны). На более позднем этапе, когда речь заходит о клинических испытаниях, играют роль и ограничения со стороны людей. Рассмотрим факторы по очереди.

Эксперименты с клетками, животными и даже химическими процессами ограничены скоростью физического мира: во многих биологических протоколах нужно выращивать бактерии или другие клетки либо просто ждать, пока пройдут химические реакции, а на это иногда уходят дни или даже недели, причём очевидного способа ускорить этот процесс нет. Эксперименты на животных могут длиться месяцы (и дольше), а на людях — годы (или, если это исследования отдалённых исходов, даже десятилетия). С этим отчасти связана и вечная нехватка данных — не столько по количеству, сколько по качеству: всегда есть дефицит чётких, однозначных данных, что изолировали бы интересующий нас биологический эффект от остальных 10 000 одновременных спутывающих факторов, или которые каузально действовали бы на данный процесс, или которые измеряли бы какой-то эффект напрямую (а не косвенно или зашумлённо через выводы о его последствиях). Даже обильные количественные молекулярные данные, например протеомные, которые я собирал, работая над методами масс-спектрометрии, зашумлены и не дают полной картины (из каких типов клеток эти белки? Из какой части клетки? На какой фазе клеточного цикла?).

Частично за эти проблемы ответственна присущая биологии сложность: если вы когда-нибудь видели схему, иллюстрирующую биохимию метаболизма человека, то знаете, что вычленить эффект отдельной части этой запутанной системы очень трудно, а точно или предсказуемо воздействовать на неё — ещё труднее. И, наконец, кроме времени, нужного для проведения эксперимента на людях, реальные клинические испытания сопряжены с большим объёмом бюрократии и нормативных требований, которые (по мнению многих, включая меня) приводят к ненужным задержкам и замедляют прогресс.

Учитывая всё это, многие биологи уже давно скептически настроены по поводу ценности ИИ и «больших данных» вообще в биологии. За последние 30 лет математики, специалисты по информатике и физики, применявшие свои навыки в биологии, добились немалого успеха, но не оказали того поистине трансформационного влияния, на которое изначально надеялись. Частично этот скептицизм был развеян крупными революционными прорывами вроде AlphaFold (который только что заслуженно принёс его создателям Нобелевскую премию по химии) и AlphaProteo⁠⁠10, но мнение, что ИИ полезен (и будет таковым оставаться) лишь в ограниченном круге ситуаций, никуда не делось. Распространённая формулировка: «ИИ может лучше анализировать ваши данные, но неспособен ни добыть новые, ни улучшить их качество. Мусор на входе — мусор на выходе».

Но я считаю, что такая пессимистичная точка зрения отражает неправильное понимание ИИ. Если наша основная гипотеза о прогрессе ИИ верна, то правильно рассматривать ИИ не как метод анализа данных, а как виртуального биолога, который делает всё то же, что биологи: придумывает и ставит эксперименты в реальном мире (управляя лабораторными роботами или просто указывая людям, какие эксперименты проводить, — как научный руководитель указывал бы своим аспирантам), изобретает новые биологические методы или техники измерения и так далее. Именно за счёт ускорения всего исследовательского процесса ИИ может по-настоящему ускорить развитие биологии. Повторюсь, ведь это самое распространённое заблуждение, возникающее, когда я говорю о способности ИИ преобразовать биологию: я не говорю об ИИ как о простом инструменте анализа данных. В соответствии с определением мощного ИИ из начала эссе, я говорю о том, чтобы с помощью ИИ выполнять, направлять и улучшать практически всё, что делают биологи.

Если говорить конкретнее о том, откуда, по моему мнению, может произойти это ускорение, то удивительно большая доля прогресса биологии была достигнута благодаря крохотному числу открытий, часто связанных с универсальными методами или инструментами измерения⁠⁠11, которые позволяют точное и одновременно универсальное или программируемое вмешательство в биологические системы. В год случается, наверное, ~1 такое крупное открытие, и можно считать, что вместе они обеспечивают >50% прогресса биологии. Эти открытия настолько важны именно потому, что преодолевают внутреннюю сложность и ограничения данных, непосредственно углубляя наше понимание биологических процессов и расширяя возможности их контроля. Всего несколько открытий за десятилетие обеспечили основную часть наших фундаментальных научных знаний о биологии и легли в основу многих самых действенных методов лечения.

Вот некоторые примеры:

  • CRISPR: метод, позволяющий редактировать любой ген прямо в живых организмах (замена произвольной последовательности нуклеотидов на любую другую). С момента разработки метода в него вносились постоянные усовершенствования, чтобы нацеливать его на определённые типы клеток, повышать точность и реже редактировать не то — всё это нужно для безопасного применения у людей.
  • Разные виды микроскопии для более подробного наблюдения за происходящим: современные световые микроскопы (со всякими методами флуоресцентной визуализации, специальной оптикой и т. д.), электронные микроскопы, атомно-силовые микроскопы и т. д.
  • Секвенирование и синтез генома, затраты на которые за последние пару десятилетий снизились на несколько порядков.
  • Оптогенетические методы, позволяющие заставить нейрон возбудиться, посветив на него.
  • мРНК-вакцины, которые, в принципе, позволяют нам разработать вакцину от чего угодно, а потом быстро её адаптировать (мРНК-вакцины, конечно же, прославились во время пандемии COVID).
  • Клеточная терапия, вроде CAR-T, которая позволяет извлекать иммунные клетки из организма и «перепрограммировать» их для атаки, в принципе, чего угодно.
  • Концептуальные идеи, вроде микробной теории болезней или осознания связи рака с иммунной системой⁠⁠12.

Я не поленился перечислить все эти технологии, потому что хочу высказать о них важнейшее утверждение: я считаю, что темпы их открытия можно было бы увеличить не меньше чем в 10 раз, если бы талантливых и креативных исследователей было гораздо больше*.* Или, иначе говоря, я считаю, что отдача от интеллекта для этих открытий высока, а всё остальное в биологии и медицине в основном следует из них.

Почему я так считаю? Из-за ответов на некоторые вопросы, что нам следует взять в привычку задавать, когда мы пытаемся определить «отдачу от интеллекта». Во-первых, эти открытия, как правило, совершаются крошечным числом исследователей, и часто повторно одними и теми же, что свидетельствует о мастерстве, а не случайном поиске (обратное могло бы означать, что ограничивающий фактор — длительные эксперименты). Во-вторых, их часто «можно было совершить» на годы раньше, чем это произошло: например, CRISPR — известный с 1980-х годов естественный компонент иммунной системы бактерий, но потребовалось ещё 25 лет, чтобы люди поняли: его можно приспособить для универсального редактирования генов. Ещё их появление часто задерживается на многие годы из-за того, что научное сообщество не поддерживает перспективные направления (см. статью об изобретательнице мРНК-вакцин; подобных историй полно). В-третьих, успешные проекты часто делаются «на коленке» или вырастают из побочных идей, которые изначально никто не считал перспективными, а вовсе не из щедро финансируемых программ. Это говорит нам, что открытиями движет не только концентрация огромных ресурсов, но и изобретательность.

Наконец, хотя у некоторых из этих открытий есть «последовательная зависимость» (чтобы получить нужные инструменты или знания для открытия B, надо сначала совершить открытие A), что, опять же, может привести к задержкам в экспериментах, но многие, а возможно и большинство, независимы — а значит, работать над многими из них можно параллельно. Оба этих факта, как и мой общий опыт биолога, убедительно свидетельствуют, что есть сотни подобных открытий, которые ждут своего часа. И они были бы совершены, будь учёные умнее и умей они лучше находить связи в огромном массиве биологических знаний, которые есть у человечества (опять же, вспомните CRISPR). Успех AlphaFold/AlphaProteo, решающих важные задачи гораздо эффективнее людей, несмотря на десятилетия тщательного физического моделирования, демонстрирует этот принцип (хотя и на узкоспециализированном инструменте в узкой области), указывающий нам путь вперёд.

Так что я предполагаю, что мощный ИИ мог бы как минимум в 10 раз ускорить темп этих открытий, обеспечив нам биологический прогресс следующих 50–100 лет всего за 5–10 лет.⁠⁠13 Почему не в 100 раз? Не исключено и это, но тут уже начинают играть роль и последовательная зависимость, и время на эксперименты: чтобы уместить в 1 год 100 лет прогресса, надо очень многое делать правильно с первого раза, включая эксперименты на животных и проектирование микроскопов или дорогостоящего лабораторного оборудования. На самом деле я допускаю (возможно, абсурдно звучащую) мысль, что мы могли бы получить 1000 лет прогресса за 5–10 лет, но крайне скептически отношусь к тому, что мы сможем получить 100 лет за 1 год. Иначе говоря, я считаю, что есть неизбежная постоянная задержка: у экспериментов и проектирования оборудования есть некая «пропускная способность», и чтобы узнать то, что невозможно вывести логически, их придётся повторять некоторое «несократимое» число раз. Но не исключено, что поверх этого возможен масштабный параллелизм⁠⁠14.

А как насчёт клинических испытаний? Хотя с ними связано много бюрократии и задержек, правда в том, что немалая часть (хотя не вся!) этой медлительности по сути вызвана необходимостью строго оценивать лекарства, которые еле (если вообще) работают. К сожалению, это верно для большинства современных методов лечения: средний препарат от рака увеличивает выживаемость на несколько месяцев, вызывая при этом значительные побочные эффекты, которые надо аккуратно измерить (аналогичная ситуация наблюдается и с препаратами от болезни Альцгеймера). Это приводит к масштабным исследованиям (для получения статистической значимости) и сложным компромиссам, с которыми регулирующие органы обычно не очень хорошо справляются, опять же, из-за бюрократии и сложности конкурирующих интересов.

Когда что-то работает действительно хорошо, всё идёт намного быстрее: есть ускоренная процедура одобрения, и чем больше размер эффекта, тем проще. мРНК-вакцины от COVID были одобрены за 9 месяцев — куда быстрее обычного. И всё же даже в этих условиях клинические испытания слишком медленны — мРНК-вакцины, возможно, должны были быть одобрены за примерно 2 месяца. Но задержки такого рода (в итоге ~1 год для препарата) в сочетании с массовой параллелизацией и потребностью в некотором, но не чрезмерном количестве итераций («несколько попыток») вполне совместимы с радикальной трансформацией в течение 5–10 лет. Ещё более оптимистичный сценарий допускает, что биологическая наука с поддержкой ИИ снизит потребность в итерациях во время клинических испытаний за счёт разработки лучших экспериментальных моделей на животных и клетках (или даже симуляций), которые будут точнее предсказывать, что произойдёт в организме человека. Это будет особенно важно при разработке лекарств против старения — процесса, который длится десятилетиями, так что для него нам нужен более быстрый цикл итераций.

Наконец, что касается клинических испытаний и социальных барьеров, стоит прямо указать, что в некоторых отношениях у биомедицинских инноваций, в отличие от некоторых других технологий⁠⁠15, необычайно успешная история развёртывания. Как упоминалось во введении, многие технологии сталкиваются с социальными препятствиями, несмотря на то что технически они работают хорошо. Это может наводить на пессимистичные мысли о том, чего способен достичь ИИ. Но биомедицина уникальна тем, что, хотя разрабатывать лекарства ужасно тяжело, уже созданные препараты, как правило, развёртываются и применяются успешно.

Подводя итог, мой основной прогноз: биология и медицина с поддержкой ИИ позволят нам сжать прогресс, которого люди-биологи достигли бы за следующие 50–100 лет, до 5–10 лет. Я буду называть это «сжатым XXI веком»: идея в том, что после разработки мощного ИИ мы за несколько лет добьёмся в биологии и медицине всего того прогресса, которого достигли бы за весь XXI век.

Хотя предсказать, на что будет способен мощный ИИ через несколько лет, по-прежнему сложно, и такие прогнозы носят спекулятивный характер, в вопросе «чего люди могли бы достичь без посторонней помощи за ближайшие 100 лет?» есть определённая конкретика. Взгляд на то, чего мы достигли в XX веке, экстраполяция тенденций первых двух десятилетий XXI века или вопрос о том, что нам дали бы «10 CRISPR и 50 CAR-T», — всё это практичные и обоснованные способы прикинуть, какого уровня прогресса можно ждать от мощного ИИ.

Ниже я попробую перечислить, чего мы можем ожидать. Этот список не опирается ни на какую строгую методологию и почти наверняка в деталях окажется ошибочным, но он призван передать общий уровень радикальности предстоящих изменений:

  • Надёжное предотвращение и лечение практически всех⁠⁠16 естественных инфекционных заболеваний. Учитывая огромные успехи в борьбе с инфекционными заболеваниями в XX веке, нет ничего радикального в предположении, что в сжатом XXI веке мы сможем более-менее «довести дело до конца». мРНК-вакцины и схожие технологии уже указывают путь к «вакцинам от всего». Будут ли инфекционные заболевания полностью искоренены во всём мире (а не только в отдельных местах), зависит от вопросов бедности и неравенства, которые обсуждаются в разделе 3.
  • Избавление от большинства видов рака. Уровень смертности от рака последние несколько десятилетий снижается примерно на 2 % в год; так что при сохранении сегодняшних темпов развития науки мы на пути к искоренению большинства видов рака в XXI веке. Некоторые подтипы уже в значительной степени излечимы (например, некоторые виды лейкоза с помощью терапии CAR-T), и меня, пожалуй, ещё больше вдохновляют высокоселективные препараты, которые атакуют рак в зачаточном состоянии и предотвращают его дальнейший рост. Ещё ИИ сделает схемы лечения очень точно адаптированными под индивидуальный геном раковой опухоли. Это уже возможно, но требует огромных затрат времени и экспертизы, а ИИ должен помочь это масштабировать. Возможно снижение и смертности, и заболеваемости на 95% и больше. Впрочем, рак чрезвычайно разнообразен и легко приспосабливается, так что полностью победить его, вероятно, труднее всего из всех этих болезней. Не удивлюсь, если какие-то редкие и трудноизлечимые злокачественные опухоли всё же останутся.
  • Очень эффективная профилактика и эффективное лечение генетических заболеваний. Значительно усовершенствованный скрининг эмбрионов, вероятно, позволит предотвращать большинство генетических заболеваний, а какой-нибудь потомок CRISPR, побезопаснее и понадёжнее, сможет вылечить большинство из них у уже живущих людей. Впрочем, поражения всего организма, затрагивающие значительную часть клеток, могут сдаться последними.
  • Профилактика болезни Альцгеймера. Нам было очень трудно выяснить, что вызывает болезнь Альцгеймера (она каким-то образом связана с бета-амилоидным белком, но конкретные детали, похоже, очень сложны). Это выглядит именно как та проблема, которую можно решить с помощью более совершенных инструментов измерения, изолирующих биологические эффекты; поэтому я с оптимизмом смотрю на способность ИИ её решить. Весьма вероятно, что в итоге, как только мы как следует поймём, что происходит, её можно будет предотвращать с помощью относительно простых вмешательств. Впрочем, ущерб от уже развившейся болезни Альцгеймера, возможно, будет очень трудно обратить вспять.
  • Улучшение лечения большинства других заболеваний. Это общая категория для прочих заболеваний, включая диабет, ожирение, болезни сердца, аутоиммунные заболевания и многие другие. Большинство из них, судя по всему, «легче решаются», чем рак и болезнь Альцгеймера, и во многих случаях они уже стремительно идут на спад. Например, смертность от болезней сердца уже снизилась более чем на 50 %, а простые вмешательства вроде агонистов рецепторов ГПП-1 уже позволили добиться огромного прогресса в борьбе с ожирением и диабетом.
  • Биологическая свобода. Последние 70 лет ознаменовались прогрессом контрацепции, управления фертильностью, контроля веса и многого другого. Но я подозреваю, что ускоренная ИИ биология значительно расширит границы возможного: вес, внешний вид, репродуктивные функции и другие биологические процессы будут полностью подвластны человеку. Обозначим всё это термином биологическая свобода: идея, что каждый должен иметь возможность выбирать, кем он хочет стать, и жить так, как ему по душе. Конечно, возникнут важные вопросы о глобальном равенстве доступа; см. раздел 3.
  • Удвоение продолжительности жизни человека⁠⁠17. Это может показаться радикальным, но в XX веке ожидаемая продолжительность жизни увеличилась почти в 2 раза (с 40 лет до 75), так что ещё одно удвоение до 150 лет за «сжатый XXI век» вполне «на графике». Очевидно, что вмешательства, нужные для замедления фактического процесса старения, будут отличаться от тех, которые требовались в прошлом веке для предотвращения (в первую очередь детской) преждевременной смертности от болезней, но такое изменение не беспрецедентно по масштабу⁠⁠18. Если конкретнее, уже есть препараты, которые увеличивают максимальную продолжительность жизни крыс на 25–50 % с ограниченными побочными эффектами. А некоторые животные (скажем, отдельные виды черепах) и так живут 200 лет, так что люди явно не достигли некоего теоретического верхнего предела. Пожалуй, самое важное здесь — надёжные биомаркеры старения человека, не поддающиеся закону Гудхарта, ведь это позволит быстро повторять эксперименты и проводить клинические испытания. Не исключено, что как только продолжительность жизни человека дойдёт до 150 лет, мы выйдем на «скорость убегания» — выиграем достаточно времени, чтобы большинство живущих сегодня смогли прожить столько, сколько захотят. Впрочем, конечно, нет никакой гарантии, что это биологически возможно.

Стоит взглянуть на этот список и поразмыслить, насколько изменится мир, если всё это будет достигнуто через 7–12 лет (что соответствовало бы амбициозным срокам развития ИИ). Само собой разумеется, что это стало бы невообразимым гуманитарным триумфом — одномоментным устранением большинства бедствий, преследовавших человечество на протяжении тысячелетий. Многие из моих друзей и коллег воспитывают детей. Я надеюсь, что когда эти дети вырастут, любое упоминание о болезнях будет звучать для них так же, как для нас цинга, оспа или бубонная чума. Это поколение ещё и выиграет от расширения биологической свободы и самовыражения, а если повезёт, ещё и сможет жить столько, сколько захочет.

Трудно переоценить, насколько неожиданными эти изменения будут для всех, кроме маленького сообщества людей, ожидавших появления мощного ИИ. Например, тысячи экономистов и экспертов по вопросам политики в США сейчас спорят о том, как сохранить платёжеспособность системы социального обеспечения и программ Medicare, и, в более широком смысле, как сдержать рост затрат на здравоохранение (которое в основном потребляют люди старше 70 лет, особенно страдающие неизлечимыми заболеваниями, такими как рак). Если всё это сбудется, ситуация с этими программами, вероятно, радикально улучшится⁠⁠19, ведь соотношение работающего населения и пенсионеров резко изменится. Несомненно, на смену этим вызовам придут другие, например, вопрос, как обеспечить широкий доступ к новым технологиям. Но стоит задуматься о том, как сильно изменится мир, даже если ИИ успешно ускорит только биологию.

2. Нейробиология и разум

В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом, не затронув нейробиологию и психическое здоровье. Но нейробиология — раздел биологии, а психическое здоровье не менее важно, чем физическое. Более того, психическое здоровье влияет на благополучие человека даже более непосредственно, чем физическое. У сотен миллионов людей очень низкое качество жизни из-за таких проблем, как зависимость, депрессия, шизофрения, низкофункциональный аутизм, ПТСР, психопатия⁠⁠20 или интеллектуальные нарушения. Ещё миллиарды людей борются с повседневными проблемами, которые часто можно интерпретировать как гораздо более лёгкие варианты одного из этих тяжёлых клинических расстройств. И тут, как и в случае общей биологии, возможно, удастся выйти за рамки решения проблем и улучшить базовое качество человеческого опыта.

Общая мысль, которую я изложил для биологии, в равной степени применима к нейробиологии. Эту область продвигает вперёд небольшое число открытий, часто связанных с инструментами измерения или точного вмешательства. Оптогенетика, упомянутая в списке выше, была открытием из нейробиологии, а совсем недавно были совершены прорывы того же рода: CLARITY и экспансионная микроскопия. Вдобавок многие общие методы клеточной биологии напрямую переносятся в нейробиологию. Я полагаю, что ИИ ускорит эти достижения точно так же, и поэтому идея «100 лет прогресса за 5–10 лет» здесь применима так же и по тем же причинам. Как и в биологии, прогресс в нейробиологии XX века был огромен: например, до 1950-х годов мы даже не понимали, как и почему нейроны генерируют импульсы. Так что вполне разумно ожидать, что ускоренная ИИ нейробиология приведёт к стремительному прогрессу в течение нескольких лет.

К этой общей картине следует добавить ещё одно: кое-что из того, что мы узнали за последние несколько лет (и узнаём сейчас) о самом ИИ, скорее всего, поможет продвинуть нейробиологию вперёд, даже если ею по-прежнему будут заниматься только люди. Интерпретируемость — очевидный пример. Хотя на первый взгляд биологические нейроны работают совершенно иначе, чем искусственные (они коммуницируют посредством импульсов и их частоты, поэтому у них есть временное измерение, которого у искусственных нейронов нет, да и множество деталей физиологии клеток и нейротрансмиттеров существенно изменяет их работу), всё же основной вопрос «как распределённые обученные сети простых элементов, выполняющих комбинацию линейных и нелинейных операций, работают вместе, чтобы производить важные вычисления», остаётся тем же. И я сильно подозреваю, что в большинстве интересных вопросов о вычислениях и схемах от механики взаимодействия отдельных нейронов можно будет абстрагироваться⁠⁠21. Как пример: вычислительный механизм, открытый исследователями интерпретируемости в ИИ-системах, был недавно ещё раз обнаружен в мозге мышей.

Проводить эксперименты на искусственных нейронных сетях гораздо проще, чем на биологических (последнее часто требует вмешательства в мозг животных), поэтому интерпретируемость вполне может стать инструментом, который углубит наше понимание нейробиологии. Более того, мощные ИИ, вероятно, сами смогут разрабатывать и применять этот инструмент лучше, чем люди.

Но дело не только в интерпретируемости: то, что мы узнали благодаря ИИ о том, как обучаются интеллектуальные системы, должно (хотя я не уверен, что это уже произошло) вызвать революцию в нейробиологии. Когда я работал в этой области, многие занимались вопросами об обучении, которые я сейчас считаю неверными, потому что концепции гипотезы масштабирования / горького урока ещё не было. Идея, что простая целевая функция плюс большой объём данных может приводить к невероятно сложному поведению, делает более интересным изучение целевых функций и архитектурных смещений и менее интересным — подробный разбор эмерджентных вычислений. В последние годы я не следил за этой областью внимательно, но у меня есть смутное ощущение, что вычислительные нейробиологи до сих пор не до конца усвоили этот урок. Моё отношение к гипотезе масштабирования всегда было таким: «ага, вот оно — высокоуровневое объяснение того, как работает интеллект и как он так легко эволюционировал», но я не думаю, что это совпадает со взглядами среднего нейробиолога, отчасти из-за того, что гипотеза масштабирования как «секрет интеллекта» не до конца признана даже в самом ИИ.

Я думаю, нейробиологам стоит объединить это базовое понимание с особенностями человеческого мозга (биофизическими ограничениями, эволюционной историей, топологией, деталями моторных и сенсорных входов/выходов), чтобы попытаться разгадать некоторые из ключевых загадок нейробиологии. Вероятно, кто-то уже так и делает, но я подозреваю, что этого пока недостаточно, и что ИИ-нейробиологи смогут эффективнее использовать этот подход для ускорения прогресса.

Я ожидаю, что ИИ ускорит нейробиологический прогресс по четырём различным направлениям, которые, надеюсь, вместе позволят вылечить психические заболевания и улучшить работу мозга:

  • Традиционная молекулярная биология, химия и генетика. По сути, это та же история, что и с общей биологией в разделе 1, и ИИ, вероятно, сможет ускорить её с помощью тех же механизмов. Есть много лекарств, которые модулируют нейротрансмиттеры, чтобы изменить работу мозга, повлиять на бодрость, восприятие или настроение и т. д., и ИИ может помочь нам изобрести гораздо больше таких препаратов. ИИ, вероятно, также сможет ускорить изучение генетической основы психических заболеваний.
  • Детальные нейронные измерения и вмешательства. Это способность измерять, что делают многочисленные нейроны или нейронные цепи и вмешиваться, чтобы изменить их поведение. Оптогенетика и нейронные зонды — технологии, пригодные и для измерения, и для вмешательства в живых организмах, а ряд очень продвинутых методов (вроде молекулярных телеграфных лент для считывания паттернов активности большого числа отдельных нейронов) уже предложен и кажется осуществимым в принципе.
  • Передовая вычислительная нейробиология. Как отмечалось выше, и конкретные идеи, и гештальт современного ИИ, вероятно, можно плодотворно применить к вопросам системной нейробиологии, включая, возможно, выявление истинных причин и динамики таких сложных заболеваний, как психоз или расстройства настроения.
  • Поведенческие вмешательства. Я мало об этом упоминал из-за акцента на биологической стороне нейробиологии, но психиатрия и психология, конечно, за XX век разработали широкий репертуар поведенческих вмешательств. Логично предположить, что ИИ мог бы ускорить и их — как в разработке новых методов, так и в том, чтобы помочь пациентам придерживаться уже существующих. В более широком смысле, идея «ИИ-коуча», который всегда помогает вам стать лучшей версией себя, изучает ваши взаимодействия и учит вас быть эффективнее, кажется весьма многообещающей.

Думаю, что в течение следующих 100 лет эти четыре направления прогресса, работая совместно, как и в случае с физическими заболеваниями, приведут к излечению или предотвращению большинства психических заболеваний даже без участия ИИ. И потому вполне могут уложиться в 5–10 лет ускоренного ИИ прогресса. Если конкретнее, я предполагаю примерно следующее:

  • Большинство психических заболеваний, вероятно, можно будет вылечить. Я не эксперт в области психиатрии (своё время в нейробиологии я посвятил созданию зондов для изучения небольших групп нейронов), но предполагаю, что сочетание четырёх перечисленных направлений позволит понять и очень эффективно лечить такие заболевания, как ПТСР, депрессию, шизофрению, зависимости и т. д. Ответ, скорее всего, будет в некотором сочетании «биохимического сбоя» (хотя он может быть весьма сложным) и «сбоя в работе нейронной сети на высоком уровне». То есть это вопрос системной нейробиологии, хотя это и не отрицает значимости обсуждавшихся поведенческих вмешательств. Инструменты для измерения и вмешательства, особенно работающие на живых людях, скорее всего, приведут к быстрым итерациям и прогрессу.
  • Состояния сугубо «структурного» характера могут оказаться сложнее, но и они не безнадёжны. Есть некоторые данные, что психопатия связана с явными нейроанатомическими различиями — некоторые области мозга у психопатов просто меньше по размеру или менее развиты. Ещё считается, что психопаты с раннего возраста лишены эмпатии; в чём бы ни заключалось отличие их мозга, вероятно, он всегда был таким. То же может быть верно для некоторых форм умственной отсталости и, возможно, не только. Перестроить мозг — на первый взгляд неподъёмная задача, но, похоже, как раз из тех, где отдача от интеллекта высока. Возможно, есть способ вернуть взрослый мозг в более раннее, более пластичное состояние, в котором его можно перестроить. Я совсем не уверен, насколько это осуществимо, но интуитивно склонен к оптимизму по поводу того, что ИИ сумеет здесь изобрести.
  • Эффективная генетическая профилактика психических заболеваний представляется возможной. Большинство психических заболеваний частично наследуемы, и исследования ассоциаций по всему геному начинают приносить плоды: они выявляют соответствующие факторы, часто многочисленные. Вероятно, большинство этих заболеваний можно будет предотвращать с помощью скрининга эмбрионов, аналогично тому, как это происходит с соматическими заболеваниями. Одно из отличий — психические заболевания с бо́льшей вероятностью полигенны (в их развитии участвуют многие гены). Из-за этой сложности есть повышенный риск непреднамеренно отсеять коррелирующие с заболеванием положительные черты. Однако, как ни странно, в последние годы исследования GWAS, кажется, указывают, что эти корреляции могли быть преувеличены. В любом случае, ускоренная ИИ нейробиология может помочь нам в этом разобраться. Конечно, скрининг эмбрионов на наличие сложных признаков поднимает ряд социальных вопросов и будет вызывать споры, хотя я предполагаю, что большинство людей поддержало бы скрининг на тяжёлые или инвалидизирующие психические заболевания.
  • Будут решены и повседневные проблемы, которые мы не считаем клиническими заболеваниями. У большинства из нас есть повседневные психологические проблемы, которые обычно не дотягивают до уровня клинического заболевания. Одни быстро выходят из себя, другим трудно сосредоточиться или их постоянно клонит в сон, третьи мучаются страхами и тревогой или плохо переносят перемены. Уже есть препараты, помогающие, например, с бодростью или концентрацией (кофеин, модафинил, риталин), но, как и во многих других областях, наверняка возможно куда большее. Скорее всего, есть много ещё не открытых препаратов такого рода, и могут появиться абсолютно новые модальности вмешательства, вроде направленной световой стимуляции (см. оптогенетику выше) или магнитных полей. Учитывая, сколько влияющих на когнитивные функции и эмоциональное состояние препаратов мы разработали в XX веке, я с большим оптимизмом смотрю на «сжатый XXI век», когда каждый сможет заставить свой мозг работать чуть лучше и сделать повседневную жизнь более наполненной.
  • Базовый опыт человека может быть гораздо лучше. Если пойти ещё дальше: многие люди переживали необыкновенные моменты озарения, творческого вдохновения, сострадания, удовлетворения, трансцендентности, любви, красоты или медитативного покоя. Характер и частота этих переживаний сильно различаются от человека к человеку и у одного и того же человека в разное время, а иногда их могут вызвать те или иные препараты (хотя часто и с побочными эффектами). Всё это указывает на то, что «пространство возможного опыта» очень обширно и что гораздо бо́льшая часть жизни людей могла бы состоять из этих необыкновенных моментов. Вероятно, возможно улучшить самые разные когнитивные функции. Это, пожалуй, нейробиологическая версия «биологической свободы» или «продления жизни».

Одна из тем, которая часто всплывает в научной фантастике об ИИ, но которую я намеренно здесь не обсуждал, — это «загрузка сознания»: идея программного воссоздания структуры и работы мозга человека. Эта тема могла бы стать предметом отдельного эссе, но скажу лишь, что, хотя загрузка сознания, думаю, почти наверняка возможна в принципе, на практике она сталкивается с серьёзными технологическими и социальными сложностями, даже при наличии мощного ИИ, что, вероятно, выводит её за пределы обсуждаемого нами 5–10-летнего периода.

Подводя итог: ускоренная ИИ нейробиология, вероятно, значительно улучшит методы лечения или даже излечит большинство психических заболеваний, а также заметно расширит «когнитивную и психическую свободу» и когнитивные и эмоциональные способности человека. Эти изменения будут столь же радикальными, как и описанные в предыдущем разделе улучшения физического здоровья. Возможно, снаружи мир не будет видимо отличаться, но мир, каким его переживают люди, станет гораздо лучше и человечнее и даст больше возможностей для самореализации. Ещё я подозреваю, что улучшение психического здоровья смягчит многие другие социальные проблемы, в том числе те, которые кажутся политическими или экономическими.

3. Экономическое развитие и бедность

Два предыдущих раздела посвящены разработке новых технологий, которые излечивают болезни и улучшают качество жизни человека. Однако с гуманитарной точки зрения возникает очевидный вопрос: «Будет ли у всех доступ к этим технологиям?»

Одно дело — разработать лекарство от болезни, и совсем другое — искоренить эту болезнь в мире. И вообще, многие существующие меры здравоохранения применяются ещё далеко не везде, и, если на то пошло, то же верно и в отношении технологических усовершенствований (не связанных со здравоохранением) в целом. Уровень жизни во многих частях мира по-прежнему удручающе низок: ВВП на душу населения в странах Африки к югу от Сахары составляет около 2 000 долларов, сравните с примерно 75 000 долларов в США. Если ИИ будет и дальше способствовать экономическому росту и повышению качества жизни в развитых странах, при этом практически не помогая развивающимся, то это следует считать ужасным моральным провалом, запятнывающим настоящие гуманитарные победы из двух предыдущих разделов. В идеале мощный ИИ должен помочь развивающимся странам догнать развитые, даже если он при этом революционизирует последние.

Я не так уверен в том, что ИИ сможет решить проблемы неравенства и обеспечить экономический рост, как в том, что он способен изобретать фундаментальные технологии, ведь технологии демонстрируют очевидно высокую отдачу от интеллекта (включая способность обходить сложности и недостаток данных), а вот экономика сопряжена не только с изрядной внутренней сложностью, но и со множеством человеческих ограничений. Я несколько скептически отношусь к тому, что ИИ сможет решить знаменитую «проблему социалистического расчёта»⁠⁠22, и не думаю, что правительства будут (или должны) передавать свою экономическую политику такой сущности, даже если бы она с этим справилась. Есть и иные проблемы, например, как убедить людей прибегнуть к эффективному лечению, к которому они могут относиться с подозрением.

Проблемы развивающихся стран дополнительно усложняются всепроникающей коррупцией как в частном, так и в государственном секторах. Коррупция создаёт замкнутый круг: она усугубляет бедность, а та, в свою очередь, порождает ещё больше коррупции. Планы экономического развития с поддержкой ИИ должны учитывать коррупцию, слабость институтов и другие сугубо человеческие проблемы.

И всё же я вижу веские причины для оптимизма. Болезни уже искоренялись, а многие страны уже превратились из бедных в богатые, и очевидно, что решения, необходимые для этих задач, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). А значит, ИИ, вероятно, сможет справляться с ними лучше, чем это делается сейчас. Возможно, есть и направленные вмешательства, обходящие человеческие ограничения, и ИИ мог бы на таких сосредоточиться. Но что ещё важнее — мы должны попробовать. И ИИ-компаниям, и властям развитых стран надо будет внести свой вклад, чтобы развивающиеся страны не остались в стороне; этот моральный императив слишком велик. Так что в этом разделе я продолжу высказывать оптимистичные прогнозы, но помните, что успех не гарантирован и зависит от наших коллективных усилий.

Ниже — мои предположения о том, как могут пойти дела в развивающихся странах в первые 5–10 лет после создания мощного ИИ:

  • Распространение мер здравоохранения. Область, в которой я, пожалуй, наиболее оптимистичен, — это распространение мер здравоохранения по всему миру. Некоторые болезни действительно были искоренены благодаря кампаниям, проводимым «сверху вниз»: оспа была полностью искоренена в 1970-х годах, а полиомиелит и гвинейский червь практически побеждены — фиксируется меньше 100 случаев в год. Хитрое математическое эпидемиологическое моделирование играет активную роль в кампаниях по искоренению болезней, и весьма вероятно, что ИИ-системы умнее людей смогут справляться с этим лучше нас. Логистику распределения, вероятно, тоже удастся значительно оптимизировать. Будучи одним из первых доноров GiveWell, я усвоил, что некоторые благотворительные организации в сфере здравоохранения гораздо эффективнее других; есть надежда, что помощь ИИ сделает усилия ещё результативнее. Кроме того, некоторые достижения биологии существенно упрощают логистику распределения: например, малярию трудно искоренить, поскольку она требует лечения при каждом заражении; а вакцина, которую нужно вводить лишь один раз, значительно упрощает дело (и такие вакцины от малярии уже разрабатываются). Возможны и ещё механизмы попроще: некоторые болезни в принципе можно искоренить, воздействуя на животных-переносчиков — например, выпуская комаров, заражённых бактерией, блокирующей их способность переносить болезнь (а они потом заражают всех остальных комаров), или просто используя генный драйв для истребления комаров. Нужно лишь немного централизованных действий, а не скоординированная кампания по индивидуальному лечению миллионов людей. В целом, я считаю, что 5–10 лет — разумный срок для того, чтобы значительная часть (возможно, 50%) преимуществ ИИ в сфере здравоохранения дошла даже до самых бедных стран мира. Хорошей целью было бы добиться, чтобы через 5–10 лет после создания мощного ИИ развивающиеся страны были как минимум существенно здоровее, чем развитые сегодня, даже если и продолжат от них отставать. Достижение этой цели, конечно, потребует огромных усилий во всемирном здравоохранении, благотворительности, политическом продвижении и многом другом, чему должны содействовать как разработчики ИИ, так и власти.
  • Экономический рост. Смогут ли развивающиеся страны быстро догнать развитые не только в здравоохранении, но и в экономике в целом? Этому есть прецедент: в последние десятилетия XX века несколько экономик Восточной Азии вышли на устойчивые темпы роста реального ВВП около 10% в год, что позволило им догнать развитый мир. Решения, приведшие к этому успеху, принимали живые люди — планировщики экономики: они не контролировали всё напрямую, а лишь пользовались несколькими ключевыми рычагами (вроде промышленной политики экспортно-ориентированного роста и отказа от соблазна полагаться исключительно на природные ресурсы). Вполне вероятно, что «ИИ-министры финансов и ИИ-руководители центральных банков» смогут повторить или превзойти этот показатель в 10%. Важный вопрос: как побудить правительства развивающихся стран внедрить их у себя, уважая при этом принцип самоопределения, ведь одни отнесутся к такому с энтузиазмом, другие, скорее всего, будут настроены скептически. С оптимистичной стороны: многие медицинские вмешательства из предыдущего пункта, вероятно, сами по себе помогут экономическому росту, например, искоренение СПИДа, малярии и гельминтозов радикально изменило бы производительность труда, не говоря уже об экономическом эффекте, что некоторые нейробиологические вмешательства (например, улучшение настроения и концентрации) дали бы как в развитых, так и в развивающихся странах. Наконец, ускоренные ИИ немедицинские технологии (энергетика, транспортные дроны, лучшие строительные материалы, более совершенная логистика и дистрибуция и так далее) могут распространиться по миру естественным путём: например, даже мобильные телефоны быстро проникли в страны Африки южнее Сахары через рыночные механизмы, без всякой филантропии. С менее радужной стороны: при всех своих потенциальных выгодах ИИ и автоматизация создают и проблемы для экономического развития, особенно для стран, которые ещё не прошли индустриализацию. Найти, как дать этим странам развиваться и укреплять экономику в эпоху растущей автоматизации — важная задача для экономистов и политиков. В целом сценарий мечты, а возможно, и цель, к которой стоит стремиться, — это 20 % годового роста ВВП в развивающихся странах: по 10 % от принимаемых с помощью ИИ экономических решений и от естественного распространения ускоренных ИИ технологий, в том числе (но не только) медицинских. Если это удастся, за 5–10 лет страны Африки южнее Сахары достигнут современного подушевого ВВП Китая, а бо́льшая часть остального развивающегося мира поднимется выше современного подушевого ВВП США. Повторюсь: это сценарий мечты, а не то, что произойдёт само собой. Его вероятность нам всем предстоит повышать сообща.
  • Продовольственная безопасность⁠⁠23. За XX век прогресс агротехнологий, например, лучшие удобрения и пестициды, бо́льшая автоматизация и более эффективное использование земель, резко увеличил урожайность и спас от голода миллионы людей. Генетическая инженерия сейчас ещё больше улучшает урожайность многих культур. Если найти новые способы это делать и заодно повысить эффективность сельскохозяйственных цепочек поставок, это может привести ко второй, основанной на ИИ, «зелёной революции», что поможет сократить разрыв между развивающимися и развитыми странами.
  • Смягчение изменения климата. Изменение климата будет гораздо сильнее ощущаться в развивающихся странах, сдерживая их развитие. Можно ожидать, что ИИ поможет усовершенствовать технологии, тормозящие или предотвращающие изменение климата, — от удаления углерода из атмосферы и чистой энергетики до выращенного в лаборатории мяса, которое снижает нашу зависимость от углеродоёмкого промышленного животноводства. Конечно, как уже отмечалось выше, технологии — не единственное, что сдерживает тут прогресс. Как и во всех остальных обсуждаемых в этом эссе вопросах, социальные факторы играют важную роль. Но есть веские основания полагать, что исследования с поддержкой ИИ позволят сделать меры по смягчению изменения климата куда более дешёвыми и удобными, а тогда многие возражения потеряют смысл, и развивающиеся страны смогут добиться большего экономического прогресса.
  • Неравенство внутри стран. Я в основном говорил о неравенстве как о глобальном явлении (и считаю, что именно в этом виде оно важнее всего), но, конечно, неравенство есть и внутри стран. С появлением передовых мер здравоохранения (особенно радикального продления жизни или препаратов для когнитивного улучшения) непременно появится обоснованная тревога, что эти технологии будут «только для богатых». Я оптимистичнее смотрю на неравенство внутри стран, особенно развитых, по двум причинам. Во-первых, в развитых странах лучше работают рынки, а они, как правило, со временем эффективно снижают стоимость ценных технологий⁠⁠24. Во-вторых, политические институты развитого мира чутче реагируют на потребности своих граждан и обладают большим государственным потенциалом для реализации программ всеобщего доступа; и я ожидаю, что граждане будут требовать доступа к технологиям, так радикально улучшающим качество жизни. Конечно, не предрешено, что такие требования увенчаются успехом, это ещё одна область, где мы все вместе должны сделать всё возможное, чтобы общество было справедливым. Есть отдельная проблема неравенства богатства (в отличие от неравенства доступа к спасающим и улучшающим жизнь технологиям). Она представляется более сложной, я её обсуждаю в разделе 5.
  • Проблема отказа от участия. Как в развитых, так и в развивающихся странах возможна проблема отказа людей от преимуществ, которые даёт ИИ (подобно движению против вакцинации или луддистским движениям в целом). Так могут возникнуть порочные петли обратной связи, когда, например, наименее способные принимать правильные решения, отказываются от тех самых технологий, которые улучшают их способности к принятию решений, что приводит к постоянно растущему разрыву и даже к появлению антиутопического низшего класса (некоторые исследователи утверждают, что это подорвёт демократию; эту тему я подробнее рассмотрю в следующем разделе). Это, опять же, бросит тень на положительные достижения ИИ. Решить эту проблему сложно, поскольку я не считаю этически приемлемым принуждать людей, но мы можем, по крайней мере, попытаться повысить их научную осведомлённость, и, возможно, ИИ сможет нам в этом помочь. Обнадёживает то, что исторически антитехнологические движения были скорее громкими словами, чем реальными действиями: критиковать современные технологии — дело популярное, но в итоге большинство людей принимает их, по крайней мере, когда речь идёт об индивидуальном выборе. Люди, как правило, принимают большинство технологий здравоохранения и потребительских товаров, а те, развитие которых действительно сдерживается, вроде атомной энергетики, это обычно темы коллективных политических решений.

В целом я с оптимизмом смотрю на то, что биологические достижения ИИ быстро дойдут до людей развивающихся стран. Я надеюсь, хотя и не уверен, что ИИ сможет и обеспечить беспрецедентные темпы экономического роста, и позволить развивающимся странам как минимум превзойти нынешний уровень развитых. Меня беспокоит проблема «отказа от участия» как в развитых, так и в развивающихся странах, но я подозреваю, что со временем она сойдёт на нет, а ИИ сможет помочь ускорить этот процесс. Это не будет идеальный мир, и отстающие не смогут полностью наверстать упущенное, по крайней мере, в первые несколько лет. Но, приложив значительные усилия, мы, возможно, сможем направить развитие событий в нужное русло и сделать это быстро. Если получится, мы сможем хотя бы частично исполнить обещания достоинства и равенства, которые мы должны каждому человеку на Земле.

4. Мир и управление

Предположим, что всё описанное в первых трёх разделах пойдёт хорошо: болезни, бедность и неравенство будут значительно сокращены, а базовый уровень человеческой жизни существенно повысится. Из этого не следует, что все основные причины человеческих страданий будут решены. Люди по-прежнему представляют угрозу друг для друга. Хотя и есть тенденция технологического прогресса и экономического развития, ведущая к демократии и миру, выражена она очень слабо и сопровождается частыми (в том числе недавними) отступлениями. На заре XX века люди считали, что оставили войны в прошлом; затем последовали две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о «конце истории» и окончательном триумфе либеральной демократии; этого пока не произошло. Двадцать лет назад власти США полагали, что свободная торговля с Китаем, по мере его обогащения, приведёт к его либерализации; не вышло, и сейчас мы, похоже, движемся к новой холодной войне с возрождающимся авторитарным блоком. Есть правдоподобные теории, указывающие, что интернет-технологии могут на самом деле сыграть на руку авторитаризму, а не демократии, как полагали изначально (например, в период «Арабской весны»). Кажется важным попытаться понять, как мощный ИИ соотнесётся с этими вопросами мира, демократии и свободы.

К сожалению, я не вижу веских оснований полагать, что ИИ будет преимущественно или структурно способствовать развитию демократии и мира так же, как, на мой взгляд, он будет структурно улучшать здоровье людей и сокращать бедность. Конфликты между людьми антагонистичны по своей природе, и ИИ в принципе может помочь как «хорошим парням», так и «плохим». Вообще, часть структурных факторов скорее тревожит: ИИ, по всей видимости, позволит значительно улучшить пропаганду и слежку — два основных инструмента в арсенале автократа. Поэтому склонить чашу весов в нужную сторону — задача каждого из нас: если мы хотим, чтобы ИИ работал на демократию и права личности, за этот исход придётся бороться. Здесь я убеждён даже сильнее, чем в вопросе о международном неравенстве: торжество либеральной демократии и политической стабильности не гарантировано, а возможно, даже маловероятно, и потребует от всех нас больших жертв и самоотдачи, как это не раз бывало в прошлом.

Я считаю, что этот вопрос состоит из двух частей: международные конфликты и внутренняя структура государств. На международном уровне представляется очень важным, чтобы к моменту создания мощного ИИ демократии имели преимущество на мировой арене. Об авторитаризме с поддержкой ИИ даже думать страшно, так что демократиям надо быть в состоянии установить условия, на которых мощный ИИ появится, и чтобы не оказаться подавленными авторитарными режимами, и чтобы предотвратить нарушения прав человека в авторитарных странах.

Сейчас я предполагаю, что лучший способ этого добиться — применить «стратегию антанты»⁠⁠25, при которой коалиция демократических государств стремится получить явное преимущество (пусть и лишь временное) в области мощного ИИ за счёт защиты его цепочки поставок, быстрого масштабирования и блокирования или задержки доступа противников к ключевым ресурсам вроде микросхем и полупроводникового оборудования. Эта коалиция, с одной стороны, использовала бы ИИ для достижения надёжного военного превосходства («кнут»), а с другой — предлагала бы распределять выгоды мощного ИИ («пряник») среди всё более широкого круга стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы в некоторой степени аналогично программе «Атом для мира»). Коалиция стремилась бы заручиться поддержкой всё бо́льшей части мира, изолируя наших злейших противников и в конечном итоге ставя их в положение, когда им будет выгоднее принять те же условия, что и остальному миру: отказаться от соперничества с демократиями, чтобы получить все выгоды и не вступать в борьбу с превосходящим противником.

Если нам всё это удастся, получится мир, где демократии лидируют и обладают достаточной экономической и военной мощью, чтобы автократии не смогли их подорвать, завоевать или саботировать. Возможно, демократии даже сумеют сделать своё превосходство в ИИ устойчивым преимуществом. В оптимистичном сценарии это может привести к «вечному 1991 году» — миру, где демократии одержали верх, и сбываются мечты Фукуямы. Повторю: добиться этого будет очень трудно, и, среди прочего, потребуется тесная кооперация между частными ИИ-компаниями и демократическими правительствами и очень мудрые решения о балансе между «пряником» и «кнутом».

Даже если всё это удастся, остаётся вопрос о борьбе между демократией и автократией внутри каждой страны. Тут, конечно, трудно предсказать, что произойдёт, но я с некоторым оптимизмом думаю, что если сложится глобальная обстановка, в которой самый мощный ИИ контролируется демократиями, то ИИ и правда может структурно способствовать демократии повсюду. В частности, в таких условиях демократические правительства смогут использовать свой лучший ИИ для победы в информационной войне: они смогут защищаться от пропаганды и операций влияния со стороны автократий и, возможно, даже создадут глобально свободную информационную среду, предоставляя каналы информации и ИИ-сервисы так, что у автократий не будет технической возможности их блокировать или отслеживать. Вероятно, нет необходимости заниматься пропагандой, нужно лишь противодействовать злонамеренным атакам и разблокировать свободный поток информации. Хотя это и не произойдёт сразу, есть несколько причин, почему у таких равных условий хорошие шансы постепенно склонить глобальное управление в сторону демократии.

Во-первых, описанное в разделах 1–3 повышение качества жизни при прочих равных условиях должно способствовать развитию демократии: исторически так как минимум в какой-то степени и было. В частности, я ожидаю, что улучшение психического здоровья, благополучия и образования будет способствовать укреплению демократии, поскольку все три фактора отрицательно коррелируют с поддержкой авторитарных лидеров. В целом люди стремятся к бо́льшему самовыражению, когда удовлетворены их прочие потребности, а демократия, помимо прочего, — одна из форм самовыражения. И наоборот, авторитаризм питается страхом и недовольством.

Во-вторых, есть немалая вероятность, что свободная информация, при условии, что власти не в силах её цензурировать, действительно подрывает авторитаризм. А ИИ без цензуры может ещё и предоставить людям мощные инструменты для подрыва репрессивных правительств. Те выживают за счёт того, что лишают людей определённого рода общего знания, не давая им осознать, что «король голый». Например, Срджа Попович, который помог свергнуть правительство Милошевича в Сербии, много писал о том, как психологически лишить авторитарных правителей власти, о том, как развеять иллюзии и мобилизовать поддержку против диктатора. Сверхчеловечески эффективная ИИ-версия Поповича (у чьих навыков, похоже, высокая отдача от интеллекта) у каждого в кармане, которую диктаторы не смогут заблокировать или подвергнуть цензуре, могла бы стать попутным ветром для диссидентов и реформаторов по всему миру. Повторюсь: это будет долгая и затяжная борьба, в которой не гарантирована победа, но если мы правильно спроектируем и создадим ИИ, то, по крайней мере, у сторонников свободы по всему миру могут получить преимущество.

Как и в случае с нейробиологией и биологией, мы можем ещё и задаться вопросом, как всё могло бы быть «лучше, чем нормально» — не только как избежать автократии, но и как сделать демократии лучше, чем сегодня. Даже в демократических странах несправедливость случается сплошь и рядом. Общества, основанные на верховенстве закона, обещают своим гражданам, что все будут равны перед законом и каждому гарантированы основные права человека, но, очевидно, на практике люди не всегда получают эти права. То, что это обещание выполняется хотя бы частично, — уже повод для гордости, но может ли ИИ помочь нам добиться большего?

Например, сможет ли ИИ улучшить нашу правовую и судебную систему, сделав принятие решений и процессы более беспристрастными? Сегодня в правовом и судебном контекстах люди в основном опасаются, что ИИ-системы станут причиной дискриминации, и эти опасения важны, от таких рисков надо защищаться. В то же время жизнеспособность демократии зависит от того, сумеет ли она поставить новые технологии на службу своим институтам, а не только отреагировать на риски. По-настоящему зрелое и успешное внедрение ИИ способно уменьшить предвзятость и обеспечить большую справедливость для всех.

Веками правовые системы сталкивались с дилеммой: закон стремится быть беспристрастным, но по своей природе субъективен, а значит, толковать его приходится небеспристрастным людям. Попытки сделать закон полностью механическим не увенчались успехом, поскольку реальный мир хаотичен и не всегда поддаётся описанию математическими формулами. Вместо этого правовые системы опираются на заведомо неточные критерии, вроде «жестокого и необычного наказания» или «полного отсутствия социальной значимости», которые затем толкуют люди — и нередко предвзято, пристрастно или произвольно. «Смарт-контракты» в криптовалютах не привели к революции в праве, ведь обычный код недостаточно умён для вынесения решений по сколько-нибудь интересным вопросам. Но ИИ, возможно, достаточно: это первая технология, способная выносить широкие, нечёткие суждения повторяемым и механическим образом.

Я не предлагаю буквально заменить судей ИИ-системами, но сочетание беспристрастности со способностью понимать и обрабатывать запутанные ситуации реального мира кажется тем, что может найти серьёзное и позитивное применение в законе и правосудии. По крайней мере, такие системы могли бы работать бок о бок с людьми в качестве вспомогательного инструмента для принятия решений. В любой такой системе была бы важна прозрачность, и зрелая наука об ИИ, вполне возможно, могла бы её обеспечить: процесс обучения таких систем можно тщательно изучить, а передовые методы интерпретируемости — использовать, чтобы заглянуть внутрь конечной модели и проверить её на скрытые предвзятости так, как с людьми не сделаешь. Ещё такие ИИ-инструменты можно было бы использовать для мониторинга нарушений основных прав в судебной или полицейской сфере, делая конституции более самоисполнимыми.

В том же духе ИИ можно было бы использовать для агрегирования мнений и достижения консенсуса среди граждан, разрешения конфликтов, поиска точек соприкосновения и компромиссов. Проект вычислительной демократии уже реализует некоторые ранние идеи в этом направлении, включая сотрудничество с Anthropic. Более информированное и мыслящее гражданское общество, очевидно, укрепило бы демократические институты.

ИИ явно мог бы помочь и в предоставлении государственных услуг вроде медицинских льгот или социального обслуживания — которые в принципе доступны каждому, но на практике их часто критически не хватает, причём в некоторых регионах ситуация хуже, чем в других. Сюда входят медицинские услуги, регистрация автотранспорта (DMV), налоги, социальное обеспечение, контроль за соблюдением строительных норм и так далее. Очень вдумчивый и осведомлённый ИИ, задача которого — в понятной форме предоставить вам всё, на что вы имеете законное право от государства, и помочь соблюсти зачастую запутанные государственные правила, стал бы огромным подспорьем. Рост государственного потенциала помогает как выполнить обещание о равенстве перед законом, так и укрепить уважение к демократическому управлению. Плохо реализованные услуги — одна из главных причин циничного отношения к государству сегодня⁠⁠26.

Всё это — довольно расплывчатые идеи, и, как я уже говорил в начале раздела, я далеко не так уверен в их осуществимости, как в прогрессе биологии, нейробиологии и борьбы с бедностью. Возможно, они утопичны и нереалистичны. Но важно иметь амбициозное видение, быть готовым мечтать по-крупному и пробовать новое. Видение ИИ как гаранта свободы, прав личности и равенства перед законом слишком притягательно, чтобы за него не бороться. Опирающееся на ИИ государственное устройство XXI века могло бы стать как более сильным защитником индивидуальной свободы, так и маяком надежды, помогающим сделать либеральную демократию той формой правления, которую захочет принять весь мир.

5. Труд и смысл

Даже если всё в предыдущих четырёх разделах пойдёт хорошо, не только снизится уровень болезней, бедности и неравенства, но и либеральная демократия станет доминирующей формой правления, а уже существующие либеральные демократии станут лучшими версиями самих себя, останется по крайней мере один важный вопрос. «Замечательно, что мы живём в столь технологически продвинутом, справедливом и достойном мире», — может возразить кто-нибудь, — «но если ИИ будет делать всё, откуда у людей возьмётся смысл? И раз уж на то пошло, как они будут выживать экономически?».

Я считаю, что этот вопрос сложнее остальных. Это не значит, что я обязательно настроен более пессимистично по этому поводу, чем по другим вопросам (хотя определённые проблемы я вижу). Я имею в виду, что он более расплывчат и хуже поддаётся предсказанию, поскольку касается макро-вопросов об устройстве общества, которые склонны разрешаться со временем и децентрализованно. Например, исторические общества охотников-собирателей могли бы решить, что жизнь лишена смысла без охоты и связанных с ней религиозных ритуалов, и сочли бы наше сытое технологическое общество бесцельным. Они могли бы и не понять, как наша экономика способна обеспечить всех и какую полезную роль может играть человек в механизированном обществе.

Но стоит сказать хотя бы несколько слов. Помните: краткость раздела ни в коем случае не означает, что я не отношусь к этим вопросам серьёзно. Напротив, это признак отсутствия чётких ответов.

Что касается вопроса о смысле, я считаю, что, скорее всего, ошибочно полагать, будто задачи, за которые вы берётесь, лишены смысла просто потому, что ИИ мог бы справиться с ними лучше. Большинство людей ни в чём не лучшие в мире, и это, похоже, их особо не беспокоит. Конечно, сейчас они всё ещё могут вносить вклад благодаря сравнительным преимуществам и, возможно, черпают смысл из создаваемой ими экономической ценности, но люди получают огромное удовольствие и от занятий, не приносящих никакой экономической выгоды. Я провожу много времени, играя в видеоигры, плавая, гуляя на свежем воздухе и общаясь с друзьями, и всё это не создаёт никакой экономической ценности. Я могу потратить целый день на то, чтобы улучшить свои навыки в видеоигре или быстрее заехать на велосипеде в гору, и мне совершенно неважно, что где-то кто-то делает это намного лучше. В любом случае, я считаю, что смысл в основном проистекает из человеческих отношений и связей, а не из экономического труда. Людям и правда нужно чувство достижения, даже соперничества, и в мире после ИИ вполне можно будет годами биться над какой-то очень трудной задачей, требующей сложной стратегии, подобно тому, как люди сегодня берутся за исследовательские проекты, пытаются стать голливудскими актёрами или основывают компании⁠⁠27. То, что (а) ИИ где-то в принципе мог бы выполнить эту задачу лучше и (б) эта задача — больше не экономически вознаграждаемый элемент глобальной экономики, кажется мне не таким уж важным.

Экономическая составляющая на самом деле кажется мне более сложной, чем вопрос о смысле. Под «экономической» в этом разделе я имею в виду возможную проблему: большинство или все люди могут оказаться неспособными внести значимый вклад в достаточно развитую экономику на базе ИИ. Это проблема более высокоуровневая, чем отдельная проблема неравенства, особенно неравенства доступа к новым технологиям, которое я обсуждал в разделе 3.

Прежде всего, в краткосрочной перспективе я согласен с аргументами, что сравнительные преимущества будут и впредь обеспечивать значимость людей и фактически повысят их производительность, а в некоторых аспектах могут даже выровнять условия игры между людьми. Пока ИИ будет превосходить человека лишь в 90% конкретной работы, остальные 10% резко повысят ценность человеческого труда, что поднимет уровень оплаты и даже создаст кучу новых человеческих профессий, дополняющих и усиливающих то, в чём силён ИИ, так что эти «10%» расширятся, продолжая обеспечивать работой почти всех. Более того, даже если ИИ сможет выполнять 100% задач лучше людей, но при этом останется неэффективным или дорогостоящим при решении некоторых задач, или если затраты ресурсов на людей и на ИИ будут существенно различаться, то всё ещё будет работать логика сравнительных преимуществ. Область, где люди, вероятно, ещё долго будут сохранять относительное (или даже абсолютное) преимущество, — это физический мир. Так что я полагаю, что человеческая экономика может сохранять смысл даже некоторое время после того, как мы получим «страну гениев в дата-центре».

Однако я действительно считаю, что в долгосрочной перспективе ИИ станет настолько широко эффективным и дешёвым, что это правило перестанет действовать. Тогда нынешняя экономическая система станет бессмысленной, и возникнет необходимость широкого общественного обсуждения того, как должна быть организована экономика.

Это может показаться безумием, но факт остаётся фактом: в прошлом цивилизация успешно справлялась с крупными экономическими сдвигами: от охоты и собирательства к земледелию, от земледелия к феодализму и от феодализма к индустриализму. Я подозреваю, что потребуется нечто новое и более необычное, что сегодня никто ещё не смог хорошо описать. Это может быть чем-то простым, вроде большого безусловного базового дохода для всех, хотя, подозреваю, это будет лишь небольшой частью решения. Это может быть капиталистическая экономика ИИ-систем, которые будут раздавать ресурсы (в огромных количествах, ведь общий экономический пирог будет гигантским) людям на основе некой вторичной экономики, отражающей то, что, по мнению ИИ-систем, целесообразно вознаграждать в людях (на основании суждений, в конечном счёте вытекающих из человеческих ценностей). Возможно, экономика будет функционировать на основе баллов «Whuffie». Или, возможно, люди всё-таки каким-то образом, не предусмотренным обычными экономическими моделями, останутся экономически ценными. Все эти решения сопряжены с массой возможных проблем, и без множества итераций и экспериментов невозможно понять, насколько они осмысленны. И, как и в случае некоторых других вызовов, за хороший исход здесь, скорее всего, придётся бороться: эксплуататорские или антиутопические пути развития тоже вполне возможны, и их нужно предотвратить. Об этих вопросах можно написать гораздо больше, и я надеюсь когда-нибудь это сделать.

Подведём итоги

Разбирая все эти разные темы, я старался обрисовать картину мира, что была бы и правдоподобной, при условии, что с ИИ всё пойдёт как надо, и гораздо лучше нынешнего. Я не знаю, реалистичен ли этот мир, и даже если да, его невозможно будет построить без огромных усилий и участия в борьбе многих смелых и преданных делу людей. Каждому (включая ИИ-компании!) придётся сделать свою часть работы, и чтобы предотвратить риски, и чтобы в полной мере реализовать преимущества.

Но это мир, за который стоит бороться. Я подозреваю, что если в течение 5–10 лет всё это действительно произойдёт: победа над большинством болезней, рост биологической и когнитивной свободы, вывод миллиардов людей из бедности, чтобы и они могли пользоваться новыми технологиями, возрождение либеральной демократии и прав человека, все, кто это увидит, сами удивятся тому, как это на них подействует. Я говорю не о том, каково будет лично пользоваться всеми этими новыми технологиями, хотя будет это, конечно, потрясающе. Я говорю о том, каково будет наблюдать, как давно вынашиваемые идеалы разом воплощаются у нас на глазах. Думаю, многих это буквально растрогает до слёз.

Пока я писал это эссе, я всё время замечал интересное противоречие. В некотором смысле изложенное здесь видение чрезвычайно радикально: почти никто не ожидает, что это произойдёт в ближайшее десятилетие, и многим оно, вероятно, покажется абсурдной фантазией. Некоторые могут даже не считать его желательным; оно воплощает ценности и политические решения, с которыми согласятся не все. Но в то же время в нём есть нечто ослепительно очевидное, нечто сверхдетерминированное, как будто многие разные попытки представить себе хороший мир неизбежно приводят примерно к этому.

В романе Иэна М. Бэнкса The Player of Games⁠⁠28 главный герой, член общества под названием «Культура», основанного на принципах, мало чем отличающихся от изложенных мною здесь, отправляется в репрессивную, милитаристскую империю, где лидерство определяется конкуренцией в замысловатой боевой игре. Но игра настолько сложна, что стратегия игрока в ней, как правило, отражает его политические и философские взгляды. Главному герою удаётся обыграть императора, показав, что его ценности (ценности «Культуры») представляют собой выигрышную стратегию даже в игре, придуманной обществом, которое живёт безжалостной конкуренцией и выживанием сильнейшего. Известный пост Скотта Александера проводит ту же мысль: конкуренция саморазрушительна и, как правило, приводит к появлению общества, основанного на сострадании и кооперации. «Дуга моральной вселенной» — ещё одно похожее понятие.

Я считаю, что ценности «Культуры» — выигрышная стратегия, потому что они складываются из миллиона мелких решений с явной моральной силой, способных затащить всех на одну сторону. Трудно спорить с базовыми человеческими представлениями о справедливости, кооперации, любопытстве и автономии, и они накапливаются так, как наши часто более разрушительные импульсы не делают. Легко утверждать, что дети не должны умирать от болезней, если мы можем это предотвращать. И отсюда легко сделать вывод, что дети всех людей в равной степени заслуживают этого права. А оттуда недалеко до мысли, что мы все должны объединиться и приложить свой интеллект, чтобы этого добиться. Мало кто станет спорить с тем, что человека нужно наказывать, если он без нужды нападает на других или причиняет им вред, а отсюда недалеко до мысли, что наказание должно быть одинаковым и последовательным для всех. Столь же интуитивно понятно, что люди должны обладать автономией и нести ответственность за свою жизнь и свой выбор. Эти простые интуитивные представления, если довести их до логического завершения, в конечном итоге приводят к верховенству закона, демократии и ценностям Просвещения. Пусть это и не неизбежно, но как минимум статистическая тенденция движения человечества именно к этому есть. ИИ просто даёт нам возможность прийти туда быстрее, сделать логику отчётливее, а цель яснее.

И есть тут всё же трансцендентная красота. У нас есть возможность сыграть пусть небольшую, но свою роль в том, чтобы это стало явью.


Благодарю Кевина Эсвельта, Парага Маллика, Стюарта Ричи, Мэтта Иглесиаса, Эрика Бриньолфсона, Джима МакКлейва, Аллана Дафо и многих сотрудников Anthropic за отзывы на черновики этого эссе.

Лауреатам Нобелевской премии по химии 2024 года, за то, что показали всем нам путь.


Оригинальная публикация: Dario Amodei (2024) Machines of Loving Grace, Dario Amodei’s Blog, октября.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28