Проект
По мере набора гонкой за СИИ оборотов, в дело вступит аппарат национальной безопасности. Правительство США пробудится от спячки, и к 27/28 году у нас в той или иной форме появится правительственный проект по СИИ. Ни один стартап не способен справиться с суперинтеллектом. Эндшпиль начнётся где-то в изолированном центре обработки информации.
«Должно быть интересно, как такой комплекс объектов — сотни электростанций, тысячи бомб, десятки тысяч людей, собранных в государственных учреждениях, — берет свое начало от нескольких человек, сидящих за лабораторными столами и обсуждающих необычное поведение одного типа атома».
Спенсер Р. Уирт
Сейчас выдвигается много планов по «регулированию ИИ»: от лицензирования передовых ИИ-систем до стандартов безопасности и публичного облака с вычислительными мощностями для учёных на несколько сотен миллионов долларов. Всё это, кажется, продиктовано благими намерениями, но я думаю, что тут кроется ошибка категории.
Я считаю безумным предположение, что правительство США позволит какому-то случайному стартапу из Сан-Франциско разработать суперинтеллект. Представьте, если бы мы создали атомные бомбы, просто позволив Uber импровизировать.
Суперинтеллект, то есть ИИ-системы, намного превосходящие людей по интеллекту, будет обладать огромной мощью: от разработки нового оружия до взрывного роста экономики. Суперинтеллект станет центром международной конкуренции; преимущество в несколько месяцев вполне может оказаться решающим в военном конфликте.
Мнение, что всё это не пробудит более первобытные силы — глубокое заблуждение бессознательно привыкших к нашей краткой передышке от истории. Как и многие учёные до них, великие умы Сан-Франциско надеются, что смогут управлять судьбой порождённого ими демона. Они пока могут — ведь мало кто кроме них обладает ситуационной осведомлённостью и понимает, что именно они создают. Но в ближайшие несколько лет мир пробудится. И с ним — аппарат национальной безопасности. Это будет триумфальное возвращение истории.
Как и много раз прежде (ковид, Вторая мировая война), будет казаться, что Соединённые Штаты спят за рулём, пока правительство вдруг самым невероятным образом не включится в работу. Всего через несколько лет, после ещё пары скачков «уровня 2023 года» в способностях моделей и видимости ИИ, наступит момент, когда станет ясно: мы на пороге появления СИИ, а вскоре после этого — и суперинтеллекта. И мы ещё многого не понимаем о конкретных механизмах, но правительство США так или иначе окажется у руля; ведущие лаборатории («добровольно») объединятся; Конгресс выделит триллионы на чипы и электроэнергию; будет сформирована коалиция демократических стран.
Стартапы во многом хороши, но стартап сам по себе просто не в состоянии возглавить важнейший проект в сфере национальной обороны США. Чтобы иметь хотя бы надежду на защиту от угрозы тотального шпионажа, с которой мы столкнёмся, нам потребуется участие правительства; иначе частные ИИ-разработки с тем же успехом могли бы напрямую передавать суперинтеллект Коммунистической партии Китая. Нам потребуется правительство, чтобы обеспечить хотя бы подобие разумной цепочки командования; нельзя допускать, чтобы у случайных генеральных директоров (или случайных советов директоров некоммерческих организаций) был доступ к «ядерной кнопке». Нам потребуется правительство, чтобы решать серьёзные проблемы безопасности суперинтеллекта и справляться с «туманом войны» интеллектуального взрыва. Нам потребуется правительство, чтобы развернуть суперинтеллект для защиты от любых возникающих экстремальных угроз и пережить чрезвычайно волатильную и выведенную из равновесия международную обстановку, которая за этим последует. Нам потребуется правительство, чтобы мобилизовать демократическую коалицию для победы в гонке с авторитарными державами и сформировать (и обеспечить соблюдение) режим нераспространения для остального мира. Мне бы хотелось, чтобы всё было иначе, но нам будет нужно правительство. (Да, независимо от конкретной администрации.)
В общем, мой основной тезис — не нормативный, а описательный. Через несколько лет «Проект» будет запущен.
Путь к «Проекту»
События с конца февраля по середину марта 2020 года навсегда врезались мне в память. В те последние недели февраля и первые дни марта я был в полном отчаянии: казалось очевидным, что мы движемся по ковидной экспоненте — чума вот-вот захлестнёт страну, коллапс больниц неизбежен, но почти никто не воспринимал это всерьёз. Мэр Нью-Йорка по-прежнему называл страх перед ковидом расизмом и призывал людей ходить на бродвейские шоу. Всё, что мне оставалось, — покупать маски и играть на понижение.
И всё же буквально через несколько недель вся страна закрылась на карантин, а Конгресс выделил триллионы долларов (буквально больше 10% ВВП). Заранее просчитать, куда заведёт экспонента, было слишком сложно; но когда угроза подошла достаточно близко и стала достаточно экзистенциальной, высвободились беспрецедентные силы. Реакция была запоздалой, грубой, топорной — но она последовала, и её масштаб поражал.
Следующие несколько лет в сфере ИИ пройдут по схожему сценарию. Сейчас мы в миттельшпиле. 2023 год уже принёс радикальные сдвиги. СИИ превратился из маргинальной темы, с которой раньше не хотелось себя связывать, в предмет крупных слушаний в Сенате и саммитов мировых лидеров. Учитывая, насколько это ещё ранний этап, уровень вовлечённости правительства США произвёл на меня большое впечатление. Ещё пара таких «2023-х», и окно Овертона распахнётся настежь.
Мы проносимся мимо порядков величин, так что скачки продолжатся. Примерно к 2025–2026 годам я ожидаю такие по-настоящему шокирующие скачки: ИИ будет приносить более $100 млрд годовой выручки крупным технологическим компаниям и обгонит докторов наук по чистой сообразительности в решении задач. Подобно тому, как обвал фондового рынка из-за ковида заставил многих отнестись к пандемии всерьёз, у нас появятся компании с капитализацией в $10 трлн, и мания вокруг ИИ станет повсеместной. Если и этого окажется мало, то к 2027–2028 годам у нас появятся модели, обученные на кластере стоимостью свыше $100 млрд; полноценные ИИ-агенты — удалённые сотрудники, готовые сразу приступить к работе, — начнут повсеместно автоматизировать написание программ и другие виды когнитивного труда. С каждым годом это ускорение будет казаться всё головокружительнее.
Пока многие не видят возможности СИИ, но со временем сформируется консенсус. Некоторые, как, например, Силард, предвидели создание атомной бомбы гораздо раньше других. Поначалу их тревога не встречала понимания; возможность создания бомбы отвергали как отдалённую (или, по крайней мере, считалось, что консервативнее и правильнее преуменьшать эту вероятность). Горячие призывы Силарда к секретности высмеивали и игнорировали. Но по мере накопления эмпирических данных многие раньше скептически настроенные учёные начали осознавать, что бомба реальна. Когда большинство учёных поверило, что мы близки, уже и правительство сочло угрозу национальной безопасности слишком серьёзной, чтобы бездействовать, — и запустило Манхэттенский проект.
По мере перехода порядков величин от теоретической экстраполяции к (необычайной) эмпирической реальности, среди ведущих учёных, руководителей и правительственных чиновников тоже постепенно сформируется консенсус: мы стоим на пороге появления СИИ, на пороге интеллектуального взрыва, на пороге суперинтеллекта. И где-то по дороге мы увидим первые по-настоящему пугающие демонстрации ИИ: это может быть часто обсуждаемое «содействие новичкам в создании биологического оружия», автономный взлом критически важных систем или что-то совсем иное. Станет ясно: нравится нам это или нет, но ИИ будет абсолютно решающей военной технологией. Даже если нам посчастливится избежать крупной войны, вполне вероятно, что к этому моменту КПК уже обратит на это внимание и запустит мощную программу создания СИИ. Возможно, огромный резонанс вызовет и (неизбежное) выяснение, что агенты КПК проникли в ведущие американские ИИ-лаборатории.
Где-то в 2026–2027 годах настроение в Вашингтоне станет мрачным. Люди начнут нутром чувствовать, что происходит; они будут напуганы. Везде, от залов Пентагона до кулуарных брифингов в Конгрессе, будет звучать очевидный вопрос у всех на уме: нужен ли нам Манхэттенский проект для создания СИИ? Сначала медленно, а потом разом всё прояснится: это происходит на самом деле, дальше будет безумие, это самый важный вызов для национальной безопасности США со времён изобретения атомной бомбы. Так или иначе, но аппарат национальной безопасности вовлечётся очень активно. Проект станет необходимым и, по сути, единственно возможным ответом.
Конечно, это крайне сжатое изложение — многое зависит от того, когда и как сформируется консенсус, от ключевых предупредительных выстрелов и так далее. Вашингтон печально известен своей дисфункциональностью. Как и в случае с ковидом и даже с Манхэттенским проектом, правительство невероятно опоздает и будет действовать неуклюже. После письма Эйнштейна (черновик написал Силард) президенту в 1939 году был сформирован Консультативный комитет по урану. Но чиновники оказались некомпетентными, и поначалу почти ничего не происходило. Например, Ферми получил на поддержку своих исследований всего 6 тысяч долларов (около 135 тысяч в сегодняшних ценах), и даже эти средства были выделены с трудом и только после нескольких месяцев ожидания. Силард считал, что проект был задержан как минимум на год из-за недальновидности и медлительности властей. В марте 1941 года британское правительство наконец пришло к выводу, что создание бомбы неизбежно. Американский комитет несколько месяцев полностью игнорировал этот британский отчёт — пока, наконец, в декабре 1941 года не была запущена полномасштабная программа по созданию атомной бомбы.
Всё это может по-разному воплотиться на практике. Хочу пояснить: это не обязательно должно выглядеть как прямая национализация, когда исследователи из ИИ-лабораторий вдруг, скажем, оказываются на службе у военных (хотя может быть и так!).1 Скорее, я ожидаю более изящной координации. Отношения с Министерством обороны США могут напоминать те, что его связывают с Boeing или Lockheed Martin. Возможно, через оборонные подряды или нечто подобное будет создано совместное предприятие крупных поставщиков облачных вычислений, ИИ-лабораторий и правительства — что фактически превратит его в проект аппарата национальной безопасности. Подобно тому, как в 2023 году ИИ-лаборатории «добровольно» взяли на себя обязательства перед Белым домом, западные лаборатории могут более или менее «добровольно» согласиться объединить усилия в рамках общенациональной инициативы. Вероятно, с учётом триллионных инвестиций и нужды в системе сдержек и противовесов, к этому придётся привлечь и Конгресс.2 Как именно сложатся все эти детали — тема для отдельного обсуждения.
Но к концу 26/27/28 года процесс уже будет идти полным ходом. Основная исследовательская группа по СИИ (несколько сотен человек) переедет в защищённое место; рекордно быстро построят кластер за триллион долларов; «Проект» начнёт свою работу.
Почему «Проект» — единственный путь
Я не питаю никаких иллюзий о правительстве. Правительства сталкиваются со всевозможными ограничениями и плохими стимулами. Я глубоко верю в американский частный сектор и почти никогда не стал бы выступать за активное вмешательство государства в сферу технологий или промышленности.
Раньше я применял тот же подход и к СИИ — пока не начал работать в ИИ-лаборатории. ИИ-лаборатории отлично справляются с некоторыми задачами: им удалось вывести ИИ из разряда академических научных проектов на большую коммерческую арену так, как это под силу только стартапам. Но в конечном счёте лаборатории ИИ — это всё-таки стартапы. И не стоит ожидать, что стартапы окажутся готовы справиться с суперинтеллектом.
Хороших вариантов тут нет, но другого пути я не вижу. Когда технология станет столь важной для национальной безопасности, нам понадобится правительство США.
Суперинтеллект станет самым важным проектом национальной обороны США
Я уже обсуждал мощь суперинтеллекта в предыдущих статьях. За несколько лет суперинтеллект полностью изменит военный баланс сил. К началу 2030-х годов весь арсенал США (нравится вам это или нет, но он — фундамент глобального мира и безопасности), вероятно, устареет. Речь пойдёт не просто о модернизации, а о полной замене.
Проще говоря, станет ясно, что развитие СИИ скорее похоже на ядерное оружие, чем на интернет. Да, конечно, СИИ будет технологией двойного назначения — ну так и ядерные технологии тоже. Время гражданского применения ещё придёт. Но в тумане СИИ-эндшпиля национальная безопасность к добру или к худу станет главным контекстом.
Стремительные технологические изменения заставят за считанные годы полностью перестроить вооружённые силы США, а иначе мы рискуем безнадёжно уступить противникам, которые это сделают. Пожалуй, самым первым приоритетом станет развёртывание суперинтеллекта в оборонных целях — разработка контрмер, позволяющих выжить в условиях невообразимых новых угроз: противников со сверхчеловеческими хакерскими способностями, новых классов незаметных роёв дронов, которые могут нанести упреждающий удар по нашему потенциалу ядерного сдерживания, распространения достижений синтетической биологии, которые можно превратить в оружие, бурной международной (и внутренней) борьбы за власть, и неподконтрольных проектов суперинтеллекта.
Будет ли проект СИИ номинально частным или нет, он в любом случае должен стать и станет по своей сути оборонным проектом, что потребует чрезвычайно тесного сотрудничества с государственным аппаратом национальной безопасности.
Здравая цепочка командования для суперинтеллекта
Возможности и вызовы суперинтеллекта будут относиться к совсем не тому референтному классу, чем всё, что мы привыкли видеть от технологических компаний. Кажется совершенно очевидным: он не должен находиться под единоличным командованием какого-то случайного гендиректора. Вполне правдоподобно, что в мире, где суперинтеллект разрабатывают частные лаборатории, у отдельных гендиректоров хватит власти буквально на переворот и свержение правительства США.3 Представьте, если бы верховное командование ядерным арсеналом было у Илона Маска.4 (Или что случайный совет директоров некоммерческой организации мог бы решить взять ядерный арсенал под свой контроль.)
Это вроде бы очевидно: как общество мы решили, что демократические правительства должны контролировать вооружённые силы,5 а суперинтеллект будет — по крайней мере на первых порах — самым мощным оружием. Радикальное предложение — не «Проект»; радикальное предложение — ставка на то, что обладающие военной мощью генеральные директора частных ИИ-компаний окажутся благожелательными диктаторами.
(В мире частных ИИ-лабораторий ситуация, вероятно, была бы даже хуже, чем со случайными генеральными директорами у «ядерной кнопки»: одна из причин ужасающего состояния инфобезопасности ИИ-лабораторий — полное отсутствие у них внутреннего контроля. Иначе говоря, любой сотрудник ИИ-лаборатории (не проходящий никаких проверок) мог бы незаметно пойти вразнос.)
Нам понадобится здравая цепочка командования — наряду со всеми другими процессами и мерами безопасности, обязательными для ответственного обращения с чем-то сопоставимым с оружием массового уничтожения. И для её обеспечения потребуется участие правительства. В некотором смысле это просто бёркианский аргумент: социальные институты, конституции, законы, суды, система сдержек и противовесов, норма и общая приверженность либерально-демократическому порядку (например, генералы, отказывающиеся выполнять незаконные приказы) и другие сдержки власти правительства выдержали проверку веками. Специальные же структуры управления ИИ-лабораториями рухнули при первом же испытании. Захоти они, вооружённые силы США и сегодня могли бы уничтожить практически всё гражданское население Соединённых Штатов или захватить власть. И мы удерживаем контроль правительства над ядерным оружием не тем, что раздаём частным компаниям их собственные ядерные арсеналы. Есть лишь одна цепочка командования и один набор институтов, доказавших свою способность справиться с такой задачей.
Опять же, возможно, вы убеждённый либертарианец и принципиально с этим не согласны (пусть Илон Маск и Сэм Альтман распоряжаются собственными ядерными арсеналами!)6 Но как только станет ясно, что суперинтеллект — важнейший вопрос национальной безопасности, я уверен, что именно так на него будут смотреть в Вашингтоне.
Гражданское применение суперинтеллекта
Конечно, это не означает, что гражданское применение суперинтеллекта останется исключительно прерогативой государства.
- Ядерная цепная реакция была впервые освоена в рамках государственного проекта, и ядерное оружие навсегда осталось в ведении государства. Но частные проекты гражданской атомной энергетики процветали (в 60-х и 70-х годах, пока экологи не положили этому конец).
- Компания Boeing в партнёрстве с военными создала B-29 (самый дорогой оборонный НИОКР Второй мировой войны, обошедшийся дороже Манхэттенского проекта), и дальние бомбардировщики B-47 и B-52. А затем она использовала эти технологии для Boeing 707, коммерческого лайнера, открывшего эру реактивной авиации. И сегодня, хотя Boeing может продавать истребители-невидимки только государству, компания свободно разрабатывает и продаёт гражданские самолёты частным заказчикам.
- Так было и с радарами, спутниками, ракетами, генной инженерией, заводами во время Второй мировой войны и так далее.
На начальном этапе разработки суперинтеллекта на первый план выйдет острая нужда в национальной безопасности — выжить и стабилизировать ситуацию в этот невероятно волатильный период. Военное использование суперинтеллекта останется прерогативой правительства. Будет обеспечено соблюдение норм безопасности. Но как только первоначальная угроза минует и ситуация в мире стабилизируется, естественным ходом событий станет то, что компании из национального консорциума (и не только) начнут в частном порядке развивать гражданские применения.
Даже в мирах с «Проектом» будет время для процветающей частной, плюралистической и рыночной экосистемы гражданского применения суперинтеллекта.
Защита
Я подробно останавливался на этом в предыдущей статье серии. При нынешнем курсе мы с тем же успехом можем отказаться от любых американских разработок СИИ: Китай сможет быстро и напрямую украсть все алгоритмические прорывы и веса моделей (буквально копию суперинтеллекта). Неясно даже, удастся ли нам при нынешнем курсе обеспечить для суперинтеллекта хотя бы защиту уровня «от Северной Кореи». В мире, где разработкой СИИ занимаются частные стартапы, суперинтеллект расползся бы по десяткам государств-изгоев. Это попросту недопустимо.
Если мы намерены отнестись к этому серьёзно, нам, конечно, придётся всё это защитить. Большинство частных компаний не воспринимают проблему всерьёз. Но в любом случае, если в конечном итоге мы столкнёмся с полной мощью китайского шпионажа (кража весов станет для МГБ приоритетом №1), достаточный уровень безопасности, вероятно, будет невозможным для частной компании. На этом этапе для надёжной защиты СИИ потребуется широкое сотрудничество разведывательного сообщества США. Это повлечёт за собой жёсткие ограничения для ИИ-лабораторий и основной команды исследователей СИИ — от строжайших проверок до постоянного мониторинга, работы в изолированных центрах и ограничения свободы передвижения. Кроме того, потребуется инфраструктура, которую может предоставить только правительство, вплоть до физической охраны СИИ-дата-центров.
В каком-то смысле одной лишь защиты достаточно, чтобы сделать необходимым правительственный проект: и превосходство свободного мира, и безопасность ИИ обречены, если мы не сможем надёжно всё это защитить. (Вообще, я считаю весьма вероятным, что именно она и будет важной последней каплей: стоит проникновению китайских шпионов в СИИ-лаборатории стать очевидным, у каждого сенатора, конгрессмена и чиновника, отвечающего за национальную безопасность… появится твёрдое мнение по этому вопросу.)
Безопасность
Проще говоря: у нас есть масса способов всё испортить — от задачи обеспечить надёжный контроль над миллиардами суперинтеллектуальных агентов, которые вскоре будут управлять нашей экономикой и вооружёнными силами, и доверие к ним (проблема суперсогласования) до контроля рисков злоупотребления новыми средствами массового уничтожения.
Некоторые ИИ-лаборатории заявляют о своей приверженности безопасности: они признают, что их разработки, если что-то пойдёт не так, могут привести к катастрофе, и обещают, что, когда придёт время, предпримут все необходимые меры. Я не знаю, можем ли мы доверять их обещаниям настолько, чтобы ставить на карту жизни всех американцев. Что ещё важнее, до сих пор они не продемонстрировали ни компетентности, ни надёжности, ни серьёзности, необходимых для того, что они, по их же собственному признанию, создают.
По сути, это стартапы со всеми обычными коммерческими стимулами. Из-за конкуренции они могут просто напролом понестись через интеллектуальный взрыв, и как минимум некоторые игроки готовы будут полностью отбросить соображения безопасности. В частности, мы, возможно, захотим «потратить часть нашего преимущества», чтобы выиграть время на решение проблем безопасности. Но для этого западным лабораториям придётся скоординировать свои действия. (И, конечно, к тому времени веса СИИ у частных лабораторий уже украдут, так что их меры предосторожности совершенно неважны; мы окажемся во власти мер предосторожности КПК и Северной Кореи.)
Один из вариантов ответа — регулирование. Это может быть уместно в мирах, где ИИ развивается медленнее, но я боюсь, что регуляции просто не будут соответствовать масштабу вызова — интеллектуального взрыва. То, что потребуется, будет мало похоже на многолетние аккуратные оценки и проталкивание каких-то стандартов безопасности через бюрократический аппарат. Это будет больше похоже на ведение войны.
Нас ждёт безумный год, когда ситуация будет кардинально меняться каждую неделю, когда трудные решения на основе неоднозначных данных станут вопросом жизни и смерти, когда пути решения и даже сами проблемы не будут хоть приблизительно ясны заранее, а всё сведётся к компетентности действий в «тумане войны». Это повлечёт за собой безумные дилеммы в духе: «некоторые из наших показателей согласования выглядят неоднозначно, мы больше не понимаем, что происходит; возможно, всё в порядке, но есть тревожные признаки, что следующее поколение суперинтеллекта может выйти из-под контроля; стоит ли отложить следующий запуск обучения на 3 месяца, чтобы получить больше уверенности в безопасности, — но, о нет, последние разведданные указывают, что Китай украл наши веса и мчится вперёд к собственному интеллектуальному взрыву, что же нам делать?».
Я не уверен, что государственный проект сможет компетентно с этим справиться, но то, насколько альтернатива «стартапов, разрабатывающих суперинтеллект» близка к «молиться и надеяться», обычно недооценивают. Нам потребуется цепочка командования, способная обеспечить ту серьёзность, которой потребуют эти непростые дилеммы.
Стабилизация международной обстановки
Интеллектуальный взрыв и его непосредственные результаты породят одну из самых нестабильных и напряжённых ситуаций, с которыми когда-либо сталкивалось человечество. Наше поколение к этому не привыкло. В этот начальный период нашей задачей будет не создание крутых продуктов. Это будет как-то, отчаянно, пережить это время.
Нам понадобится государственный проект, чтобы выиграть гонку с авторитарными державами и обеспечить себе явное лидерство и передышку, нужные для преодоления опасностей этой ситуации. Если мы не сумеем предотвратить мгновенную кражу весов модели суперинтеллекта, можно сразу сдаться. Нам потребуется объединить усилия Запада: собрать лучших учёных, задействовать каждый доступный GPU и добиться того, чтобы кластеры на триллионы долларов строили на территории США. Нам нужно будет защитить дата-центры от вражеского саботажа и прямых атак.
Пожалуй, больше всего лидерство США потребуется для разработки и, если придётся, принудительного обеспечения режима нераспространения. Нам нужно будет не дать России, Северной Корее, Ирану и террористическим группировкам использовать собственный суперинтеллект для разработки технологий и оружия, которые позволили бы им держать мир в заложниках. Нужно будет применить суперинтеллект для укрепления защиты нашей критической инфраструктуры, вооружённых сил и правительства от новых экстремальных возможностей взлома. Нужно будет применить суперинтеллект и для стабилизации баланса нападения и защиты в связи с достижениями в биологии и подобном. Нужно будет разработать инструменты для безопасного управления суперинтеллектом и для отключения вышедших из-под контроля суперинтеллектов, порождённых чужими небрежными проектами. ИИ-системы и роботы будут в 10–100 раз быстрее людей; всё начнёт происходить очень стремительно. Нам придётся быть готовыми справиться с любыми другими «шестисигмовыми» потрясениями и сопутствующими им угрозами, которые возникнут из-за сжатия векового технологического прогресса в несколько лет.
По крайней мере в этот начальный период мы столкнёмся с беспрецедентной чрезвычайной ситуацией в области национальной безопасности. Возможно, эта задача никому не по силам. Но из всех наших вариантов «Проект» — единственный разумный.
Существование «Проекта» неизбежно; будет ли он во благо — нет
В конечном счёте моя главная мысль здесь описательная: нравится нам это или нет, суперинтеллект не будет похож на очередной стартап из Сан-Франциско и так или иначе окажется в первую очередь вопросом национальной безопасности. За последний год я не раз упоминал о «Проекте» своим друзьям из Сан-Франциско. Пожалуй, больше всего меня удивило то, насколько большинство удивляются этой идее. Эта возможность просто не приходила им в голову. Но задумавшись, большинство соглашается, что это кажется очевидным. Если мы хоть отчасти правы насчёт того, что, как нам кажется, мы создаём, — то конечно же, в итоге это станет (в той или иной форме) правительственным проектом. Если завтра какая-нибудь лаборатория разработает настоящий суперинтеллект, конечно же федералы вмешаются.
Важная свободная переменная — не если, а когда. Поймёт ли правительство, что происходит, только оказавшись в самом разгаре интеллектуального взрыва, — или осознает это за пару лет до него? Если правительственный проект неизбежен, то ранний вариант выглядит лучше. Нам весьма понадобится эта пара лет, чтобы провести экстренную программу по обеспечению безопасности, ввести ключевых чиновников в курс дела и подготовить их, создать работающую объединённую лабораторию и так далее. Ситуация будет куда хаотичнее, если правительство вмешается только в самый последний момент (и секреты и веса уже будут украдены).
Другая важная свободная переменная — какую международную коалицию мы сможем сплотить? Речь и о более тесном альянсе демократических стран для разработки суперинтеллекта, так и о более широком предложении о совместном разделении выгод для остального мира.
- Первый вариант может напоминать Квебекское соглашение: тайный пакт Черчилля и Рузвельта об объединении ресурсов для разработки ядерного оружия при условии, что они не будут применять его друг против друга или против третьих сторон без взаимного согласия. Нам нужно будет привлечь Великобританию (DeepMind), восточноазиатских союзников, таких как Япония и Южная Корея (цепочка поставок чипов), и ещё НАТО и других ключевых демократических союзников (промышленная база в целом). Объединённые усилия дадут больше ресурсов и талантов и контроль над всей цепочкой поставок; позволят наладить тесное сотрудничество по вопросам безопасности, национальной безопасности и военных вызовов; и обеспечат полезную систему сдержек и противовесов при использовании мощи суперинтеллекта.
- Второй вариант может напоминать программу «Атом для мира», МАГАТЭ и ДНЯО. Мы должны предложить поделиться мирными выгодами суперинтеллекта с более широким кругом стран (включая недемократические) и взять на себя обязательство не использовать против них суперинтеллект в наступательных целях. Взамен они откажутся от собственных проектов по созданию суперинтеллекта, возьмут на себя обязательства по обеспечению безопасности при развёртывании ИИ-систем и согласятся с ограничениями применений технологий двойного назначения. Надежда в том, что это снизит стимулы гонки вооружений и распространению технологий и объединит широкую коалицию под эгидой США для выстраивания мирового порядка в эпоху суперинтеллекта.
Пожалуй, важнейшая свободная переменная — это попросту окажется ли неизбежный государственный проект компетентным. Как он будет организован? Как нам всё это провернуть? Как будут работать системы сдержек и противовесов и как выглядит адекватная цепочка командования? Этому вопросу практически не уделяется внимания.7 Почти все остальные политические игры вокруг ИИ-лабораторий и управления ИИ — лишь второстепенное шоу. Настоящая игра тут.
Эндшпиль
Итак, эндшпиль начнётся к 27/28 году. К 28/29 году интеллектуальный взрыв будет идти полным ходом; к 2030 году мы призовём к жизни суперинтеллект во всей его мощи и силе.
Кто бы ни возглавил «Проект», перед ним будет стоять адская задача: создать СИИ, причём быстро; перевести американскую экономику на военные рельсы, чтобы произвести сотни миллионов GPU; засекретить всё это, выявить шпионов и отразить полномасштабные атаки КПК; как-то управлять сотней миллионов СИИ, яростно автоматизирующих исследования в области ИИ, совершающих за год десятилетний скачок и вскоре создающих ИИ-системы намного умнее самых умных людей; как-то удержать всё под контролем, чтобы процесс не сошёл с рельсов и не привёл к появлению неконтролируемого суперинтеллекта, пытающегося перехватить власть у своих создателей-людей; применять эти суперинтеллекты для разработки любых необходимых для стабилизации ситуации и опережения противников новых технологий, быстро модернизируя под них вооружённые силы США; и всё это — в условиях, вероятно, самой напряжённой международной обстановки в истории. Скажу вам так: лучше бы им оказаться на высоте.
Тем из нас, кого позовут в этот путь, всё это покажется… напряжённым. Но нашим долгом будет служить свободному миру — и всему человечеству. Если мы пройдём через это и сможем оглянуться на те годы, они станут самым важным из всего, что мы когда-либо делали. И хотя на том засекреченном объекте, что нам подыщут, вряд ли будут удобства, к которым привыкли сегодняшние исследователи ИИ с их нелепо раздутыми доходами, всё будет не так уж плохо. Всё равно Сан-Франциско уже напоминает своеобразный студенческий городок для исследователей ИИ; наверное, разница будет невелика. Всё та же удивительно тесная тусовка, которая днём потеет над кривыми масштабирования, а по выходным зависает вместе, судача о СИИ и текущей лабораторной политике.
Только вот… ставки будут уж очень реальными.
Увидимся в пустыне, друзья.