d/acc: год спустя

автор: Vitalik Buterin
Безопасность ИИБиобезопасностьДифференциальный прогрессИнформационная безопасность
 

Особая благодарность Лираз Сири, Джанин Леже и волонтёрам Balvi за обратную связь и рецензирование

Около года назад в статье о технооптимизме я описал свой общий энтузиазм по поводу технологий и огромных преимуществ, которые они могут принести, и высказал ряд опасений по нескольким конкретным поводам, в основном связанных с суперинтеллектуальным ИИ и риском, что при неправильной разработке он приведёт либо к гибели человечества, либо к необратимой утрате им власти. Одной из ключевых идей моего поста была философия d/acc: децентрализованное и демократическое дифференцированное оборонительное ускорение. Ускорять развитие технологий, но при этом делать дифференцированный упор на те, которые улучшают нашу способность защищаться, а не наносить вред, и те, которые распределяют власть, а не концентрируют её в руках узкой элиты, решающей за всех, что правда, ложь, добро и зло. Защита, как в демократической Швейцарии и исторически квазианархистской Зомии, а не как лорды и замки средневекового феодализма.

За прошедший с тех пор год эта философия и идеи заметно развились. Я рассказывал о них в подкасте 80 000 часов и получил много откликов — в основном положительных, но и критические тоже. Сама работа продолжается и приносит плоды: есть прогресс верифицируемых вакцин с открытым исходным кодом, растущее признание ценности чистого воздуха в помещениях, отличные результаты Community Notes, прорывной год для рынков предсказаний как информационного инструмента, использование ZK-SNARKs в государственных удостоверениях личности и социальных сетях (а ещё для обеспечения безопасности кошельков Ethereum через абстракцию аккаунтов), инструменты визуализации с открытым исходным кодом, применяющиеся в медицине и BCI, и не только. Осенью состоялось первое крупное d/acc-событие — «День открытий d/acc» (d/aDDy) на Devcon, — где целый день выступали докладчики со всех направлений d/acc (био-, физической, кибер- и информационной защиты, а ещё нейротехнологий). Годами работающие над этими технологиями люди всё лучше знакомятся с работой друг друга, а сторонние наблюдатели всё яснее видят более широкую картину: те же ценности, что двигали Ethereum и криптосообщество, применимы и к остальному миру.

Три иллюстрированных панели, расположенные рядом, на которых изображён ребёнок, идущий по дороге к замкам на холме; каждая панель представляет отдельную философскую позицию.

Оглавление

  • Что такое d/acc и что он не
  • Третье измерение: выжить и процветать
  • Сложный вопрос: безопасность ИИ, сжатые сроки и регулирование
  • Роль криптосферы в d/acc
  • d/acc и финансирование общественных благ
  • Будущее

Что такое d/acc и что он не

На дворе 2042 год. В СМИ появляются сообщения о новой пандемии, возможно, в вашем городе. Вы к этому уже привыкли: люди чрезмерно волнуются из-за каждой мутации болезней животных, и в большинстве случаев это ни к чему не приводит. Две предыдущие настоящие потенциальные пандемии были обнаружены на очень ранней стадии благодаря мониторингу сточных вод и анализу открытых данных из соцсетей, и полностью купированы в самом зародыше. Но на этот раз рынки предсказаний показывают 60-процентную вероятность как минимум 10 000 случаев заражения, поэтому вы обеспокоены сильнее обычного.

Последовательность генома вируса была определена вчера. Для вашего карманного тестера воздуха уже вышло обновление, позволяющее обнаруживать новый вирус (по одному выдоху или после 15 минут в помещении). Инструкции и открытый код для синтеза вакцины при помощи оборудования, которое можно найти в любом современном медицинском учреждении по всему миру, должны появиться в течение нескольких недель. Большинство людей пока не предпринимают никаких действий, в основном полагаясь на защиту повсюду внедрённых систем фильтрации и вентиляции воздуха. У вас проблемы с иммунитетом, поэтому вы осторожнее: ваш локально работающий персональный ИИ-помощник с открытым исходным кодом, который помимо прочего отвечает за навигацию и рекомендации ресторанов и мероприятий, ещё и учитывает данные с тестеров воздуха и датчиков CO2 в реальном времени, чтобы советовать только самые безопасные заведения. Данные идут от многих тысяч участников и устройств, использующих ZK-SNARKs и дифференциальную приватность, чтобы минимизировать риск утечки или неправомерного использования информации в любых других целях (если вы захотите предоставить данные для этих датасетов, есть и другие персональные ИИ-помощники, которые проверяют формальные доказательства, что эти криптографические механизмы действительно работают).

Два месяца спустя пандемия сошла на нет: похоже, 60% людей, которые соблюдали базовый протокол — надевали маску по звуковому сигналу о наличии вируса от тестера воздуха, и оставались дома в случае положительного результата своего теста, оказалось достаточно, чтобы снизить коэффициент передачи (и без того значительно упавший благодаря постоянно интенсивной фильтрации воздуха) до значения ниже 1. Болезнь, которая, согласно моделированию, двадцать лет назад могла бы стать в пять раз страшнее ковида, сегодня вообще не представляет проблемы.

Сделанная на Devcon фотография докладчика на сцене перед большим проецируемым слайдом об инфракрасном контроле кремния методом IRIS. Текст на слайде: DC7 SEA. Инфракрасный контроль кремния на месте (IRIS). Эндрю «bunnie» Хуанг. QR-код сессии.
Фотография переполненного конференц-зала Devcon, где участники сидят за столами и стоят вдоль стен, слушая доклад.
День d/acc на Devcon

Один из самых позитивных итогов d/acc-мероприятия на Devcon — то, насколько успешно концепция d/acc объединила людей из очень разных областей и побудила их по-настоящему заинтересоваться работой друг друга.

Организовывать мероприятия под лозунгом «разнообразия» легко, но заставить разных людей с разным опытом и интересами в самом деле находить общий язык — сложно. Я всё ещё вспоминаю, как в средней и старшей школе меня заставляли смотреть длинные оперы, которые лично мне казались скучными. Я знал, что «должен» их ценить, потому что иначе оказался бы бескультурным неряхой-кодером, но я не чувствовал никакой связи с этим материалом на более искреннем уровне. День d/acc совсем не вызывал таких ощущений: чувствовалось, что людям действительно нравится узнавать о самых разных видах работы в различных сферах.

Если мы хотим создать более светлую альтернативу подчинению, замедлению и гибели, нам нужно выстраивать именно такие широкие коалиции. Похоже, движению d/acc это и правда удаётся, и это уже доказывает ценность идеи.

Основная идея d/acc проста: децентрализованное и демократическое дифференцированное оборонительное ускорение. Нужно создавать технологии, которые смещают баланс атаки и защиты в сторону защиты, причём так, чтобы не передавать больше власти централизованным органам. Эти два аспекта неразрывно связаны: децентрализованные, демократические или либеральные политические структуры лучше процветают, когда защищаться легко, и страдают, когда защищаться сложно — ведь в таких случаях гораздо вероятнее исход войны всех со всеми какое-то время, а в итоге равновесия в виде власти сильнейших.

Основной принцип d/acc распространяется на многие сферы:

Концептуальная диаграмма 2x2 оборонительных технологий d/acc с осью от «Мира атомов» к «Миру битов» и центральным узлом «Оборона». Показаны четыре квадранта, каждый со своим значком: шприц с вирусными частицами для «Микро» (особенно био), ноутбук с висячим замком для «Кибер», щит для «Макро» и монитор компьютера с лицами для «Инфо».
Схема из My techno-optimism за прошлый год

Один из способов понять, почему важно стремиться одновременно к децентрализации, обороне и ускорению, — противопоставить такой подход философиям, которые получатся, есть отказаться от одного из этих трёх аспектов.

  • Децентрализованное ускорение без внимания к «дифференциальной обороне». Это, по сути, e/acc, только децентрализованное. Куча людей придерживаются этого подхода: некоторые называют себя d/acc, но любезно уточняют, что их фокус — «НАПАДЕНИЕ»; многие другие тоже с большим, пусть и не настолько, энтузиазмом относится к «децентрализованному ИИ» и схожим темам, но, на мой взгляд, недостаточно внимания уделяет «оборонительному» аспекту.

    На мой взгляд, такой подход, возможно, и позволяет избежать риска глобальной диктатуры конкретного племени, которого вы опасаетесь, но не даёт ответа на более глубокую структурную проблему: в среде, благоприятствующей нападению, сохраняется постоянный риск либо катастрофы, либо что кто-то возьмёт на себя роль защитника и надолго закрепится на вершине. Ещё в случае с ИИ у этого подхода нет удачного ответа на риск, что человечество в целом окажется бессильным перед ИИ.

  • Дифференцированное оборонительное ускорение, но без оглядки на «децентрализованность и демократию». Принятие централизованного контроля ради безопасности всегда привлекает определенную часть людей, и читатели, несомненно, уже знакомы с многими примерами и их минусами. В последнее время некоторые опасаются, что крайняя степень централизованного контроля — единственное решение для крайних проявлений технологий будущего: см. этот гипотетический сценарий, где «каждый носит „метку свободы“ — развитие знакомых нам сегодня более ограниченных носимых устройств наблюдения, вроде браслета на лодыжке, используемый в некоторых странах как альтернативу тюремному заключению… зашифрованные видео и аудио непрерывно загружаются и интерпретируются машиной в режиме реального времени». Впрочем, централизованный контроль — это спектр. Одна из более мягких его форм, которую обычно упускают из виду, но она всё же наносит вред — это сопротивление публичной проверке в сфере биотехнологий (к примеру, продукты питания и вакцины), а ещё нормы закрытого исходного кода, позволяющие этому сопротивлению оставаться неоспоренным.

    Риск такого подхода, конечно, что центр часто сам по себе — источник риска. Мы видели это на примере Covid: возможно, что пандемию вызвали исследования усиления функций вирусов, финансировавшиеся несколькими крупными правительствами; централизованная эпистемология привела к тому, что ВОЗ годами не признавала, что Covid передаётся воздушно-капельным путём; а принудительные меры социального дистанцирования и вакцинации вызвали политическую реакцию, отголоски которой могут ощущаться десятилетиями. Похожая ситуация вполне может повториться и вокруг любых рисков, связанных с ИИ или другими опасными технологиями. Децентрализованный подход лучше справлялся бы с рисками, исходящими от самого центра.

  • Децентрализованная защита, но без заботы об ускорении — по сути, попытка замедлить технологический прогресс или идеи экономического антироста.

    Проблема этой стратегии двояка. Во-первых, в целом технологии и экономический рост принесли человечеству огромную пользу, и цену любой задержки этого процесса трудно преувеличить. Во-вторых, в нетоталитарном мире отсутствие прогресса ведёт к нестабильности: впереди окажется тот, кто больше всех «мухлюет» и продвигается, сохраняя возможность правдоподобно всё отрицать. В некоторых условиях стратегии замедления развития могут в той или иной степени работать: один пример — что европейская еда полезнее американской, другой — что программа нераспространения ядерного оружия пока успешна. Но они не могут работать вечно.

С d/acc мы хотим:

  • Оставаться принципиальными, когда большая часть мира разделилась на племена, и не просто строить что попало, а создавать конкретные вещи, которые делают мир безопаснее и лучше.
  • Признать: экспоненциальный технологический прогресс означает, что мир станет очень-очень странным, а общий «след» человечества во Вселенной будет только расти. Наша способность защищать уязвимых животных, растения и людей от опасности должна улучшиться, но единственный выход — это движение вперёд.
  • Создавать технологии, которые обеспечивают нашу безопасность, не исходя из предположения, что «у руля стоят хорошие парни (или хорошие ИИ)». Мы делаем это, создавая инструменты, которые по своей природе более эффективны для созидания и защиты, чем для разрушения.

Ещё один способ осмыслить d/acc — вспомнить подход движения Пиратских партий в Европе в конце нулевых: расширение возможностей.

Диаграмма «Философия и политика Пиратского колеса» с концентрическими кольцами-блоками «Основа», «Принципы», «Выводы» и «Политика» и цветными соединительными линиями, показывающими взаимосвязи элементов.

Цель: построить мир, где мы сохраним человеческую субъектность, достигнув и того, и другого: отрицательной свободы, позволяющей избежать активного вмешательства (и других частных лиц, и правительств, и суперинтеллектуальных ботов) в нашу способность формировать собственную судьбу, и положительной свободы, гарантирующей, что у нас есть для этого знания и ресурсы. Это перекликается с многовековой традицией классического либерализма, которая, наряду со свободой, включает в себя фокус Стюарта Брэнда на «доступе к инструментам» и фокус Джона Стюарта Милля на образовании как на ключевых компонентах человеческого прогресса; можно добавить ещё стремление Бакминстера Фуллера к тому, чтобы процесс решения глобальных проблем был совместным и широко распределённым. Мы можем рассматривать d/acc как способ достижения тех же целей с учётом технологического ландшафта XXI века.

Третье измерение: выжить и процветать

В моём прошлогоднем посте концепция d/acc была сосредоточена на оборонительных технологиях: физической, биологической, кибер- и информационной защите. Но одной лишь децентрализованной защиты не хватит, чтобы сделать мир лучше: нужно и дальновидное позитивное видение, чего человечество сможет достичь благодаря своей новообретённой децентрализации и безопасности.

В прошлогоднем посте было позитивное видение, причём в двух местах:

  1. Сосредоточившись на проблемах суперинтеллекта, я предложил путь (отнюдь не мной придуманный) к суперинтеллекту без утраты контроля:
    1. Сегодня — создавать ИИ как инструменты, а не как высокоавтономных агентов
    2. Завтра — использовать инструменты вроде виртуальной реальности, миоэлектрический технологий и интерфейсов «мозг — компьютер», чтобы создавать всё более тесную обратную связь между ИИ и людьми.
    3. Со временем двигаться к эндшпилю, где суперинтеллект будет тесно связанной комбинацией машин и нас самих.
  2. Говоря об информационной защите, я ещё вскользь упомянул, что помимо оборонительных социальных технологий, которые пытаются помочь сообществам сохранять сплочённость и поддерживать качественный дискурс перед лицом злоумышленников, есть и прогрессивные социальные технологии, помогающие сообществам легче принимать качественные решения: pol.is — один из примеров, а рынки предсказаний — другой.

Но эти два пункта казались оторванными от аргументации d/acc: «вот несколько идей о том, как сделать мир на базовом уровне более демократичным и ориентированным на защиту, а вот, кстати, несколько отдельных идей,как нам быть с суперинтеллектом».

Однако я считаю, что на самом деле есть очень важные связи между, как мы их называли, «оборонительными» и «прогрессивными» d/acc-технологиями. Давайте расширим диаграмму d/acc из прошлогоднего поста, добавив на неё эту ось (а заодно переименуем её в «выживание или процветание») и посмотрим, что из этого получится:

Расширенная диаграмма d/acc, организованная по трём осям: «Выживание» против «Процветания» (по диагонали) и «Мир атомов» против «Мира битов» (по горизонтали). Иконки и надписи соединены стрелками. В верхней половине («Выживание») показаны иконка вируса для биозащиты, щит для физической устойчивости, ноутбук с замком для киберзащиты и монитор с лицами для информационной защиты. В нижней половине («Процветание») изображены: женщина с растениями для долголетия, мозг с компьютером для BCI, стилизованный город для физического изобилия и экран для технологий сотрудничества, а ещё значок компьютерной сети для открытых децентрализованных вычислительных мощностей (программное и аппаратное обеспечение).

Есть устойчивая закономерность по всем областям: в каждой наука, идеи и инструменты, которые могут помочь нам «выжить» тесно связаны с наукой, идеями и инструментами, которые могут помочь нам «процветать». Несколько примеров:

  • Многие недавние исследования по борьбе с COVID-19 фокусируются на роли вирусной персистенции в организме как механизме, объясняющем, почему затяжной COVID — такая большая проблема. А в последнее время появляются данные, что вирусная персистенция может быть причиной болезни Альцгеймера. Если это верно, получается, что решение проблемы вирусной персистенции во всех типах тканей может стать ключом к преодолению старения.
  • Недорогие и миниатюрные инструменты визуализации, подобные тем, что разрабатывает Openwater, могут стать мощным средством для лечения микротромбов, вирусной персистенции и рака, а ещё могут использоваться для BCI.
  • Очень схожие идеи лежат в основе создания социальных инструментов для крайне состязательных сред, например Community Notes, и социальных инструментов для относительно кооперативных сред, вроде pol.is.
  • Рынки предсказаний ценны как при высоком уровне сотрудничества, так и при высокой состязательности.
  • Доказательства с нулевым разглашением и аналогичные технологии, позволяющие выполнять вычисления над данными с сохранением конфиденциальности, не только увеличивают объём данных, доступных полезной деятельности вроде науки, но и повышают уровень конфиденциальности.
  • Солнечная энергия и аккумуляторы отлично подходят для ускорения следующей волны экологически чистого экономического роста, но они же невероятно полезны для децентрализации и физической устойчивости.

Кроме этого, есть и важные взаимозависимости между предметными областями:

  • BCI крайне важен как технология информационной защиты и сотрудничества, поскольку он может обеспечить гораздо более детальную коммуникацию наших мыслей и намерений. Взаимодействие через BCI — не только направление «от бота к сознанию», это может быть и «от сознания к боту и обратно». Это перекликается с идеями Plurality о ценности BCI.
  • Большая часть биотехнологий зависит от обмена информацией, и во многих случаях люди будут готовы делиться информацией только при уверенности, что она будет использована исключительно для одной конкретной цели. Для этого нужны технологии конфиденциальности (например, ZKP, FHE, обфускации…)
  • Технологии сотрудничества можно использовать для координации финансирования любых других технологических направлений.

Сложный вопрос: безопасность ИИ, сжатые сроки и регулирование

Нарисованный от руки график с вертикальной осью и горизонтальной осью времени с отмеченными годами. На ней разбросаны несколько точек и коротких аннотаций. Текст (частично разборчивый): p(гибель) меньше 0,01. Возможно, в 2100 году или никогда. 2025. Нам конец. Наступает 2027 год. p(гибель) равно 1.
У людей очень разные сроки развития ИИ. График с Zuzalu в Черногории, 2023 год.

Самым убедительным аргументом против моего прошлогоднего поста была критика от сообщества безопасности ИИ. Аргумент такой: «Конечно, если до появления сильного ИИ (СИИ) у нас в запасе полвека, мы можем сконцентрировать свои силы и создать все эти хорошие вещи. Но похоже на то, что до СИИ на самом деле года три, а до суперинтеллекта — ещё три. Так что, если мы не хотим, чтобы мир был уничтожен или ещё как-то попал в необратимую ловушку, мы не можем просто ускорять хорошее. Мы должны и замедлять плохое, что значит — принять жёсткие меры регулирования, которые могут вызвать недовольство влиятельных людей». В своем прошлогоднем посте я и правда не призывал к какой-либо конкретной стратегии «замедления плохого», кроме общих призывов не создавать рискованные формы суперинтеллекта. Так что здесь стоит подойти к этому вопросу напрямую: какое регулирование я бы поддержал, если мы действительно живем в наименее удобном мире, где риск ИИ высок, а сроки до СИИ потенциально составляют пять лет?

Во-первых, аргументы за осторожность в отношении новых регуляций

В прошлом году основным предложением по регулированию ИИ был законопроект SB-1047 в Калифорнии. SB-1047 обязывал разработчиков самых мощных моделей (тех, на обучение которых уходит более 100 млн долларов, или более 10 млн долларов в случае дообучения) принимать определенные меры по тестированию безопасности перед выпуском. Кроме того, он возлагал юридическую ответственность на разработчиков ИИ-моделей в случае их недостаточной осторожности. Многие критики утверждали, что законопроект «угрожает открытому исходному коду»; я с этим не соглашался, поскольку из-за пороговых значений затрат законопроект касался только мощнейших модели: вероятно, даже LLama3 не дотягивала. Однако, оглядываясь назад, я считаю, что у законопроекта была более серьезная проблема: как и большинство регуляций, он был «переобучен» под текущую ситуацию. Акцент на затратах на обучение уже сейчас оказывается неустойчивым перед лицом новых технологий: недавняя передовая модель Deepseek v3 была обучена с затратами всего в 6 миллионов долларов, а в новых моделях, вроде o1, затраты в целом смещаются с обучения на инференс.

Во-вторых, если рассуждать реалистично, вероятнее всех виновниками сценария гибели от ИИ-суперинтеллекта станут военные. Как мы убедились за последние полвека в сфере биобезопасности (и не только), военные готовы совершать пугающие вещи и легко допускают ошибки. Военное применение ИИ стремительно развивается (см. Украину и Газу). И любые принятые правительством нормы безопасности по умолчанию не распространялись бы на его собственные вооружённые силы и тесно сотрудничающие с ними корпорации.

Но всё же, эти аргументы — не поводом опустить руки и ничего не делать. Напротив, мы можем использовать их как ориентир и попытаться разработать правила, которые в наименьшей степени вызывали бы подобные опасения.

Стратегия 1: Юридическая ответственность

Если чьи-то действия причиняют ущерб, за который предусмотрена юридическая ответственность, на него могут подать в суд. Это не решает проблему рисков от военных и других стоящих «над законом», но это универсальный подход, позволяющий избежать «переобучения», поэтому его часто поддерживают экономисты либертарианского толка.

До сих пор основными субъектами юридической ответственности рассматривались:

  • Пользователи — люди, использующие ИИ
  • Развёртывающие — посредники, предоставляющие пользователям ИИ в качестве услуги
  • Разработчики — люди, создающие ИИ

Возложение юридической ответственности на пользователей кажется самым подходящим вариантов с точки зрения стимулов. Хотя связь того, как разрабатывается модель, и тем, как она в конечном итоге используется, часто неясна, пользователь точно решает, как именно будет использоваться ИИ. Возложение юридической ответственности на пользователей создает сильное давление, побуждающее развивать ИИ способом, который я считаю правильным: сосредоточиться на создании «меха-костюмов» для человеческого разума, а не на создании новых форм самоподдерживающейся разумной жизни. В первом случае ИИ стабильно реагирует на намерения пользователя так что не приведет к катастрофическим действиям, если только пользователь сам этого не захочет. Во втором случае возникает максимальный риск, что система выйдет из-под повиновения и реализуется классический сценарий «выхода ИИ из-под контроля». Ещё одно преимущество возложения юридической ответственности как можно ближе к конечному этапу использования — это минимизирует риск, что юридическая ответственность приведёт к действиям, наносящим вред иными способами (например, к закрытию исходного кода, KYC и слежке, сговору государства и бизнеса с целью тайного ограничения пользователей, как в случае отключения от банковских услуг, или блокировкой доступа для обширных регионов мира).

Есть классический аргумент против возложения юридической ответственности исключительно на пользователей: они могут быть обычными людьми без больших средств, или даже анонимными, так что не останется никого, кто мог бы реально возместить ущерб в случае катастрофы. Значимость этого аргумента иногда преувеличивают: даже если некоторые пользователи слишком мелки, чтобы нести юридическую ответственность, средний клиент разработчика ИИ не такой, так что у них всё же будет стимул создавать продукты, дающие пользователям уверенность, что они не берут на себя высокий риск юридической ответственности. Но аргумент остаётся обоснованным и требует решения. Нужно создать стимулы для кого-то в цепочке, обладающего ресурсами для проявления надлежащей осторожности, и легкодоступные цели, имеющие большое влияние на то, насколько (без)опасна та или иная модель — те, кто развёртывает и разрабатывает ИИ.

Возложение ответственности на тех, кто развёртывает модель, кажется разумным. Часто приводят опасение, что это не сработает для моделей с открытым исходным кодом, но похоже, эта проблема вполне решаема, особенно учитывая высокую вероятность, что мощнейшие модели всё равно будут с закрытым исходным кодом (а если нет, то, хотя юридическая ответственность развёртывающей стороны и не будет особо полезной, она не принесёт большого вреда). В отношении ответственности разработчика есть то же самое опасение (хотя в случае моделей с открытым исходным кодом возникает некоторое препятствие в виде необходимости дообучения модели, чтобы заставить её делать то, что изначально было запрещено), но и контраргумент тот же. Общий принцип «налога» на контроль и, по сути, заявления «вы можете создавать то, что вы не контролируете, либо создавать то, что вы контролируете, но тогда 20% контроля должны быть использованы в наших целях» кажется вполне разумной позицией для правовых систем.

Ещё одна идея, которая кажется недостаточно изученной — возложение юридической ответственности на других участников цепочки, которые с большей гарантией обладают достаточными ресурсами. Идея, которая отлично вписывается в концепцию d/acc: возложить юридическую ответственность на владельцев или операторов любого оборудования, контроль над которым перехватывает ИИ (например, посредством хакерства) в процессе совершения какого-либо катастрофически опасного действия. Это создало бы очень широкий стимул для сложной работы по обеспечению максимальной безопасности мировой инфраструктуры (особенно вычислительной и биологической).

Стратегия 2: Глобальная кнопка «мягкой паузы» на промышленном «железе»

Будь я был убеждён, что нам нужно что-то «повещественнее» юридической ответственности, я бы выбрал именно это. Целью была бы возможность сократить доступные во всём мире вычислительные мощности примерно на 90–99% на 1–2 года критического периода, чтобы выиграть больше времени для подготовки человечества. Значение 1–2 лет не стоит недооценивать: один год в режиме «военного времени» может легко стоить ста лет работы в спокойных условиях. Исследованы способы реализации «паузы», включая конкретные предложения, вроде требования регистрации и проверки местонахождения оборудования.

Более продвинутый подход: использовать хитроумные криптографические уловки. Например, ИИ-оборудование промышленных масштабов (но не потребительское) можно было бы оснастить доверенным аппаратным чипом, который продолжает работать, только если раз в неделю получает 3 из 3 подписей от крупных международных организаций, включая как минимум одну, не связанную с военными структурами. Подписи были бы независимыми от конкретного устройства (при желании можно даже требовать доказательство с нулевым разглашением, что они опубликованы в блокчейне), поэтому действовал бы принцип «всё или ничего»: не было бы почти никакого способа разрешить работу одному устройству, но не всем остальным.

Похоже, с точки зрения максимизации выгод и минимизации рисков такой подход по всем пунктам хорош:

  • Это полезная возможность: получив предупреждающие знаки, что почти суперинтеллектуальный ИИ начинает совершать действия, несущие риск катастрофического ущерба, нам захочется замедлить этот переход.
  • Пока такой критический момент не наступит, само по себе наличие возможности «мягкой паузы» почти не вредит разработчикам.
  • Фокус на аппаратном обеспечении промышленного масштаба и постановка цели лишь на уровне 90–99 % позволят избежать дистопических попыток устанавливать шпионские чипы или аварийные выключатели в потребительские ноутбуки или навязывать драконовские меры малым странам вопреки их воле.
  • Фокус на аппаратном обеспечении выглядит весьма устойчивым к технологическим изменениям. На примере нескольких поколений ИИ мы убедились, что качество сильно зависит от доступных вычислительных мощностей, особенно при ранних версиях новой парадигмы. Значит, сокращение доступных вычислительных мощностей в 10–100 раз может легко стать решающим фактором в том, выиграет или проиграет вышедший из-под контроля суперинтеллектуальный ИИ в быстротечной битве против пытающихся его остановить людей.
  • Неизбежное неудобство необходимости раз в неделю выходить в интернет для получения подписи создало бы сильное сопротивление распространению этой схемы на потребительское оборудование.
  • Это можно было бы контролировать выборочными проверками, а реализация на аппаратном уровне затруднила бы предоставление исключений конкретным пользователям (у подходов юридического, а не технического принуждения к отключению нет этого свойства «всё или ничего», что значительно повышает риск незаметно скатиться к предоставлению исключений военным и т. п.).

Регуляция на аппаратном уровне уже активно рассматривается, хотя в основном через призму экспортного контроля, который по своей сути опирается на философию «мы доверяем своей стороне, но не другой». Леопольд Ашенбреннер, как известно, выступает за то, чтобы США поспешили получить решающее преимущество, а затем фактически заставили Китай подписать протокол, ограничивающий количество машин, которые им разрешено запускать. Мне этот подход кажется рискованным: он может сочетать в себе недостатки многополярных гонок и централизации. Если уж приходится ограничивать людей, то, по-моему, лучше ограничивать всех на равных условиях и проделать сложную работу по налаживанию реального сотрудничества для организации процесса, вместо того чтобы одна из сторон стремилась доминировать над всеми остальными.

Технологии d/acc в контексте риска ИИ

У обеих стратегий (юридической ответственности и аппаратной «кнопки паузы») есть слабые места, и очевидно, что они — лишь временные меры: если в момент T что-то становится возможным сделать на суперкомпьютере, то, скорее всего, в момент T + 5 лет можно будет и на ноутбуке. Так что нам нужно нечто более стабильное, ради чего мы и выигрываем это время. Здесь актуальны многие технологии d/acc. Их роль можно рассмотреть следующим образом: если ИИ захватит мир, как именно он это сделает?

  • Он взламывает наши компьютеры → киберзащита
  • Он создаёт суперчуму → биозащита
  • Он убеждает нас (либо доверять ему, либо не доверять друг другу) → инфозащита

Как кратко упоминалось выше, правила юридической ответственности — естественный для d/acc стиль регулирования, поскольку они могут весьма эффективно мотивировать всех в мире внедрять эти средства защиты и серьёзно к ним относиться. Тайвань недавно экспериментировал с юридической ответственностью за ложную рекламу, что можно рассматривать как один из примеров использования юридической ответственности для поощрения информационной защиты. Мы не должны слишком увлекаться повсеместным введением юридической ответственности; надо помнить о преимуществах старой доброй свободы, позволяющей простым людям участвовать в инновациях без страха перед судебными исками. Но там, где мы действительно хотим сильнее стимулировать безопасность, юридическая ответственность может быть довольно гибкой и эффективной.

Роль криптосферы в d/acc

Многое в d/acc выходит далеко за рамки типичных крипто-тем: биобезопасность, нейроинтерфейсы (BCI) и инструменты для совместных дискуссий кажутся далёкими от того, о чём обычно рассуждает криптоэнтузиаст. Однако, я считаю, что есть важные связи криптосферы и d/acc, в частности:

  • d/acc — это распространение основополагающих ценностей криптосферы (децентрализации, сопротивления цензуре, открытости глобальной экономики и общества) на другие области технологий.
  • В криптосфере все пользователи по своей природе — ранние энтузиасты, и их ценности совпадают с идеями движения, так что криптосообщества естественным путём становятся первыми пользователями d/acc-технологий. Сильный акцент на сообществе (как онлайн, так и офлайн — например, на мероприятиях и поп-апах), и тот факт, что эти сообщества действительно занимаются серьёзными делами с высокими ставками, а не просто общаются друг с другом, делают их особенно перспективными инкубаторами и полигонами для d/acc-технологий, которые в своей основе работают на уровне групп, а не отдельных лиц (например, значительная часть информационной защиты и биозащиты). Криптоэнтузиасты просто берут и делают всё вместе.
  • Многие криптотехнологии можно применять в предметных областях d/acc: блокчейны — для создания более надежной и децентрализованной инфраструктуры финансов, управления и социальных сетей, доказательства с нулевым разглашением — для защиты конфиденциальности и т. д. Сегодня многие из крупнейших рынков предсказаний построены на блокчейнах, и они плавно становятся всё сложнее, децентрализованнее и демократичнее.
  • Есть и взаимовыгодные возможности сотрудничества над смежными с криптоиндустрией технологиями, которые очень полезны для криптопроектов, но при этом критически важны и для достижения целей d/acc: формальная верификация, защита и надёжность ПО и «железа» и состязательно-устойчивые технологии управления. Всё это делает блокчейн Ethereum, кошельки и DAO безопаснее и надежнее, а ещё способствует достижению важных цивилизационных оборонительных целей, вроде снижения нашей уязвимости к кибератакам, потенциально и со стороны суперинтеллектуального ИИ.
Скриншот с телефона с приложением Cursive connections, показывающий профиль пользователя с заметкой, иконкой-смайликом и разделом с перечислением общих интересов, вычисленных из пересечения зашифрованных данных с другим пользователем. Текст: из Worldcoin. Живёт на Каймановых островах, родом из Новой Зеландии. Ваша заметка. Fren. Ваша метка. Связи, в которых ваши зашифрованные данные пересекаются. Что у вас обоих общего? Пересечение вычислено на момент, когда вы оба подключились к 2PC + FHE. Заботьтесь о здоровье. Работайте вместе. Наслаждайтесь едой. Ищите соавторов. Отправляйтесь исследовать. Веселитесь. Проводите умственные тренировки. connections.cursive.team.
Cursive — приложение, использующее полностью гомоморфное шифрование (FHE) и позволяющее пользователям выявлять области общих интересов с другими людьми, сохраняя при этом конфиденциальность. Оно использовалось на Edge City, одном из многих ответвлений Zuzalu, в Чиангмае.

Помимо этих прямых пересечений, есть ещё одна важнейшая общая точка интереса: механизмы финансирования.

d/acc и финансирование общественных благ

Один из моих постоянных интересов — разработка более эффективных механизмов финансирования общественных благ: проектов, которые ценны для огромного числа людей, но лишены естественной и доступной бизнес-модели. Моя прошлая работа в этой области включает вклад в квадратичное финансирование и его применение в Gitcoin Grants, ретро-PGF, а с недавних пор и в глубокое финансирование.

Многие люди скептически относятся к концепции общественных благ. Это, как правило, обусловлено двумя причинами:

  1. Тот факт, что общественными благами исторически оправдывали жёсткое центральное планирование и государственное вмешательство в жизнь общества и экономику.
  2. Распространённое мнение, что финансирование общественных благ не отличается строгостью и основано на искажении в пользу социальной желательности — то есть на том, что хорошо звучит, а не том, что на самом деле хорошо — и благоприятствует «своим», умеющим вести социальные игры.

Это важная и справедливая критика. Но я считаю, что сильное децентрализованное финансирование общественных благ очень важно для концепции d/acc, поскольку одна из её ключевых целей (минимизация количества централизованных точек контроля) по своей сути мешает многим традиционным бизнес-моделям. Можно построить успешный бизнес на базе открытого исходного кода — так делают некоторые грантополучателей Balvi — но иногда это настолько сложно, что важным проектам требуется постоянная дополнительная поддержка. Так что, надо взяться за сложную задачу и выяснить, как организовать финансирование общественных благ так, чтобы одолеть эти две критики.

По сути, первую проблему решают достоверная нейтральность и децентрализация. Центральное планирование проблематично, поскольку оно передаёт контроль элитам, которые могут им злоупотреблять, и, к тому же, часто «переобучается» под текущую ситуацию, так что со временем становится всё менее эффективным. Квадратичное финансирование и подобные механизмы были созданы именно для финансирования общественных благ таким образом, чтобы обеспечить максимально достоверную нейтральность и (с архитектурной и политической точек зрения) децентрализацию.

Вторая проблема сложнее. В отношении квадратичного финансирования часто звучит критика о том, что оно быстро превращается в конкурс популярности, вынуждая создателей проектов тратить много сил на публичные кампании. Кроме того, финансирование получают проекты, которые «на виду у людей» (например, приложения для конечных пользователей), тогда как проекты, которые скорее на втором плане (архетипичная «зависимость, поддерживаемая одним парнем из Небраски»), не получают финансирования вовсе. Ретроактивное финансирование Optimism опирается на меньшее количество обладателей экспертных бумажек; здесь эффект «конкурса популярности» снижается, но усиливаются социальные эффекты от наличия тесных личных связей с обладателями бумажек.

Deep funding — моя последняя попытка решить эту проблему. Два основных нововведения Deep funding:

  1. Граф зависимостей. Вместо того чтобы задавать каждому члену жюри глобальный вопрос («какова ценность проекта A для человечества?»), мы задаём локальный вопрос («какой из проектов, A или B, ценнее для достижения результата C? И насколько?»). Люди плохо справляются с глобальными вопросами: в известном исследовании, когда их спрашивали, сколько денег они заплатили бы, чтобы спасти N птиц, респонденты называли примерно 80 долларов при N=2 000, N=20 000 и N=200 000. Локальные вопросы гораздо посильнее. Затем мы объединяем локальные ответы в глобальный, ведя «граф зависимостей»: для каждого проекта — какие другие проекты способствовали его успеху и в какой степени?
  2. ИИ как дистиллированное человеческое суждение. Каждому члену жюри назначается лишь небольшая случайная выборка из всех вопросов. В рамках открытого конкурса любой желающий может представить ИИ-модель, пытающуюся эффективно заполнить все рёбра графа. Окончательный ответ — взвешенная сумма моделей, наиболее совместимая с ответами жюри. См. здесь пример кода. Такой подход позволяет механизму масштабироваться до очень больших размеров, при этом требуя от жюри предоставления лишь небольшого количества «битов» информации. Это снижает вероятность коррупции и гарантирует высокое качество каждого бита: члены жюри могут позволить себе долго обдумывать каждый вопрос, а не быстро прокликивать сотни вариантов. Используя открытый конкурс ИИ, мы снижаем предвзятость от процесса обучения и администрирования любого отдельно взятого ИИ. Открытый рынок ИИ — двигатель, люди — руль.
Иерархическая древовидная диаграмма с цветными и белыми соединенными стрелками узлами. Оранжевые, синие, зелёные и пустые ветви отображают поддеревья зависимостей на нескольких уровнях.

Но deep funding — лишь последний пример. Уже предлагались другие идеи механизмов финансирования общественных благ, а в будущем их будет куда больше. allo.expert отлично справляется с их каталогизацией. Основная цель — создание социального инструмента для финансирования общественных благ с точностью, справедливостью и открытостью доступа, хотя бы приблизительно соответствующей тому, как рынки финансируют частные блага. Он не обязательно должен быть идеален; да и рынки сами по себе далеки от идеала. Но он должен быть достаточно эффективен, чтобы разработчики, работающие над высококачественными проектами с открытым исходным кодом, приносящими пользу всем, могли позволить себе продолжать эту работу, не чувствуя нужду совершать неприемлемые компромиссы.

Сегодня ведущие проекты в большинстве предметных областей d/acc — вакцины, BCI, «пограничные BCI», вроде миоэлектрических датчиков на запястье и отслеживания движений глаз, препараты против старения, «железо» и т. д. — проприетарны. Это серьёзная проблема для обеспечения общественного доверия, как мы уже убедились на примере многих упомянутых сфер. Ещё это смещает фокус внимания на конкурентную динамику («НАША КОМАНДА должна победить в этой ключевой отрасли!») и отвлекает от более масштабной задачи — добиться, чтобы эти технологии появились достаточно быстро и смогли защитить нас в мире суперинтеллектуального ИИ. Поэтому надёжное финансирование общественных благ может стать мощным двигателем открытости и свободы. И это ещё один способ, как криптосообщество может помочь d/acc: приложив серьёзные усилия к изучению этих механизмов финансирования и обеспечив их эффективную работу в собственном контексте, тем самым подготовив их к гораздо более широкому внедрению в открытые науку и технологию в целом.

Будущее

Четырёхпанельная иллюстрация, на которой ребёнок стоит на тропе перед несколькими расходящимися путями: первый, центральный путь ведёт к светлому замку с надписью d/acc, второй — к замку под грозовыми тучами с надписью «Подчинение» слева, третий — к пустоши с надписью «Гибель» справа, а четвёртый — назад, в пасть медведя с надписью «Замедление».

Ближайшие несколько десятилетий принесут с собой серьезные вызовы. В последнее время я часто размышляю о двух из них:

  • Стремительно приближаются новые мощные волны технологий, в особенности сильный ИИ, и эти они таят в себе серьезные ловушки, которых нам надо избежать. Возможно, до появления «искусственного суперинтеллекта» пройдет пять лет, а может, и все пятьдесят. В любом случае нет уверенности, что исход по умолчанию будет автоматически положительным, и, как описано в этом и предыдущем посте, есть много ловушек, которых следует избегать.
  • Мир становится менее кооперативным. Многие влиятельные игроки, которые раньше, казалось, хотя бы иногда руководствовались высокими принципами (космополитизм, свобода, общность человечества… список можно продолжать), теперь более открыто и агрессивно следуют личным или узкогрупповым интересам.

Однако у каждого из этих вызовов есть и светлая сторона. Во-первых, теперь у нас есть очень мощные инструменты, позволяющие быстрее выполнить оставшуюся работу:

  • Современный ИИ и тот, что будет в ближайшем будущем, можно использовать для создания других технологий и как элемент управления (например, в глубоком финансировании или инфофинансах). Это весьма актуально и для BCI, который сам по себе может обеспечить ещё больший рост производительности.
  • Теперь возможна куда более масштабная координация, чем раньше. Интернет и соцсети расширили охват координации, глобальные финансы (включая криптовалюты) увеличили её мощь, а теперь средства информационной защиты и инструменты для совместной работы могут повысить её качество, и, возможно, в скором времени BCI вида «человек-компьютер-человек» сможет увеличить её глубину.
  • Формальная верификация, изолированные песочницы (веб-браузеры, Docker, Qubes, GrapheneOS и многое другое), защищенные аппаратные модули и прочие технологии совершенствуются настолько, что делают возможной гораздо более надежную кибербезопасность.
  • Написание любого программного обеспечения значительно упростилось по сравнению с тем, каким оно было два года назад.
  • Недавние фундаментальные исследования механизмов действия вирусов, и особенно простое понимание, что защищаться надо прежде всего от воздушно-капельной передачи, указывают гораздо более чёткий путь к улучшению биологической защиты.
  • Недавние достижения биотехнологий (например, CRISPR и успехи в биовизуализации) делают все их виды куда доступнее — будь то для защиты, продления жизни, суперсчастья, исследования многих новых биологических гипотез или просто создания действительно крутых штук.
  • Суммарно достижения вычислительной техники и биотехнологий позволяют создавать инструменты синтетической биологии, которыми можно пользоваться для адаптации, мониторинга и улучшения собственного здоровья. Технологии киберзащиты, такие как криптография, делают персонализацию всего этого куда жизнеспособнее.

Во-вторых, теперь, когда многие дорогие нам принципы больше не монополизированы отдельными сегментами старой гвардии, их может вернуть себе широкая коалиция, открытая для всех желающих. Это, пожалуй, главный плюс недавних политических «перегруппировок» по всему миру, и им стоит воспользоваться. Криптоиндустрия уже отлично с этим справилась, завоевав мировую популярность; d/acc может сделать то же самое.

Цифровой рисунок пышного городского пейзажа в стиле соларпанк в дневное время: высокие футуристические небоскребы, башни в готическом стиле и более низкие здания с зелеными крышами, покрытые растительностью и солнечными панелями, над которыми летают птицы.

Доступ к инструментам означает, что мы способны адаптировать и улучшать нашу биологию и среду обитания, а «оборонительная» часть d/acc — что мы можем это делать, не ущемляя свободу других поступать так же. Либерально-плюралистические принципы означают, что у нас может быть огромное разнообразие в том, как конкретно это реализуется, а наша приверженность общим целям человечества — что это должно быть сделано.

Мы, люди, по-прежнему остаёмся ярчайшей звездой. Предстоящая нам задача: сделать XXI век ещё ярче, чтобы человечество выжило и на пути к звёздам сохранило свою свободу и субъектность — непроста. Но я уверен, что мы с ней справимся.


Оригинальная публикация: Vitalik Buterin (2025) d/acc: one year later, Vitalik Buterin’s website, 5 января.