ИИ и Левиафан: часть I — институциональная экономика интеллектуального взрыва

Институциональная экономика интеллектуального взрыва

автор: Samuel Hammond
Интеллектуальный взрывНаблюдениеТрансформативный искусственный интеллектУправление ИИЭкономика искусственного интеллекта
 

Представьте, что благодаря прорыву технологий у всех вдруг появился доступ к дешёвым рентгеновским очкам. Они выглядят как обычные повседневные очки, но у них есть переключатель, позволяющий видеть сквозь стены, одежду людей и т. д. И это как-то работает и со старыми фотографиями и видеозаписями.

С одной стороны, это было бы потрясающе. Скажем, вы могли бы заметить подозрительное уплотнение на щитовидной железе друга, выявить рак на ранней стадии и избавить его от огромных медицинских расходов. Но в краткосрочной перспективе такие общедоступные и почти незаметные очки (или, если угодно, контактные линзы) стали бы катастрофой для безопасности и конфиденциальности. Сами по себе дома или устройства не стали бы менее надёжными. Но дело в том, что общество, выстроенное вокруг видимого спектра, в одночасье оказалось бы неприспособленным.

Общество могло бы отреагировать тремя каноническими способами:

  1. Культурная эволюция: мы принимаем нудизм и множество новых норм эпохи постконфиденциальности;

  2. Смягчение и адаптация: мы носим свинцовое нижнее бельё и торопливо возводим непроницаемые стены в домах, офисных зданиях и раздевалках;

  3. Регуляции и их обеспечение: мы запрещаем или жестко регулируем эту технологию и создаем «рентгеновского Левиафана» для проверки, что за очки кто носит, наказания нарушителей и т. д.

Путь, где все спонтанно договариваются никогда не использовать очки или применять их только для определённого набора просоциальных целей, нестабилен. Даже если вы вуайерист и общий доступ к очкам лично вам выгоден, всплывает «дилемма заключённого», и мы быстро переходим к равновесию, где очки есть у всех, даже если все предпочли бы мир без них.

Очки — это метафора искусственного интеллекта.

Очень близкая метафора. ИИ уже открывает доступ к своеобразному рентгеновскому зрению благодаря искажению сигналов Wi-Fi в комнате, а нескольких ИК-датчиков в итоге хватит, чтобы наложить точные изображения обнажённых тел на каждого пешехода на Таймс-сквер. В магазин приложений Apple VisionPro такой фильтр дополненной реальности с обнажёнными телами не допустят, но это не важно, ведь базовая технология будет открытой и достаточно дешёвой.

Извлечение сигнала

ИИ — как микроскоп. Он повышает информационное разрешение Вселенной. У этого полно восхитительных последствий, но много и пугающих.

ИИ позволяет нам рефакторить устаревший код, восстанавливать древние свитки и находить новые галактики в старых астрономических обзорах. Одновременно ИИ превращает вашу походку в отпечаток пальца, микрофон — в кейлоггер, а снимок лица — в полиграф с точностью более 93 %.

Четыре панели, показывающие оценку позы человека через Wi-Fi. В левом столбце — фотографии людей, стоящих в обычных помещениях (сверху офис со столами и стульями, снизу класс со столами и стульями), на каждого наложена цветная каркасная сетка тела. В правом столбце те же сетки отдельно на чёрном фоне показывают подробные 3D-реконструкции тел и поз людей, полученные лишь на основе искажения сигнала Wi-Fi.
Jiaqi Geng et al. (2022) «DensePose from WiFi»

О дипфейках беспокоятся всё больше, но в целом ИИ делает мир радикально прозрачнее. У полной прозрачности есть свои издержки. Знания будут расширяться, а барьеры для манипуляций миром — снижаться. Мы будем буквально слышать крики стрессующих растений и разговаривать с китами. А однажды ИИ-модель, автодополняющая ваши фразы, научится заканчивать и ваши мысли и разрушит субъективный барьер, который большая часть западной философии считала непреодолимым.

Многие из этих сценариев использования не новы, но надёжными масштабирование их делает только сейчас. Если в шуме есть сигнал, достаточно большая нейронная сеть его извлечёт, и это будет со временем становиться экспоненциально дешевле и доступнее. Вам даже не придётся pip install! Ваш подобный Джарвису ИИ-помощник будет по запросу сам вызывать специализированные модели из HuggingFace или GitHub. Для DnDшников — это будет как амулет, дающий натуральную двадцатку при каждой проверке «Магии».

Звучит освобождающе, и во многом так и будет. Но история показывает и что расширение нашей естественной свободы может, как ни парадоксально, обернуться угнетением. По крайней мере в краткосрочной перспективе.

Сразу оговорюсь: то, что последует далее — не аргумент в пользу приостановки разработки ИИ, даже если бы мы могли это сделать. Хотя я считаю, что по мере роста масштаба и мощности передовых моделей нам понадобятся новые механизмы надзора для их безопасного развёртывания, наша цель должна быть не в остановке ИИ, а в том, чтобы в некотором смысле им овладеть.

К тому же, ускоренное развитие многих форм оборонительного ИИ может оказаться нашей лучшей надеждой на то, чтобы «смягчение последствий и адаптация» стало путём наименьшего сопротивления. Но важно четко понимать, что во многих аспектах наше будущее с ИИ — «пакетная сделка», и непредвзято анализировать, к чему приведёт вероятная эволюция нашего социального порядка.

Естественное состояние

Томас Гоббс, как известно, описал жизнь в «естественном состоянии» как «войну всех против всех». Иногда ошибочно считают, будто он говорил об обществах охотников-собирателей, но на самом деле Гоббс имел в виду катастрофические условия гражданской войны в Англии, от которой он бежал ради личной безопасности. Leviathan, or the matter, forme, & power of a common-wealth ecclesiasticall and civill впервые был опубликован в 1651 году, в самом начале периода Междуцарствия. Увидев истоки войны в растущей фрагментации и радикализации английского общества при неустойчивом, единоличном правлении короля Карла I, Leviathan, or the matter, forme, & power of a common-wealth ecclesiasticall and civill представил теоретическое обоснование, почему абсолютная монархия — единственный способ восстановить мир и порядок. Гоббсовское понятие общественного «договора» было не буквальным контрактом, который подписывали отдельные люди, а абстрактным описанием процесса того, как враждующие фракции достигают политического урегулирования, уступая высшей власти свою «естественную свободу» вмешиваться в дела друг друга.

Непосредственные причины английской гражданской войны сложны и многообразны, но на большом масштабе это история о радикальных технологических изменениях. Хотя печатный станок изобрели на два века раньше, война разразилась на переломном этапе печатной революции — в критический момент, когда открылась возможность стремительного роста объёмов печатной продукции. Например, первое издание Библии короля Якова вышло в 1611 году — всего за 30 лет до войны и 55 — до зарождения журналистики с появлением первой регулярной английской газеты, The Oxford Gazette.

График примерно с 1495 по 1635 год, на котором показаны три ряда данных о ценах и количествах по оси y (от 0 до 1). Тёмно-синяя пунктирная линия «Цена» стартует на уровне 1,0 около 1495 года, резко падает между 1500 и 1520 годами до примерно 0,1, и медленно снижается почти до нуля к 1635 году. Серая пунктирная линия «Издания книг» и красная сплошная линия «Тиражи книг» обе около 1495 года начинаются низко и неравномерно, но круто растут примерно с 1540 года, и тиражи книг к 1635 году достигают 1,0.
Jeremiah Dittmar (2011) «The Welfare Impact of a New Good: The Printed Book»

Широкий доступ к книгопечатанию сделал возможным столь же широкое инакомыслие, спровоцировав «восстание общественности», похожее на закономерности эпохи интернета, описанные Мартином Гурри. И начиная с английской Реформации растущий доступ к информации не только открывал людям глаза на альтернативные политические приверженности, но и давал им всё больше замечать инакомыслящих соседей. В 1643 году правовой контроль парламента над прессой практически рухнул и его режим епископального лицензирования и цензуры уступил место нерегулируемому рынку. Это ещё больше облегчило поиск единомышленников и координацию действий против Церкви пуританским сепаратистам, индепендентам и другим радикальным нонконформистам. Тем временем, в ходе, как это назвал историк Роберт Заллер, нового «дискурса легитимности» сам парламент оспаривал власть короны. Через несколько головокружительно пронёсшихся лет идеологическая эскалация на нескольких фронтах наконец развязалась цареубийством и массовым насилием.

ИИ часто сравнивают с печатным станком, но параллели современных США с Англией Нового времени не ограничены технологическими. Углубляются наши культурные и идеологические расколы; новые пуритане лоб в лоб столкнулись с консервативной контрреакцией; а наши парламентские дебаты вращаются вокруг вопросов цензуры, поскольку средства контроля СМИ из прошлого века не справляются с открытым интернетом. Даже власть президентства США достигла низшей точки, словно в ожидании короля-оригиналиста, который вновь утвердит унитарную исполнительную власть и спровоцирует кризис.

Ускорение к чему?

Эти расколы находят отражение в различных лагерях мнений по поводу ИИ. Одни выступают за регуляцию развития ИИ, пока мы не сможем гарантировать абсолютную безопасность, возможно, через систему лицензирования. Другие желают продвигаться вперёд, ускоряя доступ открытием кода моделей.

Английский реформатор и «информатор» Сэмюэл Хартлиб был «эффективным акселерационистом» своего времени. Он заявлял целью «зафиксировать всё человеческое знание и сделать его общедоступным для образования всего человечества», и он часто печатал технические тексты для распространения за свой счёт — максимально близкое к открытому исходному коду, что тогда было. Современные проповедники ИИ преследуют столь же высокие цели: от миссии Эмада Мостака по использованию ИИ для обучения детей всего мира до видения Марка Андрессена, в котором ИИ — инструмент расширения возможностей человечества практически во всех сферах.

Долгая историческая перспектива на стороне акселерационистов, и я в целом поддерживаю предложенное Андрессеном видение будущего. Однако, всегда легче представить конечный результат развития технологии, чем предвидеть компромиссы и развилки, что обязательно всплывут во время переходного периода.

У инстинкта Джорджа Хотца Chaotic Good как можно быстрее делать открытыми модели с потенциально двойным назначением может особенно вероятно аукнуться. Этика e/acc считает открытый исходный код движущей силой прогресса человеческой свободы, поддерживая одновременно мышление безопасника в духе «DEF CON». По мере того как всё большая часть экономики будет работать на проприетарных моделях, открытые альтернативы станут важным сдерживающим фактором против монополизации ИИ государством или несколькими технологическими гигантами.

К счастью, между призывами сторонников безопасности к созданию «FDA для ИИ-моделей» и восторженным стремлением демократизировать мощные новые способности сразу после конца обучения полно места для компромисса. Если демократизировать наступательные способности быстрее, чем за ними угонятся адаптационные и оборонительные технологии, максимализм открытости может даже поставить под угрозу само дело свободы, ускорив появление ИИ-Левиафана, которого Хотц и его соратники больше всего боятся.

Правило меньшинства

До 2001 года безопасность в аэропортах была практически незаметна. Границу между Канадой и США можно было пересечь на машине без паспорта. Но одним роковым утром в сентябре 19 террористов убили почти 3000 человек за несколько часов. Через неделю в почтовых ящиках высокопоставленных лиц стали появляться письма со спорами сибирской язвы, и это убило ещё пять человек. Через восемь недель после этого Ричарда Рида поймали при попытке взорвать спрятанную в ботинке бомбу посреди полёта. Эта стремительная череда событий заставила наших лидеров внезапно осознать, что технологии и глобализация порождают целый ряд асимметричных угроз. От биологического оружия до угонов самолетов — теперь небольшой группы экстремистов или одного-единственного радикала могло хватить, чтобы посеять хаос во всем обществе.

Общество отреагировало всеми тремя перечисленными выше каноническими способами. Мы снизили риски, усилив безопасность на границах и в аэропортах. Мы стали сильнее обеспечивать соблюдение правил, приняв «Патриотический акт» и профинансировав новые формы высокотехнологичной слежки. А наша культура быстро адаптировалась к растущему театру безопасности, подкрепленному страхами перед исламским радикализмом и разъеданием национальной солидарности.

Оглядываясь назад, можно сказать, что реакция была чрезмерной. Терроризм психологически казался огромной угрозой, но риски в количественном выражении были малы по сравнению с обыденными вещами, убивающими людей каждый день. Например, за 12 месяцев после 11 сентября возросший страх перед полетами, вероятно, привёл к примерно 1600 избыточным смертям в ДТП. Страх перед исламским терроризмом с тех пор поутих, но усиленные протоколы безопасности не только остаются в силе, но продолжают развиваться и даже переориентируются на внутренние угрозы.

Цифровая иллюстрация: гигантская коронованная фигура с длинными тёмными волосами и спокойным бледным лицом возвышается над раскинувшимся городом на фоне гор. Её тело состоит из замысловатых схем, похожих на механизм, руки подняты по бокам, а за головой вспышка золотых нитей образует нимб на фоне тёмного неба, прочерченного полосами света.

Опасное злоупотребление ИИ, вероятно, будет аналогично редким. Большинство людей просто не социопаты. Но во многих сферах жизни действует «Правило меньшинства» Нассима Талеба, согласно которому небольшое, но нетерпимое меньшинство в итоге устанавливает правила для всех. Например, аллергией на арахис страдают менее чем 2% американцев, но во многих общественных местах содержащие арахис продукты на всякий случай запрещены.

Смотря как сложится баланс атаки и защиты, ИИ может вернуть нас в мир, где безопасность вновь станет невидимой. Вам не придётся снимать обувь и унижаться перед агентом TSA. Вместо этого, когда вы войдете в терминал, камера проанализирует ваше лицо, сверяя его с базой данных известных преступников и извлекая любые прогностические сигналы из вашего выражения лица, языка тела, демографического профиля и постов в соцсетях.

Но аэропорты — особый случай. Это закрытые экосистемы, и их системы безопасности могут использовать преимущества вертикальной интеграции. И они — этап пути в далёкие страны, так что путешественникам приходится либо отказаться от части прав, либо ехать на автобусе. В основном публичные пространства устроены не так. От небольших заведений до общественных парков — наша повседневная безопасность сильно зависит от доброй воли и благоразумия других людей. И по мере того как ИИ будет повсюду создавать риски безопасности и конфиденциальности, всё больше мест могут в итоге стать похожими на аэропорт, на государство наблюдения в миниатюре.

В свою очередь, грядущий интеллектуальный взрыв ставит либеральную демократию между Сциллой и Харибдой. С одной стороны — ИИ-Левиафан; глобальный синглтон, восстанавливающий порядок с помощью паноптикума в китайском стиле с системой социального рейтинга. С другой — крах государства и политическая фрагментация из-за неспособности наших традиционных институтов адаптироваться, так что они уступают место новым организациям, изначально построенным вокруг ИИ, решающим проблему принципала-агента и молниеносно открывающим возможности локализованных коллективных действий. С укреплением конфиденциальности и безопасности, отчасти благодаря добровольному соглашению оставлять за порогом своё биологическое оружие и рентгеновские очки за порогом.

Если заглянуть за горизонт событий этого второго пути, начинают вырисовываться очертания нового, квазисредневекового социального порядка. Но я подхожу к лимиту символов Substack-а, так что это придётся отложить до Части II.


Оригинальная публикация: Samuel Hammond (2023) AI and Leviathan: part I—the institutional economics of an intelligence explosion, Second Best, 23 августа.