Краткое изложение: постепенная утрата влияния

автор: Aniket Chakravorty и Dewi Erwan
Риск ИИУправление ИИ
 

Это краткое изложение статьи ««Постепенная утрата влияния»» (Kulveit и др.). Мы надеемся, что оно послужит доступным введением, но любознательному читателю, чтобы разобраться в теме подробнее, стоит прочитать саму статью.

Введение

Вы оказываетесь в 2040 году. Всё кажется прекрасным: денег в избытке, развлечения персонализированы под любую прихоть, а харизматичные ИИ-компаньоны — лучшие собеседники, которых только можно представить. «Терминатор» не захватил мир. Беспокойства о безопасности ИИ в основном сочтены надуманными.

Вы исследуете мир дальше: да, все ваши потребности прекрасно удовлетворены, но вы понимаете, что у вас нет никакой реальной возможности что-то изменить. Вы почти не можете выстраивать связи с другими людьми, они заняты общением со своими чат-ботами. У вас нет работы — ИИ всё делает за вас. Вы ничего не можете создавать, ведь ИИ превосходит вас и в этом. Возможно, всё ещё бывают «выборы», но бюрократии из ИИ такие сложные, что правительства уже на самом деле не могут изменить систему. Всё решает алгоритм. Вы осознаёте, что этот «дивный новый мир» — по сути зоопарк для людей.

Именно о таком мире предупреждает статья ««Постепенная утрата влияния»». Там описывается, как общественные системы, которые сейчас в основном работают ради удовлетворения человеческих потребностей и желаний, могут столкнуться с колоссальным давлением, принуждающим их к автоматизации с помощью ИИ. Авторы обосновывают, что если общественным системам не будут нужны люди для работы, то они станут пренебрегать человеческими потребностями и желаниями, что лишит человечество влияния и возможности формировать собственное будущее.

Сейчас общественные системы в основном хорошие

Современные общественные системы можно условно разделить на три части:

  1. Экономика
  2. Культура
  3. Правительства или национальные государства

Они далеки от совершенства, но лучше, чем было раньше. Доля людей, живущих в бедности или умирающих от предотвратимых болезней, сейчас ниже, чем когда-либо. Жизнь большинства людей, особенно в демократических странах, довольно неплоха.

Давайте пройдёмся по каждой из этих систем и объясним, как люди задают их работу.

Экономика

Экономика — это то, как мы производим, покупаем и продаем товары, и то, как деньги циркулируют между людьми, компаниями и правительствами. Обладая деньгами, вы можете потреблять товары и услуги и так влиять на то, что производит экономика.

В Великобритании около 60 % экономического пирога (созданных благ или переходящих из рук в руки денег) ежегодно получают работники в виде зарплаты, а остальные 40 % — владельцы материальных объектов или активов (например, акционерам, владельцам бизнеса, арендодателям).

Работники зарабатывают 60 % этих средств, так что они обладают значительной властью и влиянием на то, что создается в экономике. Их решения, что покупать, определяют, что будет производиться и продаваться.

Например, если вы сейчас в городе, то в пределах 10 минут ходьбы от вас, вероятно, найдётся с десяток кофеен, потому что очень многие работники хотят с утра первым делом выпить свой (вкусный?) овсяный латте. На этот продукт есть большой спрос — и потому находятся те, кто готов его предложить.

Культура

Культура — это медиа, которые мы потребляем, обычаи, которым мы следуем, и социальные нормы, по которым мы живём. Она формирует то, как мы думаем, ведём себя и относимся друг к другу.

Люди тяготеют к культурам, отвечающим их интересам. Культуры, которые не адаптируются к потребностям своих представителей и не удовлетворяют их, вымирают — люди уходят в поисках лучших альтернатив, или же более здоровые культуры их вытесняют. Получается, у людей есть реальная власть формировать культуру: они создают контент, бросают вызов нормам и голосуют ногами.

Вспомните Nokia. У компании была негибкая культура, которая не смогла адаптироваться к появлению смартфонов, и Apple отняла у них рынок. Компании уделяют так много времени вопросам «культуры» как раз потому, что хорошая культура жизненно необходима для успеха.

Государства

Правительство выполняет критически важные для общества функции. Без него рухнули бы здравоохранение, оборона, образование и верховенство закона. Несмотря на свою огромную власть, правительство ограничено требованиями народа, которым оно управляет, — даже в автократиях.

Никуда не деться, правительствам нужна образованная, квалифицированная и высокомотивированная рабочая сила, чтобы получать достаточно налогов. Более 70 % доходов правительства Великобритании поступает непосредственно от населения в виде разных налогов.

Им требуются люди и для работы в аппарате национальной безопасности. Даже автократиям нужны люди для укомплектования своих служб безопасности. Многие революции преуспели именно потому, что в решающий момент военные отказались открыть огонь по протестующим. Один из примеров — революция в Бангладеш в июле 2024 года.

Системы сталкиваются с давлением в сторону автоматизации с помощью ИИ

Все эти общественные системы испытывают огромное давление в сторону автоматизации.

Экономика

Представьте, что вы — руководитель успешной компании. Вы любите своих сотрудников, но видите, что все ваши конкуренты постепенно внедряют автоматизацию и потому получают огромную прибыль. Ваши акционеры призывают вас делать так же.

Теперь представьте этот процесс в масштабах всего общества. Некоторые компании внедряют автоматизацию исключительно ради максимизации прибыли. Другие делают это, чтобы выдерживать конкуренцию с автоматизированными компаниями. Даже последние противники автоматизации сталкиваются с экономикой, которая настолько быстро развивается и настолько сложна, что им приходится передавать ИИ все ключевые стратегические решения.

Экономика в значительной степени автоматизирована.

Культура

До появления интернета мы получали информацию из общих источников. Местные сообщества, газеты и телекомпании в основном держались правды. Мы жили в общей реальности.

Сегодняшний мир выглядит совсем иначе. Информацию всё ещё создают люди, но то, что мы видим, определяется непрозрачными алгоритмами социальных сетей. Серьёзной проблемой стали «эхо-комнаты».

Представьте, что тенденция продолжится. Вместо простых алгоритмических рекомендаций мы будем получать контент от ИИ, гиперперсонализированный под любой наш каприз. Производство культуры постепенно сводится к промптингу ИИ-систем, и вскоре они будут знать о нас достаточно, чтобы создавать нужный нам контент раньше, чем мы сами поймём, что его хотим.

Легко понять, как это происходит. Массовая культура требует времени на создание и способов, как широкой аудитории получить к ней доступ. Сравните это со сгенерированным контентом, который может создаваться мгновенно и идеально адаптироваться под конкретного человека. Трудно представить, как созданная людьми культура сможет одержать верх.

В итоге культура тоже автоматизируется…

Государства

Если вы диктатор, вам, конечно же, захочется автоматизировать как можно большую часть государственного аппарата. Чем меньше зависимость от других, тем ниже вероятность того, что они смогут вас свергнуть. Мы уже видели автоматизированное наблюдение в Китае, а конфликт между Россией и Украиной показал, что будущее боевых действий за беспилотниками. Следует ожидать, что эти тенденции сохранятся.

По-настоящему тревожит, что люди могут стать менее значимыми даже в демократических странах. По мере того как искусственные системы будут становиться всё сложнее, всё проще будет полагаться на них в принятии эффективных решений. Это особенно верно при конкуренции с другими государствами, которые сами в значительной степени автоматизированы. Конечно, каждые 5 лет могут проводиться «выборы», но на практике правительства бессильны изменить системы, на которые теперь практически во всём полагаются.

Со временем, если почти вся экономическая работа будет выполняться ИИ, а правительства больше не будут нуждаться в людях как в налогоплательщиках, судьба демократии может встать под вопрос…

Автоматизированные с помощью ИИ общественные системы вредны для людей

Наши общественные системы не хороши по умолчанию. Они тысячи лет развивались до нынешнего состояния. Всё это время в их основе лежало допущение, что они созданы людьми и для людей. ««Постепенная утрата влияния»» предлагает нам рассмотреть мир, где постепенно, за годы, оно перестаёт быть верным.

Перспективы мрачны. По умолчанию, полностью автоматизированная экономика означает, что ценность человеческого труда падает до нуля. Если большинство людей перестанет получать зарплату, то доля экономики, производящая товары для них, постепенно зачахнет. Даже те, кто сохранит финансовую власть, на практике не смогут влиять на экономику: она будет слишком быстра, чтобы человек мог её понять. В пределе можно представить себе компании, целиком состоящие из ИИ и производящие товары для потребителей-ИИ. А кто тогда будет обеспечивать базовые потребности людей…

Похожая картина и в сфере культуры. 29% американцев в возрасте до 30 лет говорят, что большую часть времени чувствуют себя одинокими. Представьте, что эту пустоту заполняют ИИ-компаньоны. Они всегда доступны, никогда не осуждают вас и говорят именно то, что вы хотите услышать. Со временем это становится обычной формой дружбы и культурного взаимодействия. Ленты людей заполнены сгенерированным ИИ контентом, и разговаривают они тоже только с ИИ. В таком мире человеческие связи отходят на второй план. Трудно представить, чтобы люди в нём могли о чём-либо друг с другом договориться; как вдохновить кого-то покинуть свой ИИ-пузырь и пойти на протест? И вот люди оказались полностью лишены влияния.

Даже если этот сценарий не реализуется, люди всё равно могут постепенно уступить влияние ИИ. Если ИИ производит культурный контент настолько быстрее человека, можно представить, как нас массово затопит созданным им контентом. Он, может, пока что и шлак, но качество стремительно растёт. Мы можем просто превратиться в беспомощных потребителей ИИ-культуры или в пешек в их культурных войнах.

Наконец, давайте рассмотрим государства. По мере того как всё больше государственных решений перекладывается на ИИ, государственная бюрократия может стать настолько сложной и быстро меняющейся, что никто из людей не сможет взять её под контроль. Люди перестанут самостоятельно понимать правовые и регуляторные системы.

Что ещё хуже, государство перестаёт полагаться на людей в экономике и в вопросах безопасности. Трудно представить, что в таком сценарии могло бы побудить его заботиться даже о собственных гражданах. Мы уже можем наблюдать эту динамику в государствах, подверженных «ресурсному проклятию». У богатой нефтью страны, вроде Венесуэлы, нет причин заботиться о своих гражданах — все доходы поступают от нефти. А теперь представьте себе Венесуэлу с полностью автоматизированным аппаратом государственной безопасности. Вот о таком будущем нас предупреждает ««Постепенная утрата влияния»».

Все эти факторы переплетаются. При автоматизированной экономике государствам проще игнорировать предпочтения граждан. Автоматизированная культура помогает держать людей в повиновении. Эти процессы взаимно усиливаются, и, оказавшись в мире, где мы постепенно утратили влияние, нам будет сложно из него выбраться.

Что вы можете сделать

Сейчас постепенная утрата влияния — малоизученная проблема, и в этой области можно проделать много полезной работы:

  1. Как мы узнаем, что постепенно утратили влияние? И, в связи с этим, насколько мы уже сейчас к этому близки?
  2. Помогут ли нам действующие от нашего имени личные ИИ-помощники, или только усугубят ситуацию?
  3. Технологии, помогающие выявлять сгенерированный ИИ контент, или способы проверки, что контент был создан человеком
  4. Исследования, как страны, богатые природными ресурсами, смогли избежать «ресурсного проклятия» и построить устойчивые демократии (например, Норвегия).

Это лишь несколько идей! Если вас беспокоит эта проблема, вы можете много чего сделать, и нам не терпится увидеть, что вы придумаете на курсе.


Оригинальная публикация: Aniket Chakravorty и Dewi Erwan (2025) Gradual disempowerment summary, BlueDot Impact, 17 октября.