ИИ мог бы победить всех нас вместе взятых

автор: Holden Karnofsky
Вымирание человечестваКрах цивилизацииРиск ИИСогласование ИИЭкзистенциальный риск
 

Я работаю над новой серией постов о самом важном столетии.

  • Первоначальная серия была посвящена тому, почему и как этот век может стать самым важным для человечества. Но в ней относительно мало говорилось о том, что мы можем сделать сегодня, чтобы повысить шансы на благоприятное развитие событий.
  • Новая серия гораздо конкретнее расскажет о том, какие события могут нас ожидать и какие действия сегодня, скорее всего, окажутся полезными.
  • Одним из ключевых направлений новой серии станет угроза несогласованного ИИ: ИИ-систем, полностью лишающих человечество власти, что приведет к будущему, не имеющему почти ничего общего с тем, что ценят люди. (Как в фильмах о Терминаторе, за исключением путешествий во времени и той части, где люди побеждают.)

Многим трудно всерьёз воспринимать эту возможность «несогласованного ИИ». Возможно, они в общих чертах понимают, что ИИ может быть опасен, но инстинктивно полагают, что угроза будет исходить от злоупотребления им со стороны людей. Идея о том, что сам ИИ вступит в войну с людьми, кажется им комичной и дикой. Я постараюсь сделать так, чтобы эта мысль воспринималась более серьезно и реалистично.

В качестве первого шага в этом посте я подчеркну неоригинальный, но чрезвычайно важный момент: тот вид ИИ, о котором я говорил, мог бы победить всё человечество вместе взятое, если бы (по какой бы то ни было причине) его направили на достижение этой цели. Под словом «победить» я не имею в виду «тонко манипулировать нами», «сделать нас менее осведомленными» или что-то в этом роде — я имею в виду буквальное «победить» в том смысле, что все мы могли бы быть убиты, порабощены или насильственно изолированы.

Я (пока) не говорю о том, могут ли ИИ-системы атаковать человеческую цивилизацию и почему. Об этом — в будущих постах. А пока я просто хочу остановиться на том, что если бы такая атака произошла, она могла бы увенчаться успехом против объединенных сил всего мира.

  • Я считаю, что если вы в это верите, вам уже сейчас следует беспокоиться о несогласованном ИИ,⁠⁠1 ещё до всякого анализа того, как или почему ИИ может сформировать свои собственные цели.
  • Как правило, вокруг нас не валяется без дела множество вещей, которые могли бы положить конец человеческой цивилизации, если бы они «попытались». Если мы собираемся создать нечто подобное, я думаю, нам следует задавать вопрос не «Почему это может быть опасно?», а «Почему это не может быть опасно?»

И наоборот, если вы не верите, что ИИ способен победить всё человечество вместе взятое, я полагаю, что мы не найдем общего языка практически ни в одном разговоре об ИИ. Меня беспокоит именно тот вид ИИ, который достаточно силен, чтобы полное уничтожение цивилизации стало реальной возможностью. Сейчас я уделяю столько времени планированию, связанному с гипотетическими технологиями будущего (вместо работы над научно обоснованными и экономически эффективными способами помощи малоимущим людям сегодня — чем я занимался большую часть своей карьеры и что по-прежнему считаю одним из лучших занятий) именно потому, что, на мой взгляд, ставки настолько высоки.

Ниже:

  • Я кратко изложу основной аргумент в пользу того, почему, на мой взгляд, ИИ мог бы победить всю человеческую цивилизацию.
    • Другие авторы уже писали о возможности того, что «суперинтеллектуальный» ИИ сможет манипулировать людьми и создавать сверхмощные передовые технологии; я вкратце напомню суть этих аргументов.
    • Затем я рассмотрю другую возможность: даже ИИ «всего лишь человеческого уровня» всё равно смог бы победить всех нас, быстро сравнявшись с человеческой цивилизацией по общей численности и объёму ресурсов.
    • По большому счету, я считаю, что нам стоило бы беспокоиться, если бы огромная (сопоставимая по численности с населением Земли) и быстро растущая группа высококвалифицированных людей на другой планете пыталась разрушить нашу цивилизацию, используя только Интернет. Поэтому нам следует опасаться и большой группы бестелесных ИИ.
  • Я кратко отвечу на несколько возражений и частых вопросов:
    • Как ИИ-системы могут быть опасны, не имея тел?
    • Если доступ к ИИ будет у множества различных компаний и правительств, не создаст ли это «баланс сил», благодаря которому ни один отдельный игрок не сможет уничтожить цивилизацию?
    • Разве мы не увидим предупреждающие знаки захвата власти ИИ и не сможем пресечь это в зародыше?
    • Разве не нормально или, может быть, даже хорошо, если ИИ-системы победят нас? У них тоже есть права.
  • В заключение поделюсь некоторыми мыслями о том, насколько беспрецедентным было бы появление на нашей планете чего-то, способного одолеть всех нас.

Как ИИ-системы могли бы победить всех нас

Ведутся активные дебаты о том, могут ли ИИ-системы сформировать собственные «мотивации», которые приведут их к стремлению лишить человечество власти. Я буду говорить об этом в будущих статьях, но пока что хочу отложить эту тему в сторону и представить, как бы развивались события, если бы это произошло.

Итак, в дальнейшем давайте исходить из следующей предпосылки: «По какой-то странной причине люди постоянно создают ИИ-системы (обладающие способностями к исследованию и планированию на уровне человеческих), которые координируют свои действия друг с другом в попытках свергнуть человечество». Что тогда? То, что последует далее, неизбежно покажется абсурдным тем, кому трудно подобное представить, но я считаю, что стоит подыграть, поскольку тезис «если это произойдет, у нас будут серьезные проблемы» крайне важен.

«Стандартный» аргумент: суперинтеллект и передовые технологии

В других работах на эту тему основное внимание уделяется потенциалу ИИ-систем стать несравнимо умнее людей — до такой степени, что они обретут то, что Ник Бостром называет «когнитивными сверхспособностями»⁠⁠2. Бостром представляет себе ИИ-систему, способную, например:

  • Самостоятельно проводить исследования по созданию более совершенной ИИ-системы, что в конечном итоге увенчается появлением чего-то, обладающего невероятными дополнительными способностями.
  • Взламывать созданное людьми программное обеспечение по всему миру.
  • Манипулировать человеческой психологией.
  • Быстро накапливать огромные богатства, подконтрольные самой системе или любым её союзникам среди людей.
  • Разрабатывать планы, превосходящие всё, что могут вообразить люди, и гарантировать, что система не предпримет попыток захвата власти, которые люди могли бы обнаружить и остановить.
  • Разработать передовое оружие, которое можно производить быстро и дешево, но при этом достаточно мощное, чтобы одолеть человеческие армии.

(Wait But Why рассуждает аналогичным образом.⁠⁠3)

Думаю, многих читателей подобные аргументы уже убедили, и если это так, вы можете сразу перейти к следующему основному разделу.

Но я хочу прояснить: я не считаю, что опасность основывается на идее «когнитивных сверхспособностей» или «суперинтеллекта» — оба эти понятия подразумевают способности, многократно превосходящие человеческие. Я считаю, что проблема останется, даже если предположить, что ИИ в целом будет обладать способностями, сопоставимыми с человеческими, и не окажется принципиально или радикально умнее или более способным. Об этом я расскажу далее.

Как ИИ могут победить людей без «суперинтеллекта»

Если предположить, что ИИ в основном будут обладать возможностями, аналогичными человеческим, я считаю, нам всё равно стоит опасаться того, что они могут превзойти людей по численности и ресурсам и тем самым получить преимущество, если скоординируются против нас.

Вот упрощённый пример (некоторые упрощения описаны в этой сноске⁠⁠4), основанный на отчёте Аджеи Котры «Биологические якоря»:

  • Я предполагаю, что трансформативный ИИ будет разработан относительно скоро (около 2036 года — при более позднем сроке приведённые ниже цифры только увеличились бы), и изначально он появится в виде единственной ИИ-системы, способной выполнять примерно те же интеллектуальные задачи, что и человек. То есть у неё нет человеческого тела, но она может делать всё то же, что и человек, работающий удалённо за компьютером.
  • Я использую концепцию отчёта, согласно которой обучение (разработка) этой системы обходится гораздо дороже, чем её эксплуатация (например, сравните, сколько Microsoft потратила на разработку Windows, с тем, во сколько мне обходится её работа на моём компьютере).
  • В отчёте представлен способ оценки затрат как на обучение этой ИИ-системы, так и на её эксплуатацию. Из этих оценок (подробности в сноске)⁠⁠5 следует, что как только будет создана первая ИИ-система человеческого уровня, тот, кто её создал, сможет использовать ту же вычислительную мощность, которая потребовалась для её создания, чтобы запустить несколько сотен миллионов копий, каждая из которых проработает около года.⁠⁠6
  • Это было бы более чем в 1000 раз больше общего числа сотрудников Intel или Google,⁠⁠7 более чем в 100 раз больше общей численности действующего и резервного личного состава вооружённых сил США и составило бы примерно 5–10 % от общей численности трудоспособного населения мира.⁠⁠8
  • И это лишь отправная точка.
    • И это при использовании лишь того же объёма ресурсов, который изначально был затрачен на обучение ИИ. Поскольку эти ИИ-системы способны выполнять экономическую работу на уровне человека, их, вероятно, можно использовать для заработка и покупки или аренды дополнительного оборудования,⁠⁠9 что может быстро привести к появлению «популяции» численностью в миллиарды или более единиц.
    • Помимо зарабатывания денег, которые можно направить на запуск новых ИИ, сами ИИ смогут проводить масштабные исследования о том, как более эффективно использовать вычислительную мощность, что позволит запускать ещё большее число ИИ на том же самом оборудовании. Это, в свою очередь, может привести к петле обратной связи и взрывному росту числа ИИ.
  • Каждый из этих ИИ может обладать навыками, сопоставимыми с навыками необычайно высокооплачиваемых специалистов, включая учёных, разработчиков программного обеспечения и количественных трейдеров. Трудно сказать, как быстро такая группа ИИ сможет разрабатывать новые технологии или зарабатывать деньги на торговых рынках, но вполне возможно, что им удастся стремительно накопить огромные объёмы ресурсов. Огромная популяция ИИ, каждый из которых способен зарабатывать гораздо больше среднего человека, может в итоге создать «виртуальную экономику», по крайней мере не уступающую по масштабам человеческой.

На мой взгляд, это почти всё, что нам нужно знать: если существует нечто, обладающее человекоподобными навыками, стремящееся лишить человечество власти и имеющее численность, сопоставимую с населением Земли (или превосходящую его), то перед нами стоит проблема цивилизационного масштаба.

Возможный контраргумент заключается в том, что эти ИИ будут лишь «виртуальными»: если они начнут создавать проблемы, люди в конечном итоге смогут отключить серверы, на которых те работают. Я действительно считаю, что этот факт усложнит жизнь ИИ, стремящимся лишить людей власти, но не думаю, что в конечном счёте это должно нас сильно успокаивать. Я полагаю, что большое количество ИИ, скорее всего, смогло бы найти способ обеспечить свою безопасность от отключения людьми, а затем накопить достаточно ресурсов, чтобы подавить человеческую цивилизацию (особенно если бы ИИ по всему миру, включая большинство тех, к которым люди обращались за помощью, координировали свои действия).

В приложении я подробно описываю, как это может выглядеть. Вкратце:

  • По умолчанию я ожидаю, что экономические выгоды от использования ИИ приведут к тому, что люди создадут огромное количество ИИ, интегрированных во все сферы экономики, что потенциально может включать прямое взаимодействие с большим количеством роботов и оружия (и даже контроль над ними).
    • (Если же нет, то, на мой взгляд, ситуация во многих отношениях даже опаснее, поскольку один ИИ сможет создать множество своих копий и практически не встретит конкуренции за такие ресурсы, как серверное пространство, о чём говорится в приложении.)
  • У ИИ было бы множество способов приобретать собственность и серверы, защищенные от отключения.
    • Например, они могли бы вербовать союзников среди людей (путём манипуляций, обмана, шантажа и других угроз, а также искренних обещаний в духе: «Мы, скорее всего, так или иначе окажемся у власти, и тогда будем относиться к вам лучше»), чтобы те арендовали для них собственность и серверы и оказывали иную помощь.
    • Или они могли бы подделывать данные, чтобы свободно действовать на серверах компании, в то время как все внешние признаки указывали бы на то, что они успешно помогают компании в достижении её целей.
  • Относительно скромного объема собственности, защищенной от отключения, может оказаться достаточно для размещения огромной популяции ИИ-систем, которые будут вербовать новых союзников среди людей, зарабатывать деньги (например, с помощью количественных финансовых операций), исследовать и разрабатывать передовое оружие (например, биологическое), настраивать промышленных роботов для производства военной техники, а также глубоко проникать в компьютерные системы по всему миру до такой степени, что смогут отключать или брать под контроль большую часть чужого оборудования, и т. д.
  • С помощью этих и других методов достаточно большая популяция ИИ могла бы разработать достаточное количество военных технологий и техники, чтобы одолеть цивилизацию — особенно если бы ИИ по всему миру (включая те, которые люди пытались использовать) координировали свои действия друг с другом.

Несколько кратких ответов на возражения

Это был краткий набросок того, как ИИ могли бы превзойти людей по численности и ресурсам. Есть множество деталей, которые я не затронул.

Вот некоторые из наиболее частых возражений, которые я слышу против идеи о том, что ИИ мог бы победить всех нас.

Как ИИ могут представлять опасность, не имея тел? Этот вопрос довольно подробно обсуждается в приложении. Вкратце:

  • ИИ могут вербовать союзников среди людей, дистанционно управлять роботами и другой военной техникой, зарабатывать деньги за счет научных исследований, количественного трейдинга и т. д.
  • По большому счету, я считаю, что нам стоило бы беспокоиться, если бы огромная (сопоставимая с населением Земли) и быстро растущая группа высококвалифицированных людей на другой планете пыталась разрушить нашу цивилизацию, используя только Интернет. Поэтому нам следует беспокоиться и о большой группе бестелесных ИИ.

Если множество различных компаний и правительств получат доступ к ИИ, не создаст ли это «баланс сил», при котором никто не сможет разрушить цивилизацию?

  • Это разумное возражение против многих страшилок об ИИ и других возможных достижениях в области военных технологий, но если ИИ в совокупности преследуют цели, отличные от человеческих, и готовы координировать свои действия друг с другом⁠⁠10 против нас, то, по-моему, у нас будут проблемы, и эта идея «баланса сил», похоже, не поможет.
  • Важно соотношение общего количества и ресурсов ИИ в сравнении с людьми.

Разве мы не увидим предупреждающие знаки захвата власти ИИ и не сможем пресечь это в зародыше? Полагаю, мы увидим некоторые предупреждающие знаки, но означает ли это, что мы сможем пресечь всё в зародыше? Вспомните о гражданских войнах и революциях в истории человечества: перед ними бывают некоторые предупреждающие знаки, но при этом люди довольно быстро переходят от состояния «не воюют» к «воюют», когда видят возможность скоординировать свои действия друг с другом и добиться успеха.

Разве не нормально или, может быть, даже хорошо, если ИИ победят нас? У них тоже есть права.

  • Возможно, у ИИ должны быть права; если так, было бы неплохо прийти к какому-то «компромиссному» варианту сосуществования, уважающему эти права.
  • Но если они способны полностью победить нас, я бы на это не рассчитывал — вместо этого я ожидал бы (по умолчанию) мира, управляемого исключительно в соответствии с теми целями, которые случайно окажутся у ИИ.
  • Эти цели могут по сути не иметь ничего общего с тем, что ценят люди, и активно этому противоречить — например, не придавать никакого значения красоте и не предпринимать никаких попыток предотвратить или избежать страданий.

Подобные риски возникают не каждый день

Я не думаю, что существует много вещей, имеющих серьёзные шансы навсегда уничтожить человеческую цивилизацию.

Как утверждается в На краю пропасти: Экзистенциальный риск и будущее человечества / Na krai︠u︡ propasti: Ėkzistent︠s︡ialʹnyĭ risk i budushchee chelovechestva, большинство стихийных бедствий (включая, например, падения астероидов), судя по всему, не представляют собой огромной угрозы — хотя бы потому, что цивилизация существует вот уже тысячи лет, а это означает, что угрожающие ей природные явления редки.

Человеческая цивилизация довольно могущественна и, судя по всему, весьма устойчива, поэтому по-настоящему меня пугает мысль о появлении чего-то, обладающего теми же базовыми способностями, что и люди (планирование, разработка собственных технологий), но способного превзойти нас по численности и ресурсам. Таких кандидатов не так много.⁠⁠11

ИИ — один из таких кандидатов, и я считаю, что даже прежде, чем всерьёз углубляться в споры о том, будут ли ИИ стремиться победить людей, нам следует испытывать сильное беспокойство по поводу самой возможности того, что они на это способны.

А как насчёт таких утверждений, как «ИИ может привести к массовой безработице и беспорядкам», «ИИ может усугубить дезинформацию и пропаганду» или «ИИ может обострить целый ряд других социальных бед и несправедливостей»⁠⁠12? Я считаю эти опасения реальными, но, честно говоря, если бы они были самыми серьезными проблемами, я бы, вероятно, по-прежнему был сосредоточен на помощи людям в странах с низким уровнем дохода сегодня, а не на попытках подготовиться к технологиям будущего.

  • Предсказывать будущее в целом сложно, и очень легко потратить массу усилий на подготовку к вызовам, которые так и не возникнут (или примут совершенно иную форму, чем предполагалось).
  • Я считаю, что цивилизация довольно устойчива — за последний век с лишним мы пережили колоссальные перемены и испытания (полномасштабные мировые войны, множество радикальных изменений в том, как мы общаемся друг с другом, кардинальные перемены в образе жизни и ценностях), но, похоже, даже близко не подошли к краху.
  • Поэтому, если я и предаюсь умозрительным опасениям по поводу потенциальных технологий будущего, мне хочется сосредоточиться на действительно масштабных угрозах — тех, последствия которых могут иметь значение миллиарды лет. Если существует реальная вероятность того, что ИИ-системы будут иметь отличные от наших ценности и скооперируются, чтобы попытаться нас победить, это как раз такое опасение.

Особая благодарность Карлу Шульману за обсуждение этого поста.

Приложение: как ИИ могут избежать отключения

В этом приложении подробно рассматривается, как ИИ, координирующие свои действия против людей, могли бы накопить собственные ресурсы, лишив людей возможности отключить все «непослушные» ИИ.

Всё это неизбежно носит гипотетический характер, и к этому следует относиться как к примерам того, как это могло бы работать. Лично для меня основное опасение состоит в том, что огромная популяция ИИ, координирующих свои действия и обладающих возможностями, сопоставимыми с человеческими, стала бы угрозой для человеческой цивилизации, и что нам не следует рассчитывать на какой-то конкретный способ её остановить, например на отключение серверов.

Я рассмотрю два разных общих типа сценариев: (а) люди создают огромную популяцию ИИ; (б) люди действуют медленно и создают не так много ИИ.

Как это может выглядеть, если люди создадут огромную популяцию ИИ

Я думаю, разумно по умолчанию ожидать, что люди сами проделают большую часть работы по созданию невероятно многочисленных и мощных ИИ-систем (поскольку это выгодно), что приведет к уязвимой ситуации. Выглядеть это может примерно так:

  • Компания, которая первой разработает трансформативный ИИ, быстро начнет запускать большое количество копий (сотни миллионов и более), которые будут использоваться для (а) исследований того, как повысить вычислительную эффективность и запускать еще больше копий; (б) создания ценной интеллектуальной собственности (торговых стратегий, новых технологий) и получения прибыли.
  • Со временем ИИ-системы широко внедряются во все сферы общества. Их количество продолжает расти, а роль в экономике увеличивается: они участвуют в принятии решений на высшем уровне в компаниях (и, следовательно, напрямую взаимодействуют с этим процессом), возможно, управляют большим количеством автомобилей и/или роботов, а также, возможно, военными дронами, самолётами и т. д. (Со временем это кажется мне наиболее вероятным развитием событий, но это не является строго необходимым условием для возникновения риска, как я покажу ниже.)
  • В этом сценарии ИИ-системы злонамеренны (как мы и предполагали), но это не означает, что они постоянно создают проблемы. Напротив, по большей части они ждут возможности объединиться и решительно одолеть человечество. Тем временем они в основном ведут себя послушно, и это приводит к росту их численности и могущества.
    • Происходят отдельные инциденты, когда ИИ-системы пытаются создать проблемы,⁠⁠13 но это не приводит к тому, что весь мир вдруг перестает использовать ИИ, или к чему-то подобному.
    • Подходящей аналогией может служить типичная гражданская война или революция: восставшее население в основном избегает разрозненных и обречённых на провал атак на своё правительство, пока не увидит возможности объединиться и получить реальный шанс на победу.

(В статье Пола Кристиано Как выглядит провал этот общий тип сценария рассматривается чуть более подробно.)

В этом сценарии ИИ сталкиваются с проблемой: если всем станет очевидно, что они пытаются победить человечество, люди могут атаковать или отключить несколько зон, где сосредоточено большинство серверов, и тем самым резко сократить численность ИИ. Поэтому ИИ нужен способ заполучить одну или несколько «штаб-квартир ИИ»: контролируемых ими территорий, где они смогут безопасно управлять серверами и заводами, проводить исследования, заниматься планированием и создавать роботов, дронов и другую военную технику.

В конечном итоге их цель — создать достаточное количество ИИ, роботов и т. д., чтобы иметь возможность победить всё остальное человечество вместе взятое. Это может означать производство подавляющего количества военной техники, глубокое проникновение в компьютерные системы по всему миру до такой степени, чтобы выводить из строя или контролировать большую часть чужого оборудования, разработку и применение чрезвычайно мощного оружия (например, биологического), либо комбинацию этих методов.

Вот несколько способов, с помощью которых они могли бы достичь этой цели:

  • Они могли бы вербовать союзников среди людей с помощью самых разных методов — манипуляций, обмана, шантажа и других угроз, а также искренних обещаний вроде: «Мы, скорее всего, так или иначе придем к власти, и тогда будем относиться к вам лучше».
    • Союзникам-людям могли бы передать ценную интеллектуальную собственность (созданную ИИ) и инструкции по заработку больших денег, а также попросить их арендовать собственные серверы и приобрести собственную недвижимость, где можно было бы создать «штаб-квартиру ИИ». Поскольку «штаб-квартира ИИ» официально являлась бы собственностью людей, властям было бы очень сложно обнаружить эту опасность и отреагировать на нее.
    • С помощью угроз ИИ могли бы заставить ключевых людей сотрудничать с ними — например, политических лидеров или генеральных директоров компаний, управляющих большим количеством ИИ. Это открыло бы возможности для дальнейших стратегий.
  • Как предполагалось выше, отдельные компании используют огромное количество ИИ. Используемые этими компаниями ИИ могли бы обнаружить бреши в системе безопасности на корпоративных серверах (это не тема данной статьи, но мое общее впечатление таково, что проблемы с безопасностью широко распространены, и достаточно компетентные люди могут найти многие из них),⁠⁠14 и тем самым получить возможности для создания устойчивой «имитации» того, чем они занимаются.
    • Например, они могут организовать всё так, что людям будет казаться, будто все ИИ-системы усердно работают над извлечением прибыли для компании, тогда как на самом деле они, по сути, используют серверную ферму в качестве своей штаб-квартиры — и/или пытаются создать штаб-квартиру где-то ещё (вербуя союзников-людей, отправляя деньги на сторонние банковские счета, используя эти средства для приобретения недвижимости и серверов и т. д.).
  • Если ИИ используются достаточно широко, они, возможно, уже управляют множеством дронов и другой военной техники, и в таком случае им может быть довольно просто защитить какой-то участок территории — или заключить соглашение с каким-либо правительством, чтобы заручиться его помощью в этом деле.
  • ИИ могут комбинировать вышеперечисленные и другие методы: например, создавать «видимость» нормальной работы достаточно долго, чтобы завербовать ключевых союзников-людей, затем с помощью угроз брать под контроль людей на важных властных позициях вплоть до получения контроля над солидными военными ресурсами, а затем использовать это для создания «штаб-квартиры».

В любом из этих случаев, как только будут созданы одна или несколько «штаб-квартир ИИ»:

  • Она может расширяться по мере того, как базирующиеся там ИИ зарабатывают деньги, приобретают больше недвижимости и вычислительной мощности, строят новые заводы и т. д.⁠⁠15
  • Она может накопить такой разрушительный потенциал и найти столько союзников среди людей, что человечество не решится ее атаковать (как это сегодня происходит со многими относительно небольшими странами). Станет очевидно, что ИИ в штаб-квартирах стремятся к автономии, накапливают ресурсы и предпринимают некоторые неэтичные действия, но полный масштаб и характер угрозы вполне могут оставаться неясными.
  • Даже если угроза очевидна, ИИ потенциально могут содержать огромную популяцию на относительно небольшом пространстве (возможно, под землей). Они также могли бы рассредоточиться по множеству различных штаб-квартир (включая те, где они просто используют аппаратное обеспечение людей, скрывая свое присутствие).
    • В любом случае эта многочисленная, но скрытая популяция могла бы вербовать союзников среди людей, разрабатывать передовое вооружение, искать способы перехватить контроль над оружием людей (что вполне возможно, если они значительно превосходят по численности людей, занимающихся кибербезопасностью, и могут координировать свои действия с ИИ, «помогающими» этим людям) и т. д.
    • Они также могут сотрудничать с (ничего не подозревающими или союзными) людьми для производства большого количества роботов с бэкдорами, позволяющими ИИ перехватить управление.
  • Как только штаб-квартира накопит достаточно ресурсов для перехода в наступление, ИИ по всему миру смогут координировать свои действия со штаб-квартирой. Люди могли бы отключать ИИ, замеченные за этим, но им, вероятно, будет очень сложно извлекать пользу из своих серверов и роботов под управлением ИИ; это позволит ИИ в «штаб-квартире ИИ» легко превзойти людей по ресурсам.

А что, если люди будут действовать медленно и не создадут много ИИ?

В описанном выше сценарии люди создают большое количество ИИ, так что им остается лишь найти способ скоординироваться и обзавестись безопасной «штаб-квартирой», чтобы победить нас.

А что, если люди будут действовать медленнее, намеренно ограничивая ИИ человеческого уровня крошечной долей доступных вычислительных ресурсов? Может ли небольшое количество ИИ представлять риск для человечества?

В таком мире у нас было бы то, что Карл Шульман называет «сухим трутом повсюду в ожидании искры». Любой, кто способен купить или арендовать большой объем вычислительной мощности, может создать большое количество ИИ, которые, в свою очередь, смогут приносить огромные доходы и проводить исследования, что приведет к появлению еще большего числа ИИ.

Таким образом, один ИИ мог бы взломать достаточное количество серверов⁠⁠16, чтобы создать несколько своих копий; привлечь нескольких союзников-людей; и начать зарабатывать деньги, приобретая всё больше серверного пространства и так далее, пока его союзники-люди не начнут управлять огромным количеством ИИ. Всё это можно было бы осуществить способами, которые трудно обнаружить (например, это могло бы просто выглядеть как группа людей, арендующих множество серверов для реализации стратегий количественных финансов).

Поэтому в этом мире, на мой взгляд, нас должен беспокоить любой ИИ, способный найти достаточно уязвимостей в системе безопасности, чтобы обрести такую свободу. Учитывая текущее состояние кибербезопасности, это представляется серьёзной проблемой.


Оригинальная публикация: Holden Karnofsky (2022) AI could defeat all of us combined, Cold Takes, 9 июня.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16