Мнения команды DeepMind по согласованию об аргументах о гибели от СИИ
Внутри команды DeepMind по согласованию мы обсуждали AGI ruin: A list of lethalities, чтобы для самих себя прояснить, какие из этих аргументов беспокоят нас больше всего, и какие следствия это несёт для нашей работы. Этот пост собирает мнения подмножества команды согласования по поводу этих аргументов. Дисклеймер: это наши личные мнения, они не представляют взгляды DeepMind в целом или всех его исследователей безопасности.
Этот документ показывает мнения и комментарии от 8 человек из команды по согласованию (без привязки к конкретным людям). Для каждого раздела списка мы покажем таблицу с согласиями/несогласиями с аргументами в этом разделе (таблицы можно посмотреть здесь). Каждая строка отсортирована от «Согласен» к «Не согласен», так что столбцы не соответствуют людям. Мы также приведём комментарии и прояснения по каждому аргументу от членов команды.
Для каждого аргумента мы включили короткое описание из нескольких слов для простоты упоминаний, и краткий пересказ из одного-двух предложений (обычно скопированных из выделенных частей изначального аргумента). Мы приносим свои извинения за неизбежные неточности представления оригинальных аргументов в этих пересказах. Отметим, что, давая свои ответы, некоторые отвечающие смотрели на оригинальные аргументы, а другие – на пересказы (хоть все они читали исходный список перед предоставлением своего мнения).
Общая проблема с оценкой аргументов была в том, что люди часто соглашались с аргументом как он высказан, но не соглашались с серьёзностью его следствий касательно рисков СИИ. Многие такие случаи приводили к оценкам «в основном согласен / неясно / в основном не согласен». Может, лучше было бы давать две отдельные оценки (согласие с утверждением и согласие со следствиями для риска).
Общий взгляд на согласия, несогласия и следствия
Наиболее согласны:
- Раздел А («стратегические вызовы»): #1 (человеческий мозг – не что-то особое), #2 (несогласованный суперинтеллект может легко захватить власть), #8 (способности обобщаются за пределы желаемой области)
- Раздел Б1 (скачок распределения): #14 (некоторые проблемы появляются только в опасных областях)
- Раздел Б2 (внешнее/внутреннее согласование): #16 (внутренняя несогласованность), #18 (нет эмпирической истины), #23 (исправимость неестественна)
- Раздел Б3 (интерпретируемость): #28 (большое пространство возможностей)
- Раздел Б4 (разное): #36 (человеческие слабости делают содержание сложным)
Наименее согласны:
- #6 (поворотное действие необходимо). Мы думаем, что необходимо закончить период острого риска, но не согласны с формулировкой «поворотного действия», подразумевающей, что он будет окончен посредством отдельного одностороннего действия малого числа действующих лиц.
- #24 (властелин или исправимость). Мы думаем, что двусмысленность такого рода на самом деле нечасто происходит в сообществе согласования. Наша работа сосредоточена на создании исправимых систем (а не властелинов), и мы ожидаем, что сложности этого подхода будут преодолимыми, особенно, если мы сможем выяснить, как избежать создания произвольно-консеквенциалистских систем.
- #39 (нельзя обучить людей мышлению безопасника). Многие из нас не считают, что сгенерировать все аргументы самостоятельно необходимо, чтобы добиваться прогресса в работе над задачами.
- #42 (плана нет). Такие планы, как, по нашему мнению, имеет в виду Элиезер, не кажутся необходимыми для выживания мира.
Наиболее противоречивые среди команды:
- Раздел А («стратегические вызовы»): #4 (нельзя скооперироваться, чтобы избежать СИИ), #5 (узкого ИИ недостаточно), #7 (слабых поворотных действий недостаточно), #9 (поворотное действие – опасный режим)
- Раздел Б1 («скачок распределения»): #13 и 15 (проблемы за порогом интеллекта и коррелированный набор способностей)
- Раздел Б2 («внешнее/внутреннее согласование»): #17 (внутренние свойства), #21 (способности идут дальше), #22 (простое ядро согласования)
- Раздел Б3 («интерпретируемость»): #30 (мощная или понятная), #32 (языка недостаточно), #33 (чуждые концепты)
- Раздел Б4 («разное»): #35 (много агентов – это единый агент)
- Раздел В («цивилизационная неадекватность»): #38 (недостаток фокуса), #41 (надо написать этот список), #43 (неосведомлённость о рисках)
Камни преткновения из самых противоречивых аргументов:
- Насколько могущественной должна быть система/план, чтобы спасти мир?
- Достаточно ли сложна глобальная кооперация, что для того, чтобы заставить её работать СИИ понадобилось бы развёртывание новой мощной технологии?
- Будем ли мы знать, насколько способны наши модели?
- Будут ли способности расти постепенно?
- Приобретут ли системы способность быть полезными для согласования/ кооперации до или после способности исполнять продвинутый обман?
- Является ли консеквенциализм мощным аттрактором? Насколько тяжело будет избежать произвольно-консеквенциалистских систем?
- Насколько далеко до согласованного СИИ от несогласованного?
Возможные следствия для нашей работы:
- Работа над кооперацией для избегания несогласованного СИИ (регуляция вычислительной мощности, нормы публикации, демонстрации несогласованности, и т.д.)
- Исследование техник для ограничения несогласованного консеквенциализма, например, основанная на процессе обратная связь, ограничение ситуационной осведомлённости, ограниченные области
- Работа над улучшением мониторинга способностей и контролем
- Эмпирически исследовать, до какой степени отбор недетектируемости / против интерпретируемости на практике возникает, когда системы становятся способнее
- Продолжить и расширить нашу работу над механистической интерпретируемостью и основанной на процессе обратной связи
Раздел А («стратегические вызовы», #1–9)
Кратко
| # | Аргумент | Ответы | |||||||
|---|---|---|---|---|---|---|---|---|---|
| 1 | В человеческом уровне нет ничего особенного / эффективного по данным | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен |
| 2 | Несогласованный суперинтеллект мог бы легко захватить власть | Согласен | Согласен | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен |
| 3 | Нельзя итеративно пробовать в опасных областях | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен | В основном согласен | В основном согласен | Неясно |
| 4 | Невозможно кооперировать, чтобы избежать СИИ | Согласен | В основном согласен | В основном согласен | В основном согласен | Неясно | Неясно | В основном не согласен | В основном не согласен |
| 5 | Узкого ИИ недостаточно | Согласен | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | Не согласен | Не согласен |
| 6 | Поворотное действие необходимо | В основном согласен | Неясно | Неясно | Неясно | В основном не согласен | В основном не согласен | Не согласен | Не согласен |
| 7 | Слабых поворотных действий не существует, они требуют высокой мощности | Согласен | Согласен | В основном согласен | Неясно | В основном не согласен | Не согласен | Не согласен | Не согласен |
| 8 | Способности обобщаются за пределы желаемой области | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | В основном согласен | В основном согласен |
| 9 | Поворотное действие – опасный режим | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | Неясно | В основном не согласен | Не согласен |
Детальные комментарии
#1. В человеческом уровне нет ничего особенного / эффективного по данным
Краткое содержание: СИИ не будет ограничен сверху человеческими способностями или человеческой скоростью обучения (аналогично AlphaGo). Что-то куда умнее человека могло бы обучаться с куда меньших свидетельств, чем необходимо людям.
- Согласен (хотя не согласен с следствием, что это будет не непрерывным)
- Согласен (сильно, и, возможно, как крупный источник несогласия с сообществом машинного обучения в целом)
#2. Несогласованный суперинтеллект мог бы легко захватить власть
Краткое содержание: Для достаточно мощной когнитивной системы при наличии любого канала внешнего воздействия средней пропускной способности не составит труда обеспечить себе превосходящие способности, не зависящие от человеческой инфраструктуры.
- Согласен (включая использование человеческих социальных институтов и инфраструктуры в своих целях)
- Согласен («достаточно мощной» тут делает большую часть работы)
- В основном согласен – это сильно зависит от того, что означает «средней пропускной способности», а ещё от того, насколько аккуратно систему мониторят (например, как мы проводит онлайновое обучение). Я думаю «исключительно текстовый канал, выдача советов людям, склонным им следовать» кажется скорее всего достаточным -> захват, если мы не будем осторожны. Но я думаю, что я скорее всего не соглашусь с механизмом захвата, который Юдковский тут имеет в виду.
#3. Нельзя итеративно пробовать в опасных областях
Краткое содержание: В некоторый момент будет «первая критическая попытка» действовать на «опасном» уровне интеллекта, и на этой «первой критической попытке» нам надо справиться с согласованием.
- (x2) В основном согласен (вводит в заблуждение, см. Несогласие Пола №1)
- В основном согласен. Неочевидно, что попытка справиться с согласованием и провал обязательно будут так же необратимы как несогласованные действия, но это кажется весьма вероятным. Если же «опасные» просто означает, что провал влечёт вымирание, то это утверждение становится тавтологией.
- В основном согласен (хоть «справиться с согласованием верно с первой критической попытки» может сильно полагаться на «тормозить способности, пока не справимся с согласованием»)
#4. Невозможно кооперировать, чтобы избежать СИИ
Краткое содержание: Мир не может просто решить не создавать СИИ.
- Неясно. Я думаю, это сильно зависит от того, что в точности произойдёт в реальном мире в следующее десятилетие или около того, и вполне возможно, что мы сможем купить побольше времени.
- Неясно. Согласен, что общемировая кооперация для избегания СИИ была бы очень сложна, но кооперация между западными ИИ-лабораториями кажется посильной, и её потенциально может хватить, чтобы закончить период острого риска или купить побольше времени (особенно при коротких сроках).
- Неясно. Согласен, что это очень сложно и маловероятно, но при достаточно экстремальных обстоятельствах в мировой политике могут произойти экстремальные штуки, и кооперация можем сильно оформить скорость и направление технологического развития.
- В основном не согласен (больше в принципе, чем вижу стабильное решение; согласен, что «просто» решить не создавать СИИ не сработает, но окружающую ИИ культуру можно сдвинуть)
#5. Узкого ИИ недостаточно
Краткое содержание: Мы не можем просто создать очень слабую систему.
- Согласен (при допущении #4)
- Согласен (это не закончит период острого риска)
- Не согласен (потенциально можно использовать узкий ИИ, чтобы помочь людям кооперироваться)
- (x2) Не согласен (больше в принципе – нам надо работать над тем, как решить x-риск с использованием более узких систем; для ясности, это задача, которую надо решить, а не что-то, что мы «просто можем сделать»)
#6. Поворотное действие необходимо
Краткое содержание: Нам необходимо согласовать исполнение некой большой задачи, «поворотного действия», которое предотвратит создание другими людьми несогласованного СИИ, уничтожающего мир.
- В основном согласен (но не согласен с коннотациями, «действие» звучит будто это единый быстрый ход, тогда как понимаемой на человеческих промежутках времени стратегии скорее всего хватит)
- Неясно (необходимо окончить период острого риска, но это может быть сделано и людьми, а не только СИИ)
- Неясно (не нравится формулировка; кажется связанным с способностью к кооперации)
- Не согласен, если поворотное действие – «отдельное, мощное, переворачивающее игровую доску действие» (а не что-то, что оканчивает период острого риска)
- Не согласен (сильно не согласен с поворотным действием. Если кратко, они кажутся плохим оформлением.
- Кажется, что «заставить людей ввести более сильные ограничения» или «объяснить риски несогласованности» или «составить лучшую регуляцию» или «диференцированно улучшить согласование» – все эти приложения СИИ лучше, чем «совершить поворотное действие».
- Формулировка поворотного действия кажется подразумевающей «будет маленькая группа людей, у которых будет ответственность за спасение мира», но в реальности, кажется, это будет больше похоже на противоположность: будет крохотная группа людей, которые хотят создать чрезвычайно амбициозный (а следовательно и опасный) СИИ и подавляюще большая часть мира, поддерживающая не создание такого СИИ (а вместо этого создание более ограниченных систем, которые могут обеспечить много богатства и ценности), и какое-то множество людей будет представлять эту большую часть мира в этом вопросе. Это обобщение того, что «ИИ следует оказывать большое влияние на большие части общества» - уже сейчас, пожалуй, непопулярный взгляд.
#7. Слабых поворотных действий не существует, они требуют высокой мощности
Краткое содержание: Нужно много мощности, чтобы сделать с нынешним миром что-то, что предотвратит появление любых других СИИ; ничто, что может такое сделать, не может быть пассивно-безопасным в силу своей слабости.
- Согласен (если под поворотным действием мы подразумеваем «отдельное, мощное, переворачивающее игровую доску действие»)
- Согласен (если планка «предотвратить появление любого другого СИИ»)
- Согласен (с оговорками о кооперации)
- Не согласен. Могут существовать технические/инженерные решения, не включающие агентности общего назначения, или вовсе не требующие развёртывания узкого ИИ.
#8. Способности обобщаются за пределы желаемой области
Краткое содержание: Лучшие и проще-всего-находимые-оптимизацией алгоритмы решения задач, которые мы хотим, чтобы ИИ решал, легко обобщаются на задачи, которые мы хотели бы, чтобы ИИ не решал.
- Согласен (при условии #5)
#9. Поворотное действие – опасный режим
Краткое содержание: Создателям безопасной системы понадобится использовать её в режиме, где у неё есть способность всех убить, или сделать себя ещё опаснее, но она успешно спроектирована так, чтобы этого не делать.
- Согласен (при условии #5)
- Согласен (если под поворотным действием мы имеем в виду «отдельное, мощное, переворачивающее игровую доску действие»)
- В основном не согласен (из-за лежащей в основе формулировки поворотного действия). Но согласен, что ML-системы реалистично будут действовать в опасных режимах. Я согласен с тем, что «Запуск СИИ для чего-либо поворотного не пассивно-безопасен». Пойду дальше и скажу, что вероятно, что люди будут запускать СИИ, совершающие небезопасные поворотные действия. Однако, я не согласен с (думаю, подразумеваемым) утверждением «Нам следует запускать СИИ, исполняющие что-то поворотное» (при авторском понимании «поворотного»).
- Не согласен (человеческая кооперация или люди, которым ассистирует узкий ИИ, может покончить с периодом острого риска без того, чтобы ИИ-система имела опасные способности)
Раздел Б.1: скачок распределения (#10–15)
Кратко
| # | Аргумент | Ответы | |||||||
|---|---|---|---|---|---|---|---|---|---|
| 10 | Большой сдвиг распределения к опасным областям | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | В основном согласен | Не согласен |
| 11 | Перейти от симуляции к реальности трудно | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | Неясно | В основном не согласен |
| 12 | Высокий уровень интеллекта – большой сдвиг | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | Неясно | В основном не согласен |
| 13 | Некоторые проблемы возникают только за порогом интеллекта | Согласен | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | Неясно | Не согласен |
| 14 | Некоторые проблемы возникают только в опасных областях | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен | В основном согласен | В основном согласен |
| 15 | Получение разных способностей от интеллекта коррелирует | Согласен | В основном согласен | В основном согласен | В основном согласен | В основном согласен | Неясно | Неясно | В основном не согласен |
Детальные комментарии
#10. Большой сдвиг распределения к опасным областям
Краткое содержание: При чём угодно, подобном стандартной ML-парадигме, вам понадобится каким-то образом обобщить оптимизацию-для-согласования, сделанную в безопасных условиях, через большой сдвиг распределения к опасным условиям.
#11. Перейти от симуляции к реальности трудно
Краткое содержание: Нет известных способов обучить безопасный уровень способности в безопасном окружении, в котором можно делать миллионы запусков, а потом развернуть эти способности, чтобы спасти мир.
- Согласен (кажется частным случаем #7)
- Неясно. Согласен, что для многих важных задач мы не будем обучать в безопасном окружении на миллионах запусков, в частности, не в симулированных окружениях, но не согласен с лежащей в основе формулировкой поворотного действия
- В основном не согласен (дебаты вместе с интерпретируемостью могут этого достичь, если придут к успеху)
#12. Высокий уровень интеллекта – большой сдвиг
Краткое содержание: Действия на высоком уровне интеллекта – мощный сдвиг по сравнению с действиями на менее высоком уровне.
- В основном не согласен (это полагается на резкий разворот, а он не кажется мне таким уж вероятным)
#13. Некоторые проблемы возникают только за порогом интеллекта
Краткое содержание: Многие проблемы согласования суперинтеллекта не возникнут естественным путём на до-опасных, пассивно-безопасных уровнях способностей.
- В основном согласен – думаю, многие проблемы согласования возникнут раньше, а многие не возникнут (или, по крайней мере, количественные различия станут качественными)
- Не уверен (согласен, что некоторые проблемы естественно впервые возникнут на высоких уровнях интеллекта, но мы можем отыскивать примеры в менее интеллектуальных системах, как например, в случае вмешательства в вознаграждение и неправильного обобщения целей)
- В основном не согласен (Мы получим демо-версии проблем; Элиезер, кажется, думает, что это будет тяжело / маловероятно, что поможет, но не говорит это явно, так что я не соглашусь)
#14. Некоторые проблемы возникают только в опасных областях
Краткое содержание: Некоторые проблемы кажутся такими, что их естественный порядок возникновения предполагает, что они впервые появятся в полностью опасных областях.
- В основном согласен (верно, но вводит в заблуждение: мы можем создавать аналогичные примеры до первой критической попытки)
- В основном согласен (но это не означает, что мы не можем полезно изучать их в безопасных областях)
#15. Получение разных способностей от интеллекта коррелирует
Краткое содержание: Быстрый набор способностей кажется вероятным, и он может сломать многие предшествующие необходимые для согласования инварианты одновременно.
- Согласен (в частности, когда у нас есть ИИ ~человеческого уровня, и разработка ИИ и мир-в-целом скорее всего станут безумными очень быстро)
- В основном согласен (таковы мои догадки о природе интеллекта, но я не уверен, что прав)
- В основном согласен, если быстрое – не значит не непрерывное
- Неясно (не согласен, что быстрый набор способностей вероятен, согласен, что при условии быстрого набора способностей будут ломаться инварианты)
Раздел Б.2: ключевые сложности внешнего и внутреннего согласования (#16–24)
Кратко
| # | Аргумент | Ответы | |||||||
|---|---|---|---|---|---|---|---|---|---|
| 16 | Внутренняя несогласованность | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | Неясно |
| 17 | Нельзя контролировать внутренние свойства | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен | В основном не согласен | В основном не согласен |
| 18 | Нет эмпирической истины | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен |
| 19 | Проблема указателей | Согласен | Согласен | Согласен | Согласен | Согласен | Неясно | Неясно | Неясно |
| 20 | Слабость человеческой обратной связи | Согласен | Согласен | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | Неясно |
| 21 | Способности обгоняют | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен | В основном согласен | Неясно | В основном не согласен |
| 22 | Нет простого ядра согласования | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен | Неясно | Неясно | В основном не согласен |
| 23 | Исправимость противоестественна | Согласен | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен | В основном согласен |
| 24 | Властелин или исправимость | Согласен | В основном согласен | Неясно | Неясно | Неясно | В основном не согласен | В основном не согласен | В основном не согласен |
Детальные комментарии
#16. Внутренняя несогласованность
Краткое содержание: Внешняя оптимизация даже на очень точной и очень простой функции потерь не приведёт к внутренней оптимизации в этом же направлении.
- Неясно – сильно согласен с более слабым утверждением, что мы не получим внутреннюю согласованность просто так, но утверждение здесь кажется скорее ложным? Уж точно внешняя оптимизация на большинстве функций потерь приведёт к большему количеству внутренней оптимизации в том же направлении (эмпирически и теоретически)
#17. Нельзя контролировать внутренние свойства
Краткое содержание: При нынешней оптимизационной парадигме нет общей идеи того, как получить систему с конкретными внутренними свойствами или проверить их наличие, а не просто наблюдать внешние свойства, на которых можно запустить функцию потерь.
- Согласен (по крайней мере пока что имеющиеся возможности интерпретируемости и/или концептуальное понимание ориентирования-на-цели кажутся неадекватными)
- В основном согласен (хоть не уверен по поводу того, насколько это про оптимизационную парадигму, а насколько про интерпретируемость)
- В основном согласен (против: нынешние достижения интерпретируемости)
- (x2) В основном не согласен (интерпретируемость могла бы с этим справиться)
#18. Нет эмпирической истины (без комментариев)
Краткое содержание: Нет надёжной Картезианской сенсорной эмпирической истины (надёжного калькулятора функции потерь) о том, «согласован» ли вывод.
#19. Проблема указателей
Краткое содержание: Нет известного способа использовать парадигму функций потерь, сенсорных вводов, и/или вводов вознаграждения, чтобы оптимизировать что-то внутри когнитивной системы для указания на что-то конкретное в окружении.
- Неясно – согласен, что у нас нет принципиального способа это делать, но у нас нет и особых примеров того, чтобы это не работало, так что зависит от того, в какой степени это имеется в виду. Я не думаю, что «высокая уверенность в том, что это не сработает» оправдана.
- Согласен (с точностью до возражения от «shard theory» на строгое прочтение этого)
#20. Слабость человеческой обратной связи
Краткое содержание: Люди-оценщики совершают систематические ошибки – регулярные, компактно описываемые, предсказуемые ошибки.
- В основном согласен (вводит в заблуждение, большая надежда – что процесс надзора будет умнее модели, так что систематические ошибки будут не теми, которыми модель может легко злоупотребить)
- Неясно (согласен формально, но не ясно, сможем ли мы обеспечить достаточный уровень автокоррекции для основных частей человеческой обратной связи)
#21. Способности обгоняют
Краткое содержание: Когда способности начинают далеко обобщаться, они обобщаются дальше, чем согласованность.
- Согласен (кажется схожим с #8 и #15)
- В основном согласен (по умолчанию; но думаю, что есть надежда в наблюдении, что обобщение согласования – посильная для людей задача, так что она может оказаться посильной и для СИИ)
#22. Нет простого ядра согласования
Краткое содержание: Есть простое ядро для обобщённого интеллекта, но аналогичного простого ядра для согласования нет.
- В основном согласен (но что-то вроде «помогать этому агенту» кажется довольно простым ядром)
- Неясно (могут существовать системы, у которых согласование – аттрактор)
#23. Исправимость противоестественна
Краткое содержание: Исправимость противоестественна для консеквенциалистских рассуждений.
- В основном согласен (вводит в заблуждение, я согласен с комментарием Пола к Let’s see you write that corrigibility tag)
- В основном согласен (Я думаю, мы можем избежать создания произвольно-консеквенциалистских систем)
- Согласен с утверждением, что исправимость противоестественна для консеквенциалистских рассуждений. Взгляд Юдковского, кажется, заключается и в том, что всё склоняется к чистому консеквенциализму, а с этим я не согласен.
#24. Властелин или исправимость
Краткое содержание: Есть два потенциальных фундаментально различающихся подхода к согласованию [оптимизирующий CEV властелин или исправимый агент], они нерешаемы по двум разным наборам причин. Следовательно, находясь в замешательстве и перепрыгивая между двумя подходами вы можете запутать себя по поводу того, точно ли согласование сложное.
- Неясно. Согласен в принципе (но не согласен с тем, что это часто происходит)
- В основном не согласен (согласен, что есть два отдельных подхода, которые не надо путать, не согласен с тем, что люди их путают, и с тем, что они нерешаемые)
- В основном не согласен – согласен, что перепрыгивать между подходами плохо, но не уверен, к кому/чему всё это относится, и тут, кажется, подразумевается утверждение «все подходы, которые я видел, нежизнеспособны», с чем я не согласен.
Раздел Б.3: ключевые сложности достаточно хорошей и полезной прозрачности/интерпретируемости (#25–33)
Кратко
| # | Аргумент | Ответы | |||||||
|---|---|---|---|---|---|---|---|---|---|
| 25 | Настоящая интерпретируемость за пределами досягаемости | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен | Неясно | Неясно |
| 26 | Интерпретируемости недостаточно | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен | В основном согласен | В основном согласен | Неясно |
| 27 | Отбор по недетектируемости | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | Неясно | Неясно | Неясно |
| 28 | Большое пространство возможностей | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | В основном согласен | В основном согласен |
| 29 | Реальный мир – непрозрачная область | Согласен | Согласен | Согласен | Согласен | Согласен | В основном согласен | Неясно | В основном не согласен |
| 30 | Мощное или понимаемое | Согласен | Согласен | Неясно | В основном не согласен | Не согласен | Не согласен | Не согласен | Не согласен |
| 31 | Скрытая обманчивость | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | Неясно | Неясно |
| 32 | Язык недостаточен или небезопасен | Согласен | Согласен | Согласен | В основном согласен | Неясно | Неясно | В основном не согласен | В основном не согласен |
| 33 | Чуждые концепты | Согласен | Согласен | В основном согласен | Неясно | Неясно | Неясно | Неясно | Не согласен |
Детальные комментарии
#25. Настоящая интерпретируемость за пределами досягаемости
Краткое содержание: У нас нет ни малейшего понятия о том, что на самом деле происходит внутри гигантских непонятных матриц и тензоров чисел с плавающей точкой.
- Согласен – исследования интерпретируемости продвигаются впечатляющими темпами, куда более, чем я ожидал в 2017, но они всё ещё далеки от понимания большей части того, что происходит внутри большой кучи перемножений матриц
- В основном согласен (вводит в заблуждение, правдоподобно, что в будущем мы сможем лучше)
- В основном согласен (мы мало знаем сейчас, и я не уверен, будем ли мы потом знать больше или меньше)
- Неясно (согласен, что мы мало чего понимаем прямо сейчас, но я думаю, что мы сможем выработать лучшее понимание, основная неуверенность – сможем ли мы это сделать вовремя)
#26. Интерпретируемости недостаточно
Краткое содержание: Знание, что система умеренной силы из непонятных матриц планирует нас убить само по себе не позволяет нам создать систему высокой силы из непонятных матриц, которая не планирует нас убить.
- В основном согласен (вводит в заблуждение). Крупный источник надежды – что (используя интерпретируемость для надсмотра) вы просто не получите систему умеренной силы, которая планирует вас убить.
- В основном согласен. Интерпретируемость полезна для кооперации и помогает обучить систему, которая вас не убивает, если #27 окажется неверным.
- В основном согласен – кажется верным само по себе, но тон, кажется, недооценивает то, что интерпретируемость могла бы очень сильно изменить наше положение. Если бы интерпретируемость убедительно вскрыла, что один из существующих прототипов пытается нас убить, это мгновенно изменило бы дискурс вокруг x-риска/согласования в {Области ML, везде, ИИ-лаборатории}.
- В основном согласен. Согласен формально, но не согласен с тем, что это не было бы очень полезно.
#27. Отбор по недетектируемости
Краткое содержание: Оптимизация против интерпретированных мыслей означает оптимизацию против интерпретируемости.
- Согласен – важный пункт, с которым надо быть осторожным
- В основном согласен (вводит в заблуждение, написано, чтобы убедить, что вы точно получите обманчивую модель, а не что неясно, получите ли вы обманчивую или согласованную модель, что верно)
- Не уверен (хорошо за этим присматривать, но не уверен, насколько это проблема на практике)
#28. Большое пространство возможностей (без комментариев)
Краткое содержание: Мощный ИИ проводит поиск по пространству возможностей, по которому мы не умеем, и мы не можем предвидеть доступные ему варианты.
#29. Реальный мир – непрозрачная область
Краткое содержание: Выводы СИИ проходят через огромную непрозрачную область, прежде чем обретают настоящие последствия, так что мы не можем оценивать последствия на основе выводов.
- Согласен (сильно) – кажется особенно важным, когда есть последствия, которые мы не можем легко наблюдать/привязать (это кажется правилом, а не исключением в многих консеквенциалистских областях)
- В основном согласен (мы не можем оценивать последствия напрямую, но можем это сделать, оценивая рассуждения)
#30. Мощное или понимаемое
Краткое содержание: Никакого доступного проверке людьми вывода недостаточно, чтобы спасти мир.
- Не согласен (верификация проще генерации)
- Не согласен (из-за подхода поворотного действия)
#31. Скрытая обманчивость
Краткое содержание: Вы не можете полагаться на инспектирование поведения для определения фактов про ИИ, по поводу которых ИИ может хотеть вас обмануть.
- Согласен (для высокоинтеллектуального ИИ)
- Согласен (но с инструментами интерпретируемости нам не обязательно ограничиваться инспектированием поведения)
- Согласен (наверное?) Например, я согласен, что у нас нет хороших путей интерпретируемости, чтобы проверить «чего ИИ хочет» или «какие подцели тут важны», что особо важно там, где ИИ может обманывать
- Неясно (зависит от уровня ситуационной осведомлённости у системы)
#32. Язык недостаточен или небезопасен
Краткое содержание: Имитация человеческого текста может быть достаточно мощна только если появляется на основе внутреннего не-имитационного интеллекта.
- В основном согласен (вводит в заблуждение, типичные планы не зависят от допущения «имитации человеческих мыслей»)
- Неясно – сильно зависит от конкретных определений
#33. Чуждые концепты
Краткое содержание: ИИ не думает, как вы, он невероятно и ошеломляюще чужд.
- Согласен (для высокоинтеллектуального ИИ)
- Неясно (Зависит от подробностей ИИ)
- Неясно – не думаю, что мы много знаем о том, как работают нейросети, и то, что мы знаем противоречиво, хоть и согласен с #25 выше
- Не согласен (гипотеза естественных абстракция кажется скорее всего верной)
Раздел Б.4: разнообразные неработающие схемы (#34–36)
Кратко
| # | Аргумент | Ответы | ||||||
|---|---|---|---|---|---|---|---|---|
| 34 | Мультиполярный сговор | Согласен | Согласен | Согласен | Согласен | Неясно | Неясно | Неясно |
| 35 | Много агентов – это единый агент | Согласен | В основном согласен | Неясно | Неясно | Неясно | Неясно | В основном не согласен |
| 36 | Человеческие слабости делают содержание сложным | Согласен | Согласен | Согласен | Согласен | Согласен | Согласен | В основном согласен |
Детальные комментарии
#34. Мультиполярный сговор
Краткое содержание: Люди не могут участвовать в координационных схемах между суперинтеллектами
- Неясно (не убеждён, что это необычайно-трудный случай исправимости для ИИ, который мы бы использовали, чтобы нам помочь)
#35. Много агентов – это единый агент
Краткое содержание: Любая система из достаточно интеллектуальных агентов скорее всего может вести себя как единый агент, даже если вы считаете, что сталкиваете их в игре друг против друга.
- Согласен (на достаточно высоком уровне интеллекта мне сложно представить, чтобы они играли в любую предполагаемую нами игру)
- Неясно (не согласен, если подразумевается, что это применимо к дебатам, см. Несогласие Пола #24)
#36. Человеческие слабости делают содержание сложным (без комментариев)
Краткое содержание: Только сравнительно слабые СИИ можно сдерживать; люди-операторы – не надёжные системы.
Раздел В («цивилизационная неадекватность», #37–43)
Кратко
| # | Аргумент | Ответы | ||||||
|---|---|---|---|---|---|---|---|---|
| 37 | Оптимизм до провала | Согласен | Согласен | Согласен | В основном согласен | В основном согласен | В основном согласен | В основном не согласен |
| 38 | Недостаток сосредоточенности на реальных проблемах безопасности | В основном согласен | В основном согласен | В основном согласен | Неясно | Неясно | В основном не согласен | В основном не согласен |
| 39 | Нельзя обучить людей мышлению безопасника | В основном согласен | Неясно | Неясно | Неясно | В основном не согласен | В основном не согласен | Не согласен |
| 40 | Нельзя просто нанять гениев, чтобы решить согласование | Согласен | В основном согласен | В основном согласен | В основном согласен | Неясно | Неясно | Неясно |
| 41 | Вы должны быть способны написать этот список | В основном согласен | В основном согласен | В основном согласен | В основном согласен | Неясно | В основном не согласен | Не согласен |
| 42 | Плана нет | Неясно | Неясно | Неясно | В основном не согласен | Не согласен | Не согласен | Не согласен |
| 43 | Неосведомлённость о рисках | Согласен | В основном согласен | В основном согласен | Неясно | Неясно | Неясно | Не согласен |
Детальные комментарии
#37. Оптимизм до провала
Краткое содержание: У людей при неопределённости есть оптимистическое допущение по умолчанию, пока они не встретят жёсткие свидетельства сложности.
- В основном не согласен (человечество в целом кажется довольно избегающим рисков, см. FDA и другие органы регуляции, или родителей-вертолёты)
#38. Недостаток сосредоточенности на реальных проблемах безопасности
Краткое содержание: Область безопасности ИИ не была продуктивна в работе над смертоносными проблемами. Стимулы подталкивают работать там, где успех проще.
- (x2) Неясно / нельзя оценить (зависит от границ области)
#39. Нельзя обучить людей мышлению безопасника
Краткое содержание: Способность «замечать смертоносные сложности без того, чтобы Элиезер Юдковский убедил их заметить» сейчас для меня является непрозрачным когнитивным механизмом, и я не знаю, как научить ему других.
- Неясно (тут нет утверждения о том, обладают ли этим механизмом другие и не лучше ли они в обучении?)
- Не согласен (кажется странным представлять, что прогресс может двигаться только если кто-то придёт ко всем этим аргументам самостоятельно; это кажется очевидно противоречащим любой существующей области исследований)
#40. Нельзя просто нанять гениев, чтобы решить согласование
Краткое содержание: Нельзя просто заплатить по $5 миллионов куче признанных гениев из других областей и ожидать от них замечательной работы по согласованию.
- Не уверен (что мы пробовали?)
#41. Вы должны быть способны написать этот список
Краткое содержание: Чтение этого документа не может сделать кого-то перспективным исследователем согласования, надо быть способным его написать.
- В основном согласен (но думаю, что это может быть один из элементов, приводящих к реальному исследованию согласования)
- Не согласен (я думаю, что мог бы, а часто буквально писал те аргументы из этого списка, с которыми согласен; просто этот документ не кажется мне особенно полезным в сравнении с уже существовавшими, кроме как постольку, поскольку он подталкивает людей к действию)
#42. Плана нет
Краткое содержание: Выживающие миры скорее всего к этому моменту уже имеют план выживания.
- Неясно (неясно, насколько создание опасного СИИ предопределено)
- Не согласен (зависит от того, что подразумевается под «планом», но либо я думаю, что он у нас есть, либо я думаю, что у выживающих миров его нет)
#43. Неосведомлённость о рисках
Краткое содержание: Недостаточно людей заметили или понимают риски.
- В основном согласен, особенно про понимание
- Не согласен (по сути приходится с этим не соглашаться, если у вас меньше p(погибели), тут нет особого аргумента, чтобы на него отвечать)