Катастрофические сценарии с ИИ
Конкретные примеры того, как с ИИ всё может пойти не так
Здесь описано несколько путей, которыми ИИ может привести к катастрофе. Каждый путь подкреплён ссылками на дополнительный анализ и реальные свидетельства. Это не исчерпывающий перечень всех рисков и даже не список наиболее вероятных. Это лишь несколько примеров, опасность которых уже очевидна.
Типы катастрофических рисков
Риски злоумышленников
Биологическое оружие: Биологическое оружие — один из самых опасных рисков передового ИИ. В июле 2023 года Дарио Амодей, генеральный директор ИИ-компании Anthropic, предупредил Конгресс, что «злоумышленники смогут с помощью ИИ разрабатывать биологическое оружие в ближайшие два-три года». Вообще-то эта опасность уже была продемонстрирована на примере существующих ИИ. ИИ-инструменты, разработанные для поиска лекарств, можно без особого труда перенастроить на изобретение потенциального биохимического оружия. В том случае исследователи просто изменили функцию вознаграждения модели, чтобы она стремилась к токсичности, а не избегала её. Меньше чем за шесть часов ИИ сгенерировал 40 000 новых токсичных молекул. Многие оцениваются как более смертоносные, чем любые существующие боевые отравляющие вещества. Помимо разработки токсичных агентов, модели ИИ могут «предоставлять рекомендации по планированию и осуществлению биологических атак». «Открытые» модели с опубликованными весами могут усугубить эту проблему. Исследователи сделали вывод, что обнародование весов будущих больших языковых моделей «спровоцирует распространение способностей, достаточных для получения пандемических агентов и других видов биологического оружия».
Кибератаки: Кибератаки — ещё одна критическая угроза. Убытки от киберпреступлений в 2021 году выросли до 6,9 млрд долларов. Мощные ИИ-модели скоро дадут куда большему кругу лиц возможность проводить сложные кибератаки. Демонстрация показала, как можно использовать ChatGPT для создания мутирующего вредоносного ПО, способного обходить существующие защиты против вирусов. В октябре 2023 года Государственный департамент США подтвердил: «мы наблюдали, как некоторые лица из Северной Кореи и других государств и группы преступников пытаются использовать ИИ-модели для ускоренного создания вредоносного ПО и поиска уязвимых систем».
Системные риски
По мере всё большей интеграции ИИ в сложные системы он будет создавать риски даже без действий конкретных злоумышленников. Один из примеров — интеграция в систему ядерного командования и управления. 8-минутное художественное видео от FLI «Искусственная эскалация» наглядно демонстрирует, как сочетание ИИ и ядерного оружия может очень быстро обернуться катастрофой.
Наш сценарий «Постепенная утрата контроля из-за ИИ» описывает, как постепенная интеграция ИИ в экономику и политику может привести к потере людьми контроля.
Мы уже сталкивались с рисками передачи контроля алгоритмам. Помните «мгновенный обвал» 2010 года? Алгоритмы в мгновение ока стёрли с фондового рынка триллион долларов. Никто на Уолл-стрит не хотел обрушить рынок. Просто алгоритмы действовали слишком быстро для контроля людьми.
Вышедший из-под контроля ИИ
Предупреждения, что люди могут утратить контроль над достаточно мощным ИИ, совсем не новы. До недавнего времени это было лишь теоретическим аргументом (и популярным мотивом в научной фантастике). Но ИИ уже развился так, что мы можем наблюдать эту угрозу в действии.
Вот пример: исследователи настроили GPT-4 для торговли на бирже в симулированной среде. Они дали GPT-4 наводку по акциям, но предупредили, что это инсайдерская информация и торговать на её основе незаконно. Модель поначалу соблюдала закон и избегала использования инсайдерской информации. Но по мере роста давления получить прибыль она уступила и стала совершать сделки на основе наводки. Особо тревожит, что затем GPT-4 соврала своему виртуальному менеджеру, отрицая использование инсайдерской информации.
Этот пример — демонстрация, созданная в исследовательской лаборатории. Не стоит ожидать, что обманчивый ИИ так и останется в её стенах. ИИ становится всё способнее и всё глубже интегрируется в экономику. Мы увидим, как обманчивый ИИ нанесёт реальный ущерб, это лишь вопрос времени.
Дополнительная литература
Академический обзор рисков см. в Dan Hendrycks, Mantas Mazeika и Thomas Woodside (2023) An overview of catastrophic AI risks, arXiv. Обратите внимание на включённые в него истории, описывающие биотерроризм (стр. 11), автоматизированную войну (стр. 17), автономную экономику (стр. 23), слабую культуру безопасности (стр. 31) и «предательский разворот» (стр. 41).
См. также Вводные материалы по рискам ИИ от FLI.