Управление суперинтеллектом
Сейчас подходящий момент, чтобы начать задумываться об управлении суперинтеллектом — будущими ИИ-системами, которые по своим способностям будут радикально превосходить даже СИИ.
Судя по тому, как ситуация выглядит сейчас, не исключено, что в течение следующих десяти лет ИИ-системы превзойдут экспертный уровень в большинстве областей и будут выполнять такой же объём продуктивной деятельности, как одна из крупнейших современных корпораций.
И по потенциальным выгодам, и по потенциальным рискам суперинтеллект будет мощнее других технологий, с которыми человечеству приходилось иметь дело. Нас может ждать гораздо более процветающее будущее, но для его достижения мы должны управлять риском. Учитывая возможность экзистенциального риска, мы не можем действовать исключительно реактивно. Ядерная энергия — часто приводимый исторический пример технологии с таким свойством; синтетическая биология — ещё один пример.
Мы должны снижать риски и от современных технологий ИИ, но суперинтеллект потребует особого подхода и координации.
Отправная точка
Чтобы у нас были хорошие шансы успешно пройти этот этап развития, важно многое; здесь мы излагаем первоначальные соображения по трём идеям.
Во-первых, нам необходима определённая степень координации между ведущими проектами по разработке — так, чтобы развитие суперинтеллекта позволяло нам и сохранять безопасность, и способствовать плавной интеграции этих систем в общество. Сделать это можно по-разному: правительства крупнейших стран мира могли бы создать проект, в который вошли бы многие текущие разработки, или мы могли бы коллективно договориться (опираясь на полномочия новой организации, подобной предложенной ниже), что темпы роста способностей передового ИИ будут ограничены определённой величиной в год.
И, конечно же, отдельные компании должны отвечать чрезвычайно высоким стандартам ответственного поведения.
Во-вторых, со временем нам, вероятно, понадобится нечто вроде МАГАТЭ для сферы суперинтеллекта; любой проект, выходящий за пределы определённого порога способностей (или ресурсов, таких как вычислительные мощности), должен подчиняться международному органу, который сможет проводить инспекции систем, требовать аудитов, проверять соблюдение стандартов безопасности, налагать ограничения на степень развёртывания и уровни защищённости и т. д. Отслеживание вычислительных мощностей и энергопотребления могло бы сыграть важную роль и дать нам некоторую надежду на то, что эта идея действительно реализуема. Первым шагом компании могли бы добровольно договориться о внедрении элементов того, что такое агентство может однажды потребовать, а вторым шагом это могли бы реализовать отдельные страны. Важно, чтобы такое агентство сосредоточилось на снижении экзистенциальных рисков, а не на вопросах, которые следует оставить на усмотрение отдельных стран, — например, на том, что ИИ разрешено говорить.
В-третьих, нам нужна техническая возможность обеспечить безопасность суперинтеллекта. Это открытый исследовательский вопрос, над которым усердно работаем и мы, и другие.
Что остаётся за рамками
Мы считаем важным дать компаниям и проектам с открытым исходным кодом возможность разрабатывать модели, не достигающие значительного порога способностей, без того регулирования, которое мы описываем здесь (включая обременительные механизмы, такие как лицензии или аудиты).
Современные системы создадут огромную ценность для мира, и, хотя они и сопряжены с рисками, уровень этих рисков представляется соизмеримым с рисками других интернет-технологий, а вероятные подходы общества к ним — уместными.
Напротив, системы, вызывающие у нас озабоченность, будут мощнее любой созданной до сих пор технологии, и нам следует быть осторожными, чтобы не ослабить внимание к ним, применяя такие же стандарты к технологиям, которые далеки от этого порога.
Участие общества и потенциал
Однако управление наиболее мощными системами, а также решения об их развёртывании должны находиться под строгим общественным надзором. Мы считаем, что люди во всём мире должны демократическим путём определять границы и настройки по умолчанию для ИИ-систем. Мы пока не знаем, как разработать такой механизм, но планируем экспериментировать с его созданием. Мы по-прежнему считаем, что в рамках этих широких границ отдельные пользователи должны иметь значительный контроль над поведением ИИ, которым они пользуются.
Учитывая риски и сложности, стоит задуматься, зачем мы вообще создаём эту технологию.
У нас в OpenAI есть две основные причины. Во-первых, мы считаем, что это приведёт к созданию гораздо лучшего мира, чем тот, который мы можем себе представить сегодня (мы уже видим первые примеры этого в таких сферах, как образование, творческая деятельность и личная продуктивность). Мир сталкивается со множеством проблем, для решения которых нам понадобится гораздо больше помощи; эта технология может изменить наши общества к лучшему, а творческие способности каждого человека, использующего эти новые инструменты, несомненно, поразят нас. Экономический рост и повышение качества жизни будут поразительными.
Во-вторых, мы считаем, что остановить создание суперинтеллекта было бы куда рискованнее и сложнее, чем подсказывает интуиция. Преимущества огромны, создавать его с каждым годом дешевле, число разработчиков стремительно растёт, а сама эта работа — неотъемлемая часть технологического пути, по которому мы движемся. Поэтому, чтобы остановить этот процесс, потребовалось бы нечто вроде режима глобального наблюдения, и даже это не гарантирует успеха. Так что мы должны всё сделать правильно.
Благодарности
Майлз Брандаж, Джейд Леунг, Анна Маканджу, Джон Шульман, Хелен Тонер, Войцех Заремба