Вести крупную ИИ-компанию с соблюдением этических норм практически невозможно
Anthropic собирались стать «хорошими парнями». Но это невозможно — если только правительство не изменит стимулы в отрасли.
Anthropic должны были стать «хорошей» ИИ-компанией. Этичной. Безопасной.
Не как OpenAI, разработчики ChatGPT. Вообще-то, все основатели Anthropic когда-то работали в OpenAI, но ушли, отчасти из-за разногласий по поводу тамошней культуры безопасности, и основали собственную компанию, которая бы занималась разработкой ИИ более ответственно.
Но в последнее время Anthropic попадает в заголовки новостей по менее благородным причинам: компания выступает против видного калифорнийского законопроекта, направленного на регуляцию ИИ. Она принимает деньги от Google и Amazon, и это привлекает внимание антимонопольных органов. А ещё её обвиняют в агрессивном сборе данных с веб-сайтов без разрешения, что мешает сайтам работать.
Что происходит?
Лучшую подсказку, возможно, даст статья 2022 года, которую команда Anthropic написала, когда их стартапу был всего год. Они предупреждали, что стимулы ИИ-индустрии, вроде прибыли и престижа, будут подталкивать компании к «развёртыванию крупных генеративных моделей, несмотря на высокую степень неуверенности о полном спектре их возможностей». Они утверждали, что, если мы хотим безопасный ИИ, базовую структуру стимулов в индустрии надо изменить.
Что ж, сейчас Anthropic три года, пора в садик, и она страдает от многих из тех же болезней роста, что её старший брат — OpenAI. В некотором роде те же противоречия мучали все технологические стартапы Кремниевой долины, начинавшие с принципа «не будь злым». Однако, теперь эти противоречия многократно обострились.
ИИ-компания может искренне хотеть создавать безопасные системы, но в такой перехайпованной индустрии есть огромное давление быть первыми. Ей надо привлекать инвесторов, чтобы получить колоссальные суммы денег, необходимые для создания передовых ИИ-моделей. А для этого инвесторам нужно показать дорогу к огромным прибылям. О, а ещё на кону, если с технологией что-то пойдёт не так, здесь куда больше, чем практически у любой прошлой технологии.
Поэтому компании вроде Anthropic вынуждены бороться с глубокими внутренними противоречиями и в итоге сталкиваются с экзистенциальным вопросом: возможно ли вообще ИИ-компании развивать передовые технологии и при этом действительно ставить этику и безопасность на первое место?
«Не думаю, что это возможно», — сказала мне несколько месяцев назад футуролог Эми Уэбб, генеральный директор Future Today Institute.
Раз даже такая высокопринципиальная компания, как Anthropic, становится наглядным примером этой невозможности, пора рассмотреть другой вариант: государству надо вмешаться и изменить структуру стимулов во всей индустрии.
Стимул к продолжению разработки и развёртывания ИИ-моделей
Anthropic всегда позиционировала себя компанией, для которой безопасность превыше всего. Её руководители заявляют, что очень серьёзно относятся к катастрофическим или экзистенциальным рискам ИИ. Генеральный директор Дарио Амодей выступил перед сенаторами, заявив, что ИИ-модели, достаточно мощные, чтобы «привести к крупномасштабным разрушениям» и нарушить международный баланс сил, могут появиться уже в 2025 году. (Раскрытие информации: один из первых инвесторов Anthropic — Джеймс МакКлейв, чей фонд BEMC Foundation помогает финансировать проект Future Perfect.)
Поэтому можно было бы ожидать, что Anthropic поддержит внесённый калифорнийским сенатором Скоттом Винером (демократ от Сан-Франциско) «Закон о безопасных и надёжных инновациях в области моделей передового искусственного интеллекта», также известный как SB 1047. Он обяжет компании, обучающие самые передовые и затратные ИИ-модели, проводить испытания на безопасность и сохранять возможность в случае демонстрирующего небезопасность происшествия модели отключить.
Но Anthropic лоббирует ослабление законопроекта, отказ от идеи, что правительство должно обеспечивать соблюдение стандартов безопасности заранее, до того, как произойдёт катастрофа. «Вместо того чтобы решать, какие меры должны принимать компании для предотвращения катастроф (которые пока остаются гипотетическими, а экосистема ещё итеративно ищет наилучшие практики)», — призывает компания, — «сосредоточьте законопроект на привлечении компаний к ответственности за причинение реальных катастроф».
Другими словами, ничего не предпринимать, пока не случится что-то действительно ужасное.
В некотором смысле Anthropic, похоже, ведёт себя как любая коммерческая компания, стремящаяся защитить свои интересы. У Anthropic есть не только экономические стимулы — максимизировать прибыль, обеспечить партнёрам вроде Amazon возврат инвестиций и продолжать привлекать миллиарды, чтобы создавать более продвинутые модели, — но и репутационные: выпускать всё более продвинутые модели, чтобы её продолжали считать передовой ИИ-компанией.
Для тех, кто беспокоится о безопасности и кто ожидал, что Anthropic будет приветствовать усиление надзора и подотчётности, а не бороться с ним, это стало большим разочарованием.
«Anthropic пытается лишить предложенный регулирующий орган реальных полномочий и блокировать применение закона, пока не произойдёт катастрофа. Это всё равно что запретить FDA требовать проведения клинических испытаний», — сказал мне Макс Тегмарк, президент Future of Life Institute.
В США у разных отраслей, от фармацевтики до авиации, есть обязательные к исполнению стандарты безопасности. Но технологические лоббисты продолжают сопротивляться введению подобных норм для своих собственных продуктов. Как это делали социальные сети несколько лет назад, они берут на себя добровольные обязательства по обеспечению безопасности, чтобы успокоить обеспокоенных рисками, а затем изо всех сил пытаются не допустить закрепления этих обязательств в законе.
Назвав это «циничным процедурным ходом», Тегмарк отметил, что ещё Anthropic предложила поправки к законопроекту, затрагивающие каждый комитет законодательного собрания, что дало каждому из них ещё одну возможность заблокировать документ. «Это классическая тактика крупных технологических компаний», — сказал он.
Представитель Anthropic сообщил мне, что текущая версия законопроекта «может ослабить конкурентное преимущество Америки в разработке ИИ» и что компания хочет «сместить фокус законопроекта на безопасность передового ИИ и отказаться от недостаточно гибких для столь быстро развивающейся технологии подходов».
Стимул сгребать себе данные
Вот ещё одно противоречие, присущее разработке ИИ: компаниям необходимо собирать из книг и с веб-сайтов огромные объёмы высококачественного текста для обучения своих систем. Но этот текст создаётся людьми, и они, как правило, не любят, когда их труды используют без спроса.
Все крупные ИИ-компании собирают общедоступные данные для обучения. Эта практика, по их утверждению, легальна и подпадает под добросовестное использование. Но такой сбор данных вызывает споры и судебные иски. Известные авторы, например, Джонатан Франзен, и медиакомпании, например, New York Times, подавали в суд на OpenAI за нарушение авторского права, заявляя, что ИИ-компания без разрешения использовала их тексты. Такие судебные баталии в итоге могут привести к пересмотру законов об авторском праве, что повлечёт последствия для всех ИИ-компаний. (Раскрытие информации: Vox Media — одно из нескольких издательств, подписавших партнёрские соглашения с OpenAI. Наши репортажи остаются редакционно независимыми.)
Более того, сбор данных нарушает условия использования некоторых сайтов. YouTube заявляет, что обучение ИИ-модели с использованием видео или транскриптов с платформы нарушает условия использования сайта. А согласно недавнему расследованию Proof News, Anthropic именно это и делали.
Веб-издатели и создатели контента возмущены. Мэтт Барри, генеральный директор Freelancer.com — платформы, связывающей фрилансеров с клиентами, заявил, что Anthropic «безусловно, занимается сбором данных агрессивнее всех» и продолжает атаковать сайт даже после предписания перестать. «Нам пришлось их заблокировать, потому что они не соблюдают правила интернета. Это вопиющий сбор данных, замедляющий работу сайта для всех пользователей и в итоге сказывающийся на наших доходах».
Дэйв Фарина, ведущий популярного научного шоу на YouTube Professor Dave Explains, сообщил Proof News, что его возмущает «сам принцип». Около 140 его видеороликов были использованы без разрешения и вошли в датасет, на котором обучалась модель от Anthropic. «Если вы используете проделанную мной работу [для создания продукта], который лишит работы меня или подобных мне, то надо обсуждать вопрос компенсации или какого-то регулирования», — сказал он.
Почему Anthropic идёт на риск и без спроса использует данные, скажем, с YouTube, если платформа прямо это запретила, а нарушение авторского права сейчас — весьма острая тема?
Всё потому, что ИИ-компаниям для совершенствования своих моделей нужны всё большие объёмы высококачественных данных. Использование синтетических данных, создаваемых алгоритмами, выглядит не особо перспективным. Исследование показывает: если позволить ChatGPT «пожирать свой собственный хвост», это приводит к странным и непригодным для использования выводам. (Один публицист даже назвал это явление «Габсбургским ИИ» — в честь европейской королевской династии, известной своим вырождением из-за близкородственных браков на протяжении многих поколений). Нужны свежие данные, созданные реальными людьми, но добывать их всё труднее.
Сервисы блокируют веб-краулеры, вводят платный доступ или обновляют условия использования, чтобы запретить ИИ-компаниям обучать на их данных. В новом исследовании инициативы Data Provenance Initiative, связанной с Массачусетским технологическим институтом, проанализированы три крупнейших датасета, которые используются для обучения ИИ. В каждом из них миллионы книг, статей, видео и других собранных в сети данных. Оказалось, что доступ к 25 процентам от самых качественных данных из этих датасетов теперь ограничен. Авторы называют это «назревающим кризисом согласия». Некоторые компании, например OpenAI, начали реагировать, в том числе, заключая лицензионные соглашения со СМИ, включая Vox. Но, учитывая, какой объём информации по-прежнему официально под запретом, это лишь смягчит проблему.
Теоретически ИИ-компании могли бы смириться с ограничениями развития от сужения обучающих данных лишь до этично полученных источников, но тогда они потеряют в конкурентоспособности. Так что у компаний вроде Anthropic появляется стимул прибегать ко всё более радикальным, пусть даже сомнительным, мерам ради необходимых им данных.
Компания Anthropic признаёт, что обучала своего чат-бота Claude с использованием The Pile — датасета, который включает субтитры к 173 536 видеороликам с YouTube. Когда я спросил, как в компании это оправдывают, представитель Anthropic ответил: «Что касается обсуждаемого датасета The Pile, для него мы не собирали данные YouTube и вообще его не создавали». (Как Anthropic заявляли и раньше Proof News: «Перенаправляем вас к создателям The Pile».)
Подразумевается: раз Anthropic не создавали этот датасет, они вправе его использовать. Но кажется несправедливым перекладывать всю ответственность на коллектив авторов The Pile, некоммерческую группу с целью создать для исследователей открытый датасет, если это Anthropic использовали данные YouTube с нарушением условий платформы.
«Компании, вероятно, должны осуществлять собственную проверку. Их использование — коммерческое», — сказал Шейн Лонгпре, основной автор исследования Data Provenance Initiative. Он сравнил это с целями создателей The Pile и множества учёных, которые использовали датасет для исследований. «Академические цели очевидно отличаются от коммерческих, и нормы у них наверняка иные».
Стимул заработать как можно больше денег
Сейчас, чтобы создать передовую ИИ-модель ИИ требуется огромная вычислительная мощность, а это невероятно дорого. Чтобы собрать нужные сотни миллионов долларов, ИИ-компаниям приходится вступать в партнёрство с технологическими гигантами.
Именно поэтому OpenAI, изначально основанные как некоммерческая организация, были вынуждены создать коммерческое подразделение и заключить партнёрство с Microsoft. И именно поэтому Anthropic в итоге приняли многомиллиардные инвестиции от Amazon и Google.
Подобные сделки всегда сопряжены с рисками. Технологические гиганты хотят быстро окупить свои инвестиции и максимизировать прибыль. Чтобы им угодить, ИИ-компании могут под давлением развернуть передовую модель ИИ, даже не будучи уверенными в её безопасности.
Ещё эти партнёрства вызывают опасения по поводу монополий — концентрации экономической власти. Инвестиции Google и Amazon в Anthropic привели к расследованию Федеральной торговой комиссии, а в Великобритании сейчас по их поводу ведётся антимонопольная проверка. Там агентство по защите прав потребителей выясняет, не возникла ли «заслуживающая внимания ситуация слияния», которая может привести к «существенному ослаблению конкуренции».
Представитель Anthropic заявил, что компания намерена сотрудничать с ведомством и предоставить ему полную картину инвестиций. «Мы — независимая компания, и все наши стратегические партнёрства и отношения с инвесторами не умаляют независимости нашего корпоративного управления или нашей свободы сотрудничать с другими», — сказал представитель.
Но недавний опыт показывает, что уникальных структур управления ИИ-компаний может оказаться недостаточно для предотвращения худшего.
В отличие от OpenAI, Anthropic никогда не предоставляли ни Google, ни Amazon места в своём совете директоров или каких-либо прав наблюдателей. Но во многом Anthropic, подобно OpenAI, полагается на необычную структуру корпоративного управления собственной разработки. OpenAI изначально создали совет директоров, идеалистической миссией которого была защита интересов человечества, а не угождение акционерам. Anthropic создали экспериментальную структуру управления — Траст долгосрочного блага (Long-Term Benefit Trust) — группу людей без финансовой заинтересованности в компании, которые в итоге получат над ней мажоритарный контроль, поскольку смогут избирать и отстранять от должности трёх из пяти директоров. (Эти полномочия будут вводиться поэтапно, по мере достижения компанией определённых рубежей.)
Но идеализм Траста имеет свои пределы: он должен «гарантировать, что Anthropic ответственно уравновешивает финансовые интересы акционеров с интересами тех, на кого влияет деятельность Anthropic, и с нашей целью достижения общественного блага». Кроме того, как заявляет Anthropic, «мы также разработали ряд „предохранительных“ положений, которые позволяют без согласия попечителей вносить изменения в Траст и его полномочия, если на это согласится достаточно много акционеров».
Если мы и извлекли хоть какой-то урок из прошлогоднего переворота в совете директоров OpenAI, то что структуры управления могут меняться и меняются. Попытка совета директоров OpenAI защитить человечество, уволив генерального директора Сэма Альтмана, столкнулась с ожесточённым сопротивлением. В считанные дни Альтман выцарапал себе прежнюю должность, уволившие его выбыли из совета директоров, и его состав изменился в пользу Альтмана. Более того, OpenAI предоставили Microsoft место наблюдателя в совете директоров, что позволило корпорации получать доступ к конфиденциальной информации, а возможно и оказывать давление на заседаниях совета. Лишь когда это привлекло внимание (ага, верно) антимонопольных органов, Microsoft от этого места отказались.
«Я думаю, это показало, что у совета директоров нет той силы, на которую можно было надеяться», — сказал мне Кэрролл Уэйнрайт, уволившийся из OpenAI в этом году. «Из-за этого я усомнился в том, насколько хорошо совет директоров может призывать организацию к ответу».
Поэтому он и ещё несколько человек опубликовали предложение, требующее от ИИ-компаний предоставить «право предупреждать о передовом искусственном интеллекте». Согласно предложению: «У ИИ-компаний есть сильные финансовые стимулы избегать эффективного надзора, и мы не считаем, что специально созданных структур корпоративного управления хватит, чтобы это изменить».
Это очень похоже на то, что в прошлом году сказал Vox другой деятель в сфере ИИ: «Я довольно скептически отношусь ко всему, что связано с корпоративным управлением, потому что считаю стимулы корпораций, включая и нашу, ужасно искаженными». Это слова Джека Кларка, руководителя отдела политики Anthropic.
Если ИИ-компании не исправят ситуацию, то кто?
Когда в 2022 году команда Anthropic публиковала ту статью, они были правы: давление рынка просто безжалостно. У частных ИИ-компаний нет мотивации это менять, поэтому правительству необходимо изменить базовую структуру стимулов, в рамках которой все эти компании работают.
Когда я спросил у Уэбб, футуролога, как могла бы выглядеть более эффективная корпоративная экосистема в сфере ИИ, она ответила, что потребуется сочетание кнута и пряника: положительные стимулы, вроде налоговых льгот для компаний, демонстрирующих соблюдение высочайших стандартов безопасности, и отрицательные стимулы, вроде регуляций, предусматривающих штрафы за развёртывание предвзятых алгоритмов.
Регулирование ИИ на федеральном уровне зашло в тупик, а к тому же приближаются выборы, так что принятие новых законов ложится на плечи штатов. Калифорнийский законопроект, если его примут, станет одним из кусочков этой мозаики.
Гражданское общество тоже должно сыграть свою роль. Если издатели и создатели контента недовольны, что их работы используются в качестве сырья для обучения, они могут дать отпор. Если технические специалисты обеспокоены тем, что видят в ИИ-компаниях, они могут забить тревогу. ИИ может многое генерировать за нас, но сопротивление его проблематичному развёртыванию нам надо генерировать самим.