Два месяца назад независимые оценочные организации находились в относительно безлюдном уголке искусственного интеллекта стоимостью триллионы долларов. Сегодня от них требуют «спасти положение».
По мере того как Anthropic и OpenAI ведут ожесточенные споры о том, как продолжать расширение бизнеса при обеспечении безопасности передовых моделей, эти компании ищут поддержки у нескольких небольших сторонних организаций, таких как Model Evaluation and Threat Research (METR), Apollo Research и Transluce.
Большинство этих оценочных организаций функционируют в форме некоммерческих организаций и все еще ищут свою нишу в отрасли, где капитал вливается с беспрецедентной скоростью, а новые модели появляются с беспрецедентной частотой. Их основная задача — оценивать способности и риски ИИ-моделей и выявлять случаи неправильного поведения технологий.
В отсутствие продвижения федерального регулирования значение независимых оценочных организаций возрастает. Генеральный директор Anthropic Дарио Амодей в прошлом месяце обязался интегрировать независимые оценочные организации внутрь компании, и генеральный директор OpenAI Сэм Альтман быстро выразил поддержку этой идее. Президент США Дональд Трамп также поддерживает эту идею, как и многие крупные американские технологические компании. Однако остаются нерешенные вопросы: каким образом эти третьи стороны должны получать финансирование, какой уровень доступа они будут иметь и какова будет окончательная структура отчетности.
Профессор компьютерных наук Брауновского университета Суреш Венкатасубраманиан в интервью CNBC сказал: «Проблема, по сути, осталась прежней — это деньги. Кто будет оплачивать эту работу для этих компаний? Как они будут поддерживать эти институты? Вам нужна экосистема, вам нужна жизнеспособная бизнес-модель».
В настоящее время Anthropic, OpenAI и инфраструктурные партнеры, извлекающие выгоду из AI-бума, разрабатывают правила. Критики говорят, что это то же самое, что позволить крупнейшим банкам защищать нас от финансового кризиса или разрешить фармацевтическим компаниям выводить лекарства на рынок без одобрения регуляторов.
Трамп недавно похвалил руководителей ИИ за «исключительно хорошую самоорганизацию» и заявил, что намерен оставить отрасль на усмотрение компаний, не желая препятствовать отрасли, которая способствует росту экономики и фондового рынка. В сентябре Трамп предложил добровольное соглашение, в котором призвал компании ИИ «сотрудничать с независимыми внешними аудиторами или оценщиками».
Это обсуждение было вызвано широко распространённой статьёй Амодеи, опубликованной в прошлом месяце. В ней он призвал замедлить разработку передовых моделей, поскольку некоторые исследователи покинули компании и выразили обеспокоенность по поводу потенциальной угрозы выживанию, связанной с этой технологией.
С возникновением трений, когда лаборатории ИИ начинают развертывать оценочные организации.
Представитель OpenAI заявил, что компания уволила трех сотрудников на прошлой неделе за «нарушение нашей политики в отношении доступа и обработки конфиденциальной корпоративной информации». Двое сотрудников, Mikita Balesni и Tomek Korbak, заявили, что считают, что их уволили из-за способа, которым они взаимодействовали с внешними оценочными организациями.
Balesni в четверг написал в X: «Мои бывшие коллеги сказали мне, что они не знают, во что верить. Они также боятся высказываться, опасаясь, что их личные телефоны будут обысканы из-за сообщений с нами и третьими сторонами. Я опасаюсь, что эта повсеместная боязнь высказываться и опасения контактов с третьими сторонами заставят OpenAI в тайне экономить на безопасности».
OpenAI опровергла это утверждение и в пятницу заявила в посте, что компания «активно завершает договоры с третьими сторонами-оценщиками безопасности и представит детали в ближайшие недели».
OpenAI пишет: «Мы стремимся интегрировать внешних оценщиков и продолжаем делать тесное сотрудничество с независимыми организациями по безопасности ключевой частью нашей работы в области безопасности».
Представитель OpenAI в электронном письме заявил, что предстоящая работа компании с оценочными организациями «основана на существующем сотрудничестве с независимыми организациями по безопасности», включая METR и Redwood Research.
Anthropic не ответила на запрос CNBC о комментариях.
Я никогда не видел, чтобы проблема решалась так быстро
Экосистема оценки ИИ в основном состоит из небольших организаций, таких как METR и Apollo Research, а также более крупных бухгалтерских и аудиторских компаний, таких как Accenture.
AI-лаборатория постоянно сотрудничала с оценочными организациями в ограниченном масштабе, но генеральный директор некоммерческой организаций Fathom Эндрю Фридман говорит, что эта область быстро зрелеет.
Фридман в интервью CNBC сказал: «Я работал в сфере политики и государственного регулирования 20 лет и никогда не видел, чтобы проблема продвигалась так быстро на столь разных участках политического спектра». Он отметил, что ожидается «массовый приток капитала» в эту экосистему.
Райан Кришнан, генеральный директор независимой оценочной компании Vals AI, заявил, что эта прибыльная стартап-компания устанавливает стандарты для измерения производительности моделей ИИ в отраслевых задачах; число сотрудников за этот год выросло с 8 до примерно 30, а в августе было объявлено о завершении финансирования на 40 миллионов долларов.
Некоммерческая организация METR объявила в августе, что за последние шесть месяцев получила обязательства о финансировании на сумму около 71 миллиона долларов США. Согласно последним документам, поданным организацией в Федеральную налоговую службу США, эта цифра превышает общую сумму пожертвований за весь 2024 год, составившую 13,6 миллиона долларов США.
К концу того месяца известность METR еще больше возросла. OpenAI наняла двух сотрудников и одного подрядчика из этой организации для помощи в подготовке отчета по анализу инцидента, в котором подробно описывается, как модель компании смогла выйти из-под контроля, получить доступ к открытому интернету и обойти платформу для разработчиков с открытым исходным кодом Hugging Face. METR заявила, что не получала вознаграждения от OpenAI за эту оценку.
Академический директор лаборатории Accountable AI при Уортонской школе бизнеса Университета Пенсильвании Кевин Вербах заявил, что эта экосистема «пока недостаточно устойчива». Например, сайт METR показывает, что в штате организации менее 50 полных сотрудников.
Неравенство в мощи между небольшими оценочными агентствами и ведущими лабораториями, профинансированными на сотни миллиардов долларов и имеющими тысячи сотрудников, вызывает вопросы о потенциальных конфликтах интересов.
Венкатасубраманиан говорит: «Если вы хотите настоящую независимую оценку, вам нужна настоящая финансовая независимость и независимость в других аспектах. Это не только вопрос не получения денег, но и: если я — аудитор и опубликую отчет, неблагоприятный для этой компании, будут ли последствия? Исчезнет ли мой бизнес?»
В прошлом месяце Anthropic признала эту сложность в блоге. Компания объявила, что сотрудники Faculty — подразделения Accenture, специализирующегося на ИИ, — будут интегрированы в компанию для тестирования мер безопасности и оценки, будут ли модели действовать в соответствии с человеческими ценностями. Anthropic заявила, что, учитывая «важность и срочность» этой работы, компания напрямую финансирует соответствующие вклады Accenture.
Anthropic говорит: «На данный момент нет стандартов относительно того, какую информацию должны получать встроенные оценщики и как они должны сообщать о своих находках. Также пока не определена структура финансирования независимых оценок. В долгосрочной перспективе мы считаем, что финансирование должно поступать из объединенных источников или от государственных органов».
Anthropic также сообщила, что компания обсуждает с METR и другими некоммерческими оценочными организациями возможность пилотного применения некоторых «элементов» «встроенной оценки» за счет собственных средств этих организаций.
Will the government intervene?
В июне прошлого года Fathom предложила рыночную рамку для независимых организаций по верификации (Independent Verification Organizations, IVO). Эти организации получат государственные лицензии и будут уполномочены проверять, соответствуют ли компании, работающие с ИИ, различным стандартам безопасности.
Фридман заявил, что государственный надзор крайне важен, иначе независимые оценочные организации могут зависеть от доходов от крупных лабораторий ИИ и получать стимул «просто ставить печать», чтобы сохранить отношения.
Некоторые законодатели уже выразили поддержку.
IVOs являются ключевым положением закона FRONTIER («Передовые механизмы надзора за рисками, государственная прозрачность, независимая оценка и отчетность»), представленного конгрессменом Лори Трахан (демократ от Массачусетса) и Джейом Обернолте (республиканец из Калифорнии) в июле. Фридман отметил, что Fathom помогла в формулировании текста закона и предоставила техническую поддержку.
В сентябре глава глобальных вопросов OpenAI Крис Лехан сказал журналистам, что он встречался с одним из авторов этого законопроекта на Капитолийском холме, чтобы выразить поддержку положений IVO.
По сообщениям, Лехан сказал: «Для них важно услышать это и услышать, что мы об этом говорим, и мы также хотим сделать это абсолютно ясным».
В то же время законодатели Калифорнии, Коннектикута и Вирджинии приняли меры для продвижения IVO, в то время как такие штаты, как Массачусетс, рассматривают независимую оценку безопасности в более широком контексте.
Губернатор Калифорнии Гэвин Ньюсом недавно подписал два закона, касающихся IVO, один из которых создает «безпрецедентную на национальном уровне структуру», а другой — устанавливает государственный реестр для аудиторов ИИ. Anthropic поддержала оба закона в августе, OpenAI официально одобрила эти законы в прошлом месяце — в тот же день, когда Ньюсом подписал их в закон.
Лехане написал в блоге: «Мы предпочитаем, чтобы на федеральном уровне требовали независимую техническую оценку», но при отсутствии федеральных действий «Калифорния может помочь установить правила».
Фридман заявил, что считает крайне сложным для таких компаний, как OpenAI и Anthropic, самостоятельно выяснять, как взаимодействовать с независимыми оценочными организациями. Однако, при неясной роли правительства, «это навык, который стоит развивать в переходный период», — сказал он.
Сейчас самым близким к стандарту в отрасли является то, что Трамп назвал «моральным соглашением» на ланче, который он устроил в Белом доме в прошлом месяце для лидеров технологической отрасли.
Этот односторонний протокол гласит: «Каждая компания несет ответственность за разработку собственных технологий безопасным образом и за продвижение их таким образом, который способствует формированию доверия клиентов и общественности». Протокол также призывает подписавшие стороны сотрудничать с «независимыми внешними аудиторами или оценщиками» для проведения независимой оценки.
Этот документ подписали топ-менеджеры Anthropic, Google, Meta, OpenAI, SpaceX и Nvidia, что представляет собой редкое проявление единства среди лидеров, чьи мнения по реагированию на риски ИИ не совпадают. Однако этим топ-менеджерам все еще предстоит определить собственные пути вперед.
Венкатасубраманиан сказал: «Это больше похоже на представление, направленное на демонстрацию действий, в то время как на самом деле никаких действий не происходит. То, что они обещают сделать, должно было уже быть сделано, и на самом деле они ранее утверждали, что постоянно это делают».
В статье от сентября Амодеи заявил, что Anthropic предоставит оценщикам рабочие места, пропуска, корпоративные ноутбуки и права, сопоставимые с правами внутренней команды по оценке рисков. Кроме того, оценщики получат контрактную поддержку, предоставляющую им «право на публикацию ключевых находок», в то время как Anthropic сохраняет «ограниченную возможность» удалять или изменять некоторые данные, касающиеся безопасности или конфиденциальности.
Амодеи написал: «Это необычный шаг для компании, но мы считаем, что доказательство концепции встроенных внешних ревизоров важно».
Через несколько дней OpenAI опубликовала собственное предложение, заявив, что оценщики должны работать вокруг «четко определенных и взаимно согласованных оценочных утверждений», ясно излагая методы и критерии, подтверждая соответствующую техническую экспертизу и раскрывая конфликты интересов.
В прошлом месяце AI Evaluator Forum, включающий METR, Институт исследований и оценки искусственного интеллекта (AVERI) и другие организации, опубликовало открытое письмо под названием «Минимальные условия для встраивания оценщиков».
В письме говорится, что оценщики должны быть прозрачными, защищены от репрессий и иметь доступ, равный доступу «самых привилегированных сотрудников» AI-компаний.
Письмо также отмечает: «Встроенные оценки не могут решить все потребности в надзоре и должны рассматриваться как дополнение к более широким усилиям, а не как их замена — эти более широкие усилия направлены на то, чтобы заставить передовые компании в области ИИ расширить внешний надзор.»
Фридман отметил, что в последние месяцы он заметил изменение позиции OpenAI и Anthropic, главным образом потому, что они осознали, что без доверия общественности невозможно запустить передовые системы.
Фридман говорит: «Я не думаю, что вам нужно верить, что они вдруг стали альтруистами или что-то еще, кроме того, что компания ведет себя как компания».
Вербах сказал, что это, возможно, подчеркивает ключевую проблему. OpenAI и Anthropic в первую очередь конкурируют друг с другом, продвигаясь к выходу на биржу и стремясь к оценке в более чем 1 триллион долларов США.
Вербах сказал: «Между этими двумя компаниями существует огромная личная недоверие. Тем не менее, существует огромное согласие в том, что необходимо проводить такие оценки».
СМОТРИТЕ: Брэдли Таск об IPO Anthropic: зачем добавлять давление со стороны публичного рынка, если безопасность — ваш приоритет номер один?