Два місяці тому незалежні оцінювальні агентства перебували у відносно спокійному кутку галузі штучного інтелекту вартістю в трильйони доларів. Зараз їх звертаються, щоб вони «врятували ситуацію».
Під час запеклих суперечок між Anthropic та OpenAI щодо того, як забезпечити безпеку передових моделей, одночасно продовжуючи розширення бізнесу, ці компанії шукають підтримки кількох невеликих сторонніх організацій, таких як Model Evaluation and Threat Research (METR), Apollo Research та Transluce.
Більшість цих оцінювальних організацій функціонують у формі некомерційних організацій, намагаючись знайти свій місце в галузі, де капітал вливається з безпрецедентною швидкістю, а нові моделі з’являються з безпрецедентною частотою. Їх основна задача — оцінювати здатності та ризики моделей ШІ та виявляти випадки неправильного поведінки технологій.
У відсутності просування регулювання на федеральному рівні значення оціночних органів зростає. Генеральний директор Anthropic Даріо Амодей у минулому місяці пообіцяв інтегрувати незалежні оціночні органи всередину компанії, а генеральний директор OpenAI Сем Альтман швидко висловив підтримку. Цю ідею підтримав і президент США Дональд Трамп, а також багато великих американських технологічних компаній. Але залишаються невирішені питання: як ці сторонні органи повинні отримувати фінансування, який доступ вони матимуть, і якою буде кінцева структура звітності.
Професор комп’ютерних наук у Браунському університеті Суреш Венкатасубраманіан у інтерв’ю CNBC сказав: «Проблема, до певної міри, залишається тією ж — гроші. Хто буде платити за цю роботу для цих компаній? Як вони зможуть підтримувати ці інститути? Вам потрібна екосистема, вам потрібна життєздатна бізнес-модель».
Зараз Anthropic, OpenAI та інфраструктурні партнери, які отримали прибуток від хвилі штучного інтелекту, розробляють правила. Критики кажуть, що це наче дозволити найбільшим банкам захищати нас від фінансової кризи або дозволити фармацевтичним компаніям виводити ліки на ринок без схвалення регуляторів.
Трамп недавно похвалив керівників ІІ за «надзвичайно високий рівень саморегулювання» і заявив, що планує залишити галузь на власне розсуд підприємств, не перешкоджаючи галузі, яка сприяє зростанню економіки та ринків акцій. У вересні Трамп запропонував добровільну угоду, у якій закликав компанії ІІ «співпрацювати з незалежними зовнішніми аудиторами або оцінювачами».
Цю дискусію спричинила широко поширена стаття Амодеї, опублікована минулого місяця. У цій статті він закликав уповільнити розробку передових моделей через те, що деякі дослідники залишили компанії і висловили занепокоєння щодо потенційної екзистенційної загрози, яку може принести ця технологія.
З появою лабораторій ШІ, які починають розгортати оцінні агентства, виникають тертя.
Представник OpenAI сказав, що компанія на минулому тижні звільнила трьох співробітників за порушення політики щодо доступу та обробки конфіденційної інформації компанії. Двоє співробітників, Мікіта Балесні та Томек Корбак, заявили, що вважають, що їх звільнили через спосіб, яким вони взаємодіяли зі сторонніми оцінювальними організаціями.
Балесні у четвер опублікував у X: «Мої колишні колеги сказали мені, що вони не розуміють, чому варто вірити. Вони також бояться висловлюватися, бо стурбовані тим, що їхні особисті телефони можуть бути оглянуті через повідомлення з нами та сторонніми особами. Я переживаю, що ця загальна боязнь висловлюватися та занепокоєння щодо взаємодії зі сторонніми особами спонукатимуть OpenAI зменшувати витрати на безпеку за кулисами».
OpenAI заперечила це твердження і у публікації в п’ятницю заявила, що компанія «активно узгоджує контракти зі сторонніми оцінювачами безпеки і оприлюднить деталі протягом наступних кількох тижнів».
OpenAI пише: «Ми зобов’язані інтегрувати зовнішніх оцінювачів і продовжувати робити тісну співпрацю з незалежними безпечними організаціями основною частиною нашої роботи з безпеки».
Представник OpenAI у електронному листі заявив, що майбутня робота компанії з оціночними організаціями «ґрунтується на існуючих співпрацях з незалежними безпечними організаціями», зокрема METR та Redwood Research.
Anthropic не відповіла на запит CNBC з приводу коментарів.
Я ніколи не бачив, щоб проблему розв’язували так швидко
Екосистема оцінки штучного інтелекту складається з таких малих організацій, як METR і Apollo Research, а також більших облікових та аудиторських компаній, таких як Accenture.
AI-лабораторія завжди співпрацювала з оцінювальними організаціями в обмежених межах, але, за словами генерального директора політичної некомерційної організації Fathom Ендрю Фрідмана, ця галузь швидко дозріває.
Фрідман у інтерв’ю з CNBC сказав: «Я працював у сфері політики та політичного регулювання 20 років і ніколи не бачив, щоб якась проблема так швидко просувалася вперед на стільки різних політичних спектрах». Він зазначив, що очікує «величезного притоку капіталу» до цієї екосистеми.
Раян Кришнан, генеральний директор незалежної оціночної компанії Vals AI, зазначив, що ця прибуткова стартап-компанія встановлює стандарти для вимірювання продуктивності моделей ШІ у галузевих завданнях; кількість співробітників зросла з 8 до приблизно 30 протягом цього року, а в серпні було оголошено про завершення фінансування на 40 мільйонів доларів США.
Неприбуткова організація METR у серпні оголосила, що за останні шість місяців отримала обіцянки про фінансування на суму близько 71 мільйона доларів США. За останніми документами, поданими організацією до Внутрішнього ревізійного управління США, ця сума перевищує загальну суму пожертв, отриманих у 2024 році, яка становила 13,6 мільйона доларів США.
До кінця того місяця популярність METR подальше зросла. OpenAI найняла двох співробітників та одного підрядника цієї організації для допомоги у підготовці звіту про аналіз подій, який детально описує, як модель компанії вийшла з-під контролю, отримала доступ до відкритого Інтернету та обійшла платформу відкритих розробників Hugging Face. METR зазначила, що не отримувала оплати від OpenAI за цю оцінку.
Академічний директор лабораторії Accountable AI при Університеті Пенсильванії, Віртонська школа бізнесу, Кевін Вербах сказав, що ця екосистема «наразі недостатньо стабільна». Наприклад, веб-сайт METR показує, що в організації менше 50 повноцінних працівників.
Нерівність у сили між малими оціночними агентствами та лідерами у галузі, які зібрали сотні мільярдів доларів фінансування та найняли тисячі працівників, викликає питання щодо потенційних конфліктів інтересів.
Венкатасубраманіан сказав: «Якщо ви хочете справжньої оцінки з боку третьої сторони, вам потрібна справжня фінансова незалежність, а також незалежність у інших аспектах. Це не просто питання того, чи не отримувати гроші, а ще й те: якщо я — аудитор і опублікую звіт, що шкодить цій компанії, чи будуть наслідки? Чи вимертвіє мій бізнес через це?»
Минулого місяця Anthropic визнала цю складність у блозі. Компанія оголосила, що працівники Faculty — підрозділу Accenture, що спеціалізується на ШІ — будуть включені до команди для тестування захисних заходів та оцінки, чи поводитимуться моделі відповідно до людських цінностей. Anthropic зазначила, що через «важливість та терміновість» цієї роботи компанія безпосередньо фінансуватиме внесок Accenture.
Anthropic стверджує: «На даний момент немає стандартів щодо того, яку інформацію повинні отримувати вбудовані оцінювачі та як повинні повідомляти про свої висновки. Також ще не вирішено, як буде фінансуватися незалежна оцінка. У довгостроковій перспективі ми вважаємо, що фінансування має походити зі зібраного капіталу або державних джерел».
Anthropic також зазначила, що компанія перебуває у переговорах з METR та іншими некомерційними оціночними організаціями, які планують за власні кошти протестувати деякі «елементи» «вбудованої оцінки».
Чи втрутиться уряд?
У червні минулого року Fathom запропонувала ринкову рамку для незалежних організацій з верифікації (Independent Verification Organizations, IVO). Ці організації отримають державну ліцензію та будуть уповноважені перевіряти, чи відповідають компанії з ІШ різним стандартам безпеки.
Фрідман вважає, що державний нагляд є критично важливим, інакше сторонні оцінювальні організації можуть залежати від доходів від великих лабораторій ШІ, що стимулюватиме їх «почати ставити печатки за замовленням», щоб зберегти стосунки.
Деякі законодавці вже висловили підтримку.
IVOs є ключовим положенням законопроекту FRONTIER («Передовий нагляд за ризиками, державна прозорість, незалежна оцінка та звітність»), який було запропоновано конгресменами Лорі Трахан (Демократи, Массачусетс) та Джейом Обернолте (Республіканці, Каліфорнія) у липні. Фрідман сказав, що Fathom допомогла у розробці формулювань законопроекту та надала технічну підтримку.
Голова з глобальних справ OpenAI Кріс Лехан у вересні сказав журналістам, що зустрічався з одним із авторів цього законопроекту на Капітолійському пагорбі, щоб висловити підтримку положень IVO.
За словами Lehane: «Для них важливо почути це та почути, що ми це кажемо, і ми також хочемо дуже чітко це зрозуміли».
Тим часом законодавці Каліфорнії, Коннектикута та Вірджинії вжили заходів для просування IVO, тоді як такі штати, як Массачусетс, розглядають незалежні оцінки безпеки в більш широкому контексті.
Губернатор Каліфорнії Гевін Ньюсом недавно підписав два законопроєкти, що стосуються IVO, один із яких створює «безпрецедентну на національному рівні рамку», а інший — державний реєстр для аудиторів ШІ. Anthropic підтримала ці законопроєкти у серпні, OpenAI офіційно підтримала їх минулого місяця — саме в той самий день, коли Ньюсом підписав їх у закон.
Лехане написав у блозі: «Ми бажаємо, щоб на федеральному рівні вимагали незалежну технічну оцінку», але за відсутності федеральних дій «Каліфорнія може допомогти встановити правила».
Фрідман вважає, що компаніям, таким як OpenAI та Anthropic, буде дуже складно самостійно визначати, як співпрацювати з незалежними оцінювальними органами. Однак, за відсутності чіткої ролі уряду, «це навичка, яку варто розвивати під час переходного періоду», — сказав він.
На даний момент найближчим до стандарту, яким володіє галузь, є так званий «морально зобов’язуючий» угоду, про яку згадав Трамп під час обіду з лідерами технологічної галузі у Білому домі наприкінці минулого місяця.
Цей односторінковий угоду стверджує: «Кожна компанія несе відповідальність за розробку своєї технології безпечно та засобами, які дозволяють будувати довіру клієнтів і загальної громадськості». Угода також закликає підписанти співпрацювати з «незалежними зовнішніми аудиторами чи оцінювачами» для проведення незалежної оцінки.
Цей документ підписали керівники Anthropic, Google, Meta, OpenAI, SpaceX та Nvidia — це рідкісний прояв єдності серед лідерів, які не згодні щодо того, як реагувати на ризики ШІ. Але цим керівникам все ще потрібно визначити свій власний шлях вперед.
Венкатасубраманіан сказав: «Це більше схоже на виставу, спрямовану на демонстрацію дій, які насправді не відбуваються. Те, що вони обіцяють зробити, мали б вже робити, і насправді вони раніше стверджували, що це роблять».
У статті за вересень Амодеї заявив, що Anthropic надастиме оцінювачам робочі місця, пропуски, корпоративні ноутбуки та права, що є «приблизно еквівалентними» правам внутрішньої команди з оцінки ризиків. Крім того, оцінювачі отримають контрактну підтримку, яка надає їм «право на публікацію ключових висновків», тоді як Anthropic зберігає «обмежену здатність» видаляти або змінювати деякі інформацію, що стосується безпеки або конфіденційності.
Амодеї написав: «Це незвичайний крок для компанії, але ми вважаємо, що доведення концепції вбудованих зовнішніх рецензентів є важливим».
Кілька днів потому OpenAI опублікувала власну пропозицію, в якій зазначила, що оцінювачі повинні працювати навколо «чітко визначених та взаємно погоджених оціночних тверджень», чітко пояснюючи методи та стандарти, підтверджуючи відповідну технічну експертизу та розкриваючи конфлікти інтересів.
Місяць тому на AI Evaluator Forum, до якого входять METR, Інститут досліджень верифікації та оцінки штучного інтелекту (AVERI) та інші організації, було опубліковано відкритий лист під назвою «Мінімальні умови для вставки оцінювачів».
У листі зазначалося, що оцінювачі повинні зберігати прозорість, бути захищеними від помсти та отримувати доступ, рівний доступу «внутрішніх високопривілейованих співробітників» AI-компаній.
У листі також зазначалося: «Вбудовані оцінки не можуть задовольнити всі потреби у нагляді і повинні розглядатися як доповнення до ширших зусиль, а не як їх заміна — цих ширших зусиль, спрямованих на те, щоб передові компанії з ІО розширили зовнішній нагляд.»
Фрідман зазначив, що протягом останніх місяців він спостеріг зміну позиції OpenAI та Anthropic, головним чином через те, що вони усвідомили, що без громадської довіри не можна запускати передові системи.
Фрідман сказав: «Я не вважаю, що вам потрібно вірити, що вони раптово стали альтруїстами, або що щось інше, крім того, що компанія діє як компанія».
Вербах сказав, що це, можливо, підкреслює основну проблему. OpenAI та Anthropic спочатку конкурують один з одним, одночасно просуваючись до публічного ринку та прагнучи до оцінки понад 1 трильйона доларів США.
Вербах сказав: «Між цими двома компаніями існує велика особиста недовіра. Однак є й великий консенсус щодо необхідності проведення таких оцінок».
Дивіться: Брэдлі Таск про IPO Anthropic: Навіщо додавати тиск ринку, якщо безпека — ваша найвища пріоритетна мета?