Дослідники Meta розробили WM-Basin для виявлення дистильованих моделей ШІ

icon币界网
Поділитися
AI summary iconКороткий зміст
Дослідники Meta розробили метод виявлення під назвою WM-Basin для ідентифікації дистильованих моделей ШІ. Підхід виявляє 79% відтворених моделей із помилковою позитивною ставкою 0,1%, аналізуючи текст, згенерований через API, без використання ваг моделей чи логітів. Він працює при різних модифікаціях моделей, але має труднощі, коли моделі доналаштовуються за допомогою чистих даних або коли вихідні дані вчителя переписуються. З посиленням глобального регулювання криптовалют, регулювання CFT стикається з новими викликами у відстеженні діяльності, згенерованої ШІ.
CoinDesk повідомляє:

Дослідники Meta розробили метод виявлення дистильованих AI-моделей, який з імовірністю помилкового спрацьовування 0,1% виявив 79% тестових копій моделей без доступу до їх внутрішньої структури. Технологія під назвою WM-Basin спрямована на моделі, навчені на виводі водяних знаків «вчителя», відповідна стаття опублікована 27 жовтня 2026 року.

Ключові моменти

  • WM-Basin аналізує текст, згенерований API, а не ваги моделі чи логіти.
  • Meta оцінила цю технологію на 1 200 моделях студентів.
  • Цей метод зберігає здатність до виявлення при різних модифікаціях моделей, але його ефективність знижується після подальшого доналаштування та переписування за допомогою чистих даних.

Як WM-Basin виявляє дистильовані AI-моделі

WM-Basin використовує окрему, чисту зондуючу модель для аналізу тексту, згенерованого підозрюваними моделями дистиляції. Дослідники з Meta FAIR і Meta Superintelligence Labs представили цей метод у статті під назвою «Watermark Basins: Black-Box Detection of Distilled LLMs», номер arXiv:2610.37266.

Дослідження стосується певного сценарію копіювання: особа збирає відповіді вчителя з водяними знаками через API, а потім використовує ці відповіді для навчання учнівської моделі. WM-Basin використовує лише тексти, згенеровані учнівською моделлю, щоб знайти докази цього зв’язку навчання.

Детектор подає цей текст у фіксовану модель зонду і перетворює його на градієнтне представлення — тобто спостерігає, як параметри зонду змістяться, якщо навчати його на цьому тексті. Потім він виявляє збіг між напрямком звичайного доналаштування та «водяними басейнами» у просторі параметрів, пов’язаними з певним ключем.

Це робить цю технологію методом чорної скрині: не потрібен доступ до вагів або логітів підозрілої моделі. Достатньо мати можливість отримувати текстові відповіді через API.

79% виявлення на 1 200 моделях студентів

Дослідники зазначають, що при використанні n-gram=1 WM-Basin досягає істинної позитивної швидкості 79% при контролі хибно позитивної швидкості на рівні 0,1%; тоді як у тих самих умовах найпотужніший попередній чорний ящик-детектор на рівні токенів має істинно позитивну швидкість лише 29%.

Автор також зазначив, що зі збільшенням жорсткості порогу виявлення та розміру вікна n-gram перевага WM-Basin перед конкурентними методами ще більше зростає.

Оцінка охопила 1 200 моделей учнів з розміром від 135 мільйонів до 8,2 мільярда параметрів. Дослідники навчали ці моделі за допомогою треків математичних міркувань з OpenR1-Math, охоплюючи шість типів архітектур учнів, різні вчителі та різні методи водяних знаків.

Ці результати підтверджують висновок статті щодо підвищення здатності виявлення дистильованих моделей ШІ у оцінці математичних міркувань.

Які зміни зберігають або послаблюють ефективність виявлення?

Дослідники виявили, що сигнал виявлення WM-Basin залишається після квантування, обрізання та післяпрацювання засобами підсиленого навчання. Квантування стискає модель для зниження витрат на виконання, а обрізання видаляє частину параметрів.

Цей метод залишається більш надійним навіть тоді, коли сигнал на рівні токенів зменшується, включаючи під час зразків при низьких температурах.

Однак інші зміни зменшують її ефективність. Використання чистих, без водяних знаків даних для масштабного доналаштування зменшує здатність до виявлення, а переписування траси висновку вчителя надає інший можливий шлях обходу. Автори особливо зазначають, що продовження наглядового доналаштування на матеріалах без водяних знаків належить до цих методів.

Докази водяних знаків для розробників ІІ

Вища частота виявлення та нижча частота ложних сповіщень можуть посилити використання водяних знаків як доказів у правовому або договірному контексті для ствердження копіювання моделі. Для таких цілей особливо важлива частота ложних сповіщень, оскільки вона вимірює кількість помилкових сповіщень, а не успішне виявлення.

Порівняння у звіті WM-Basin досягає 79% істинно позитивних результатів при тій самій імовірності хибно позитивних результатів у 0,1%, тоді як попередні методи на рівні токенів — 29%. Відповідні тести проводилися на студентській моделі, навченій на математичних трасах OpenR1-Math.

Цей текст створено з допомогою штучного інтелекту та перевірено редагувальною командою.

Франческо Антоніо Руссо

Веб-3.0 підприємець із понад 4 роками досвіду, спеціалізується на криптовалютах та штучному інтелекті. Використовує міждисциплінарні навички для функціонального та трендово орієнтованого управління соціальними мережами.

Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.