Відділ досліджень штучного інтелекту ByteDance, Seed, з перших днів дотримується простого, але незвичайного правила: жодної дистиляції знань. У галузі, де копіювання поведінки потужніших моделей є майже обов’язковим ритуалом, материнська компанія TikTok обирає складніший шлях.
Рішення розрізняє ByteDance від численного поля китайських лабораторій ШІ, які відкрито або тихо зменшували здібності з більших моделей, багато з яких були створені американськими компаніями, такими як OpenAI та Anthropic.
Що означає дистиляція та чому пропуск її має значення
Дистиляція знань — це суттєво AI-навчання під керівництвом. Менша, дешевша модель вчиться імітувати вихідні дані більшої, потужнішої моделі. Результат — компактна модель, яка перевищує свої можливості, навчена за частину витрат.
Ця техніка стала поширеною в екосистемі ШІ в Китаї. Коли модель DeepSeek R1 стала головною новиною в рамках загальної дискусії про дистиляцію, це підкреслило, як китайські лабораторії використовують вихідні дані з передових американських моделей для прискорення власного розвитку. OpenAI та Anthropic висловили занепокоєння щодо цієї практики, і дискусія щодо посилення умов надання послуг для її запобігання лише посилюється.
Відмовившись від дистиляції, Seed створює свої моделі з нуля, використовуючи власні конвеєри збору, синтезу та очищення даних.
Стратегічний розрахунок за вибором незалежності
Один співробітник ByteDance чітко сформулював амбіції: «Мета ByteDance для майже всіх своїх моделей — досягти глобального топ-рівня або навіть стандартів найвищого рівня».
Лабораторія вже розмістила запуски на дошці. Seedance, модель генерації відео ByteDance, була розроблена за цією бездистиляційною рамкою. Модель забезпечує функції у всіх споживчих продуктах ByteDance, включаючи Doubao — конверсаційного AI-асистента компанії, та CapCut — її широко використовуваний інструмент редагування відео.
Геополітика як конкурентна перевага
Суперечка між США і Китаєм у сфері технологій перетворила розвиток ШІ на щось на зразок збройного конкурсу, що супроводжується експортними обмеженнями, обмеженнями на чіпи та посиленням риторики щодо передачі технологій. У цьому середовищі будь-яка китайська компанія зі ШІ, яка залежить від дистиляції з американських моделей, несе геополітичну відповідальність у своєму балансі.
Дебати щодо дистиляції залучили майже всіх ключових гравців у сфері ШІ. OpenAI публічно висловила занепокоєння щодо використання своїх моделей для навчання конкурентів. Anthropic висловила думки щодо етичних та конкурентних наслідків. На цьому тлі передбачувальне рішення ByteDance уникати дистиляції взагалі виглядає не як самонакладене обмеження, а як ставка на те, що незалежний розвиток у кінцевому підсумку приведе до кращих, більш захищених технологій.