Подразделение по исследованиям ИИ ByteDance, Seed, с самого начала придерживается простого, но необычного правила: никакого дистилляции знаний. В сфере, где копирование поведения более мощных моделей практически является обрядом посвящения, материнская компания TikTok выбирает более сложный путь.
Решение позиционирует ByteDance отдельно от множества китайских лабораторий ИИ, которые открыто или незаметно извлекали возможности из более крупных моделей, многие из которых были созданы американскими компаниями, такими как OpenAI и Anthropic.
Что на самом деле означает дистилляция и почему пропускать её важно
Дистилляция знаний — это по сути обучение ИИ под руководством наставника. Меньшая, более дешевая модель учится воспроизводить выходные данные более крупной и мощной модели. В результате получается компактная модель, которая превосходит свои возможности, при этом обученная за долю затрат.
Эта техника стала широко распространенной в китайской экосистеме ИИ. Когда модель DeepSeek R1 вызвала широкий резонанс в ходе более широких дискуссий о дистилляции, это подчеркнуло, как китайские лаборатории используют результаты передовых моделей из США для ускорения собственного развития. OpenAI и Anthropic выразили обеспокоенность по поводу этой практики, и дискуссия о ужесточении условий обслуживания для ее предотвращения лишь усилилась.
Отказавшись от использования готовых данных, Seed создает свои модели с нуля, используя собственные конвейеры сбора, синтеза и очистки данных.
Стратегический расчет в пользу самостоятельности
Один сотрудник ByteDance четко сформулировал амбиции: «Цель ByteDance для почти всех своих моделей — достичь глобального высшего уровня или даже передовых стандартов».
Лаборатория уже разместила запуски на доске. Seedance, модель генерации видео от ByteDance, была разработана в рамках этой фреймворк без дистилляции. Модель обеспечивает функции во всех потребительских продуктах ByteDance, включая Doubao — конверсационного ИИ-ассистента компании — и CapCut — его широко используемый инструмент для редактирования видео.
Геополитика как конкурентное преимущество
Технологическая конкуренция между США и Китаем превратила развитие ИИ в нечто, напоминающее гонку вооружений, с экспортными ограничениями, ограничениями на чипы и обостряющейся риторикой о передаче технологий. В этой среде любая китайская компания в области ИИ, зависящая от дистилляции американских моделей, несет геополитическую нагрузку на своем балансе.
Дебаты вокруг дистилляции привлекли практически всех ключевых игроков в сфере ИИ. OpenAI публично выразила опасения по поводу использования своих моделей для обучения конкурентов. Anthropic высказалась по этическим и конкурентным аспектам. На этом фоне превентивное решение ByteDance полностью избежать дистилляции выглядит не как самоограничение, а как ставка на то, что независимая разработка в конечном итоге приведет к созданию более качественных и защищенных технологий.