Ang ahensya ng pag-aaral sa AI ng ByteDance, ang Seed, ay nagpapatakbo mula sa unang araw ng isang simpleng ngunit kakaibang patakaran: walang knowledge distillation. Sa isang larangan kung saan ang pagkopya ng pag-uugali ng mas malakas na mga modelo ay praktikal na isang rito ng pagpasok, ang kumpanyang magulang ng TikTok ay pumipili ng mas mahirap na landas.
Ang desisyon ay nagpapakita ng pagkakaiba ng ByteDance sa isang malaking grupo ng mga Chinese AI lab na nag-open o nag-quietly na ginawa ang kanilang kakayahan mula sa mas malalaking model, marami sa kanila ay binuo ng mga US company tulad ng OpenAI at Anthropic.
Ano ang tunay na ibig sabihin ng distillation, at bakit mahalaga ang pag-iwas dito
Ang knowledge distillation ay sa pangkabuuan ay pag-aaral ng AI. Ang isang mas maliit at mas mura na modelo ay natututo na kopyahin ang mga output ng isang mas malaki at mas makapangyarihan. Ang resulta ay isang kompakto na modelo na nagtatampok ng higit pa sa kanyang timbang, natutunan sa isang maliit na bahagi ng gastos.
Naging malawak ang teknik na ito sa ecosystem ng AI sa China. Nang makakuha ng malaking pagpapahalaga ang R1 model ng DeepSeek sa mas malawak na pagtalakay tungkol sa distillation, ipinakita nito kung paano ginagamit ng mga Chinese lab ang mga output mula sa mga frontier na US model upang mabilisang pag-unlad ang kanilang sarili. Ikinabahala ng OpenAI at Anthropic ang praktikang ito, at ang talakayan tungkol sa pagpapigil sa mga term ng serbisyo upang pigilan ito ay lumalalim pa.
Sa pamamagitan ng pagtanggi sa pagdidistilo, binubuo ng Seed ang mga modelo nito mula sa simula gamit ang mga propiyetaryong proseso ng pagkolekta, pagsasama, at pagpapalinis ng data.
Ang strategic calculus sa pagiging independiyente
Isang empleyado ng ByteDance ang naglarawan nang malinaw ang ambisyon: “Ang layunin ng ByteDance para sa halos lahat ng mga modelo nito ay makamit ang global na pinakamataas na antas, o kahit pa ang mga istandar na state-of-the-art.”
Ang laboratorio ay nagsagawa na ng mga pagpapatakbo sa board. Ang Seedance, ang video generation model ni ByteDance, ay nalikha sa ilalim ng framework na ito na walang distillation. Ang model na ito ay nagpapagana sa mga tampok sa mga consumer product ni ByteDance, kabilang ang Doubao, ang conversational AI assistant ng kumpanya, at ang CapCut, ang kanilang malawakang ginagamit na video editing tool.
Geopolitika bilang kompetitibong parilidad
Ang pagkakaroon ng pagkakalaban sa teknolohiya sa pagitan ng US at China ay ginawang parang isang arms race ang pag-unlad ng AI, kasama ang mga kontrol sa pag-export, pagbabawal sa chip, at pagtaas ng mga pahayag tungkol sa pag-transfer ng teknolohiya. Sa ganitong kalagayan, anumang Chinese AI company na nakasalalay sa distillation mula sa American models ay may geopolitical na liability sa kanyang balance sheet.
Ang debate tungkol sa distillation ay nakatira sa halos lahat ng pangunahing player sa larangan ng AI. Ang OpenAI ay publikong inilahad ang kanilang pag-aalala tungkol sa paggamit ng kanilang mga modelo upang itrain ang mga kalaban. Ang Anthropic ay nagbigay ng kanilang opinyon tungkol sa etika at mga kompetitibong epekto. Sa ilalim ng ganitong konteksto, ang preemptive na desisyon ng ByteDance na iwasan ang distillation ay tila hindi isang sariling pagpapahintulot kundi isang paniniwala na ang independiyenteng pag-unlad ay hahawak sa huli ng mas mahusay at mas maprotektadong teknolohiya.