バイトダンスのAI研究部門であるSeedは、設立当初からシンプルだが異例なルールを採用している：知識蒸留を行わないこと。より強力なモデルの挙動を模倣することが実質的な通過儀礼とされる分野で、TikTokの親会社はより困難な道を選んでいる。
この決定は、OpenAIやAnthropicなどの米国企業が構築した多くの大規模モデルから能力を明示的または静かに蒸留してきた、多くの中国のAIラボと区別して、バイトダンスを位置づける。
ディスティレーションとは実際に何を意味し、それをスキップすることがなぜ重要なのか
知識蒸留は、本質的にAIの徒弟制度です。より小型で安価なモデルが、より大型で強力なモデルの出力を模倣して学習します。その結果、コストを大幅に削減しながら、その規模以上の性能を発揮するコンパクトなモデルが得られます。
この手法は、中国のAIエコシステムで広く普及している。DeepSeekのR1モデルが、より広範なディスティレーション議論で注目を集めた際、中国の研究機関が先進的な米国モデルの出力を活用して自らの開発を加速していることが浮き彫りになった。OpenAIおよびAnthropicは両方ともこの慣行について懸念を表明しており、これを防ぐためにサービス利用規約を厳格化するという議論はさらに激化している。
Seedは精製を拒否することで、独自のデータ収集、合成、クリーニングパイプラインを用いてモデルをゼロから構築しています。
独立する背後にある戦略的計算
あるバイトダンスの従業員は、野心を明確に述べた。「バイトダンスのほぼすべてのモデルの目標は、グローバルなトップクラス、あるいは最前線の基準に到達することです。」
ラボはすでに実行をボードに掲載しています。Seedanceは、バイトダンスの動画生成モデルで、このディスティレーションなしのフレームワークのもとで開発されました。このモデルは、バイトダンスの消費者製品全体に搭載されており、同社の会話型AIアシスタントであるDoubaoや、広く利用されている動画編集ツールであるCapCutなどを支えています。
地政学を競争優位のモートとして
米中技術競争により、AI開発は輸出規制、チップ制限、技術移転に関するエスカレートする言説を伴う軍備競争に似たものとなっている。このような環境下で、アメリカのモデルからディスティレーションに依存する中国のAI企業は、バランスシートに地政学的リスクを抱えることになる。
ディスティレーションを巡る議論は、AI分野の主要なプレイヤーほぼすべてを巻き込んでいます。OpenAIは、自社のモデルが競合他社のトレーニングに使用されることへの懸念を公に表明しています。Anthropicは、倫理的および競争的影響について意見を述べています。このような状況の中、ByteDanceがディスティレーションを完全に避けるという予防的な決定を下したことは、自らの自制と見なされるよりも、独立した開発が最終的により優れ、より防御可能な技術を生み出すという賭けと見なされるべきです。