字節跳動的 AI 研究部門 Seed 自成立以來一直遵循一條簡單但非傳統的規則:不使用知識蒸餾。在複製更強大模型行為幾乎成為必經之路的領域中,TikTok 的母公司選擇了更艱難的道路。
這一決策使字節跳動與眾多中國 AI 實驗室區分開來,這些實驗室或公開或私下地從較大模型中提煉能力,其中許多模型由美國公司如 OpenAI 和 Anthropic 建立。
蒸餾實際上意味著什麼,以及為何跳過它至關重要
知識蒸餾本質上是 AI 學徒制。一個較小、較便宜的模型學習模仿較大、更強大模型的輸出。結果是產生了一個體積緊湊但表現超越其規模的模型,訓練成本僅為原來的一小部分。
這項技術已在中国的人工智慧生態中廣泛普及。當 DeepSeek 的 R1 模型在更廣泛的知識蒸餾辯論中成為焦點時,它凸顯了中國實驗室如何利用美國前沿模型的輸出來加速自身發展。OpenAI 和 Anthropic 都對此做法表示擔憂,而關於加強服務條款以阻止此行為的討論也愈發激烈。
由於拒絕使用精煉,Seed 正使用專有的數據收集、合成和清理流程從頭構建其模型。
獨立運作背後的戰略考量
一位字節跳動員工清楚地闡述了這一雄心:「字節跳動對其幾乎所有模型的目標是達到全球頂級,甚至最前沿的標準。」
實驗室已將運行結果上線。Seedance 是字節跳動的視頻生成模型,是在此無蒸餾框架下開發的。該模型為字節跳動的多款消費產品提供支援,包括公司的對話式 AI 助手 Doubao 和廣泛使用的視頻編輯工具 CapCut。
地緣政治作為競爭護城河
美中科技競爭已將人工智慧發展轉變為類似軍備競賽的態勢,伴隨出口管制、晶片限制以及關於技術轉移的言辭升級。在這種環境下,任何依賴美國模型進行知識蒸餾的中國人工智慧公司,其資產負債表上都承擔著地緣政治風險。
蒸餾爭議已吸引人工智能領域幾乎所有主要參與者參與。OpenAI 已公開表達對其模型被用於訓練競爭對手的擔憂。Anthropic 也對倫理與競爭影響發表了看法。在這一背景下,字節跳動預先決定完全避開蒸餾,看起來更像是一種賭注,即獨立開發最終將產生更優秀、更具防禦性的技術,而非單純的自我約束。
