Divisi penelitian AI ByteDance, Seed, telah beroperasi dengan aturan sederhana namun tidak biasa sejak hari pertama: tidak ada knowledge distillation. Di bidang di mana meniru perilaku model yang lebih kuat hampir menjadi ritual wajib, perusahaan induk TikTok memilih jalan yang lebih sulit.
Posisi keputusan memisahkan ByteDance dari sejumlah besar laboratorium AI Tiongkok yang secara terbuka atau diam-diam telah mendistil kemampuan dari model-model yang lebih besar, banyak di antaranya dibangun oleh perusahaan AS seperti OpenAI dan Anthropic.
Apa sebenarnya yang dimaksud dengan distilasi, dan mengapa melewatkan proses ini penting
Distilasi pengetahuan pada dasarnya adalah pelatihan AI. Model yang lebih kecil dan lebih murah belajar meniru output dari model yang lebih besar dan lebih kuat. Hasilnya adalah model ringkas yang performanya melebihi ukurannya, dilatih dengan biaya sebagian kecil.
Teknik ini telah menjadi luas di ekosistem AI Tiongkok. Ketika model R1 DeepSeek menjadi berita utama dalam perdebatan distilasi yang lebih luas, hal itu menyoroti bagaimana laboratorium Tiongkok memanfaatkan output dari model AS terdepan untuk mempercepat pengembangan mereka sendiri. OpenAI dan Anthropic keduanya telah mengungkapkan kekhawatiran tentang praktik ini, dan percakapan mengenai penguatan jangka waktu layanan untuk mencegahnya hanya semakin meningkat.
Dengan menolak untuk menyaring, Seed membangun modelnya dari awal menggunakan pipeline pengumpulan, sintesis, dan pembersihan data propietaris.
Kalkulus strategis di balik menjadi mandiri
Seorang karyawan ByteDance merumuskan ambisi tersebut dengan jelas: “Tujuan ByteDance untuk hampir semua modelnya adalah mencapai tingkat global teratas, atau bahkan standar terkini.”
Laboratorium telah memasang hasil uji coba di papan. Seedance, model generasi video milik ByteDance, dikembangkan di bawah kerangka tanpa distilasi. Model ini mendukung fitur-fitur di berbagai produk konsumen ByteDance, termasuk Doubao, asisten AI percakapan perusahaan, dan CapCut, alat pengeditan video yang banyak digunakan.
Geopolitik sebagai moat kompetitif
Persaingan teknologi AS-Tiongkok telah mengubah pengembangan AI menjadi sesuatu yang menyerupai perlombaan senjata, lengkap dengan kontrol ekspor, pembatasan chip, dan retorika yang semakin meningkat mengenai transfer teknologi. Dalam lingkungan ini, setiap perusahaan AI Tiongkok yang bergantung pada distilasi dari model Amerika membawa beban geopolitik di neracanya.
Debat distilasi telah melibatkan hampir semua pemain utama di bidang AI. OpenAI secara terbuka menyampaikan kekhawatiran tentang penggunaan modelnya untuk melatih pesaing. Anthropic ikut memberikan pandangan tentang etika dan implikasi kompetitifnya. Dalam latar belakang ini, keputusan pencegahan ByteDance untuk sama sekali menghindari distilasi tampak kurang seperti pembatasan yang diberlakukan sendiri dan lebih seperti taruhan bahwa pengembangan independen pada akhirnya akan menghasilkan teknologi yang lebih baik dan lebih dapat dipertahankan.