ByteDance dilaporkan sedang bersiap untuk pra-pelatihan model AI dengan sekitar 10 triliun parameter, skala yang akan jauh melampaui seluruh sistem AI Tiongkok yang diketahui dan menempatkan perusahaan ini bersaing langsung dengan laboratorium Barat paling canggih. Upaya ini memerlukan sekitar 30.000 GPU dan perkiraan 3 hingga 6 bulan pra-pelatihan terus-menerus.
Untuk memberikan gambaran tentang 10 triliun parameter, jumlah tersebut lebih dari tiga kali ukuran Kimi K3 dari Moonshot AI yang memiliki 2,8 triliun parameter dan saat ini termasuk di antara model terbesar yang diproduksi di Tiongkok. Parameter pada dasarnya adalah tombol-tombol yang disesuaikan model AI selama pelatihan untuk mempelajari pola dalam data.
Apa yang sebenarnya sedang dibangun oleh ByteDance
Model yang dimaksud menggunakan arsitektur Mixture of Experts (MoE). Alih-alih mengaktifkan setiap parameter untuk setiap permintaan, model MoE mengarahkan setiap input ke sejumlah sub-jaringan "ahli" khusus. Ini membuatnya jauh lebih efisien saat dijalankan pada tahap inferensi dibandingkan model padat dengan ukuran total yang sama.
Tim Seed AI dari ByteDance, yang dilaporkan terdiri dari sekitar 2.000 staf, memimpin upaya ini. Tim ini memiliki pengalaman sebelumnya dalam menskalakan pelatihan, sebelumnya melatih model hingga 175 miliar parameter menggunakan sekitar 12.000 GPU. ByteDance telah menerbitkan penelitian tentang infrastruktur MegaScale-nya, yang dirancang untuk mengelola sistem pelatihan terdistribusi yang melebihi 10.000 GPU.
Fase pra-pelatihan hanyalah langkah pertama. Setelah running awal, model akan menjalani fine-tuning sebelum rilis publik potensial. Pendiri ByteDance, Zhang Yiming, dilaporkan telah mengarahkan tim Seed AI untuk fokus pada terobosan teknologi nyata daripada mengandalkan distilasi dari sistem AI Barat.
Mengapa ByteDance berpikir bisa berhasil melakukan ini
ByteDance memiliki beberapa keunggulan struktural yang menjadikan ini lebih dari sekadar proyek pencitraan. Perusahaan ini mengoperasikan TikTok, yang melayani lebih dari satu miliar pengguna secara global, dan Doubao, salah satu asisten AI paling banyak digunakan di Tiongkok. Jejak konsumen tersebut menghasilkan volume interaksi yang sangat besar yang dapat membantu dalam pengambilan keputusan pelatihan dan fine-tuning.
Gajah di ruangan itu, tentu saja, adalah pembatasan ekspor AS terhadap chip AI canggih. Washington secara bertahap memperketat kontrol terhadap penjualan GPU Nvidia kelas atas dan akselerator lainnya kepada entitas Tiongkok. ByteDance belum secara terbuka merinci model GPU spesifik mana yang direncanakan digunakan untuk pelatihan ini, tetapi kemampuan perusahaan untuk menghimpun 30.000 unit tersebut menunjukkan bahwa mereka telah menemukan jalur yang dapat diterapkan untuk melewati pembatasan tersebut.
Lanskap kompetitif yang diubah kembali
ByteDance bukan satu-satunya laboratorium AI Tiongkok dengan ambisi besar. Tim Qwen dari Alibaba, Baidu, dan startup seperti DeepSeek dan Moonshot AI semuanya telah mendorong batas-batas skala model. Namun, model dengan 10 triliun parameter akan menjadi lompatan signifikan di luar apa yang telah mereka umumkan atau terapkan secara publik.
Target tersebut juga menempatkan ByteDance dalam percakapan dengan laboratorium frontier Barat. Sistem terbaru Anthropic, yang dilaporkan menjadi tolok ukur kompetitif yang ingin dicapai ByteDance, mewakili batas tertinggi kemampuan AI yang diketahui publik.
Jendela pra-pelatihan 3 hingga 6 bulan berarti hasil, atau komplikasi, bisa mulai muncul sebelum akhir 2026.