ByteDance Memulai Pelatihan Model AI Berparameter 10 Triliun, Mendekati Skala Anthropic

Menurut pemantauan Beating, The Financial Times mengutip tiga sumber yang mengetahui bahwa ByteDance telah memulai pra-pelatihan model besar dengan parameter hingga 10 triliun. Proyek ini masih berada pada tahap awal, dan ukuran akhir belum ditentukan. Jika dilatih hingga batas maksimum, model ini akan lebih dari tiga kali lipat ukuran Kimi K3 dan menjadi model dengan parameter terbesar yang diketahui oleh tim Tiongkok saat ini. ByteDance kali ini langsung mendorong ukuran modelnya mendekati flagship Anthropic. Anthropic belum pernah mengungkapkan jumlah parameter Mythos 5, tetapi The Financial Times mengutip perkiraan industri yang menyatakan bahwa Mythos 5 sekitar 8 triliun parameter, sementara Fable 5 sekitar 5 triliun. Jika model baru ByteDance mencapai 10 triliun, setidaknya dalam hal ukuran parameter, ia telah memasuki kelas yang sama dengan model tertutup paling mutakhir di Amerika Serikat. Model ini saat ini masih dalam tahap pra-pelatihan (melatih kemampuan dasar model dengan data dalam jumlah sangat besar). The Financial Times menyatakan bahwa tahap ini biasanya memerlukan waktu 3 hingga 6 bulan, setelah itu diperlukan pelatihan lanjutan sebelum dapat dirilis. Lebih banyak parameter tidak berarti kinerja pasti lebih kuat; kinerja akhir masih bergantung pada arsitektur, data pelatihan, dan metode pelatihan. Zhang Yiming baru-baru ini secara jelas menentang distilasi model pesaing di dalam Seed, meminta tim untuk menerima keterlambatan jangka pendek dan mengejar puncak dunia melalui pengembangan mandiri. Model baru dengan parameter hingga 10 triliun ini merupakan taruhan skala paling agresif yang pernah dilakukan ByteDance.