ByteDance Mula Melatih Model AI 10 Triliun Parameter, Mendekati Skala Anthropic

Berdasarkan laporan Beating, The Financial Times mengutip tiga sumber yang mengetahui bahawa ByteDance telah memulakan pra-pelatihan model besar dengan parameter sehingga 10 trilion. Projek ini masih berada dalam peringkat awal dan saiz akhir belum ditentukan. Jika dilatih hingga had maksimum, ia akan melebihi tiga kali ganda Kimi K3 dan menjadi model dengan parameter terbesar yang diketahui oleh pasukan China. ByteDance kali ini secara langsung mendorong saiz modelnya mendekati model unggulan Anthropic. Anthropic tidak pernah mengumumkan jumlah parameter Mythos 5, tetapi The Financial Times mengutip anggaran industri yang menyatakan bahawa Mythos 5 kira-kira 8 trilion parameter, manakala Fable 5 kira-kira 5 trilion. Jika model baharu ByteDance mencapai 10 trilion, ia sekurang-kurangnya telah memasuki kelas yang sama dengan model tertutup paling canggih di Amerika dari segi saiz parameter. Model ini masih berada dalam peringkat pra-pelatihan (melatih kemampuan asas model dengan data dalam jumlah besar). The Financial Times menyatakan bahawa peringkat ini biasanya memerlukan 3 hingga 6 bulan, selepas itu perlu dilanjutkan dengan pelatihan lanjutan sebelum ia boleh dilancarkan. Lebih banyak parameter tidak bermakna kemampuan pasti lebih kuat; prestasi akhir masih bergantung kepada arsitektur, data pelatihan, dan kaedah pelatihan. Zhang Yiming baru-baru ini secara jelas menentang pelatihan ulang model pesaing di dalam Seed, dan meminta pasukan untuk menerima keketinggalan sementara dan mengejar tempat teratas dunia melalui pengembangan sendiri. Model baharu dengan parameter sehingga 10 trilion ini merupakan pelaburan skala paling agresif yang pernah dilakukan oleh ByteDance.