Binubuo na ng ByteDance ang pagtuturo sa AI model na may 10 trilyong parameter, malapit na sa sukat ng Anthropic

Ayon sa pagmamasid ni Beating, sinipi ng Financial Times ng Britain ang tatlong mapagkakatiwalaang pinagkunan na nagsimula na ang ByteDance sa pre-training ng isang malaking modelo na may hanggang 10 trilyon na parameter. Ang proyekto ay nasa maagap na yugto pa at ang huling sukat ay hindi pa nakukumpirma. Kung ituturuan sa maximum, ito ay magiging higit sa tatlong beses ang laki ng Kimi K3 at magiging pinakamalaking modelo na kilala sa ilalim ng mga Chinese team. Direktang isinampa ng ByteDance ang laki ng modelo sa paligid ng flagship ni Anthropic. Hindi pa naglabas ng Anthropic ng bilang ng parameter para sa Mythos 5, ngunit sinipi ng Financial Times ang mga estimasyon ng industriya na ang Mythos 5 ay humigit-kumulang 8 trilyon na parameter, habang ang Fable 5 ay humigit-kumulang 5 trilyon. Kung matutupad ng bagong modelo ng ByteDance ang 10 trilyon, kahit sa sukat lamang ng parameter, nasa parehong antas na ito ang pinakamalalim na closed-source models sa Estados Unidos. Ang modelo ay kasalukuyang nasa pre-training (pagtuturo sa pangunahing kakayahan ng modelo gamit ang malaking dami ng data). Ayon sa Financial Times, ang yugtong ito ay karaniwang nangangailangan ng 3 hanggang 6 na buwan, at kailangan pa ng post-training bago ito mabigay. Mas maraming parameter ay hindi nangangahulugan na mas malakas ang kakayahan—ang huling performans ay nakadepende sa arkitektura, data sa pagtuturo, at paraan ng pagtuturo. Noong nakaraan, ipinahayag ni Zhang Yiming sa loob ng Seed ang kanyang pagtutol sa distilasyon ng mga modelo ng kalaban, at inutos sa kanyang team na tanggapin ang pansamantalang pagkakaligtaan at magpursige sa sariling pagbuo upang makarating sa unang antas sa mundo. Ang bagong modelo na may hanggang 10 trilyon na parameter ay ang pinakamalikhaing pagtutok sa sukat na ginawa ng ByteDance hanggang sa kasalukuyan.