Mensahe ng ChainThink, Agosto 5, ayon sa opisyal na ulat, ang Ant Group Bailing (inclusionAI) ay opisyal na nagbukas ng mga timbang para sa Ling-3.0-flash, kasama ang orihinal na BF16 at ang FP8 quantized version.
Ang parehong bersyon ay gumagamit ng MIT License, at nasa Hugging Face at ModelScope na, at suportado ang sariling pag-deploy gamit ang SGLang o vLLM.
Kung saan, ang BF16 ay may laki na halos 255 GB, habang ang FP8 ay halos 128 GB, halos nabawasan ng kalahati. Ang FP8 ay nag-iimbak ng mga parameter sa mas mababang precision, na nagpapababa sa mga kinakailangan sa storage at VRAM;
Sa mga 4 na pagsusulit na listahan ng opisyal, ang pinakamalaking pagkakaiba sa pagitan ng FP8 at BF16 ay 1.57 puntos.
Ang Ling-3.0-flash ay may kabuuang 12.4 bilyong parameter, na nag-activate ng 51 milyong parameter bawat pagbuo, at sumusuporta sa 256,000 Token na konteksto, na pangunahing nakatuon sa mga gawain ng Agent tulad ng pag-program, paghahanap, malalim na pag-aaral, at pagtawag ng mga kasangkapan.
Ayon sa opisyal na pagsusuri, umabot o lumampas ang modelo sa karamihan ng mga benchmark kumpara sa nakaraang modelo na may isang trilyon na parameter, Ring-2.6-1T.