ChainThink mesajı, 5 Ağustos'ta resmi duyuruyla, Ant Bellek (inclusionAI), Ling-3.0-flash ağırlıklarını resmen açtı ve BF16 orijinal ve FP8 kuantize sürümlerini sundu.
İki sürüm de MIT lisansı altında olup, Hugging Face ve ModelScope'da yayınlanmıştır ve SGLang veya vLLM aracılığıyla kendi kendinize dağıtımı destekler.
Bu arada, BF16 sürümü yaklaşık 255 GB, FP8 sürümü ise yaklaşık 128 GB yer kaplar ve boyut yaklaşık olarak yarıya iner. FP8, parametreleri daha düşük hassasiyetle saklayarak depolama ve GPU belleği gereksinimlerini azaltır;
Resmi olarak listelenen 4 testte, FP8 ile BF16 arasındaki maksimum fark 1,57 puandır.
Ling-3.0-flash'in toplam parametre sayısı 124 milyar, her üretimde 5,1 milyar parametre aktif hale gelir, 256.000 Token bağlamını destekler ve özellikle programlama, arama, derin araştırma ve araç çağırma gibi Agent görevleri için tasarlanmıştır.
Resmi değerlendirmelere göre, bu model çoğu temelde önceki trilyon parametreli model olan Ring-2.6-1T'yi aşıyor veya eşitliyor.