Çin’in eski adı Zhipu AI olan Z.ai şirketi, 26 Ağustos'ta GLM-5 serisinin ilk yerel çoklu modelli modeli olan GLM-5.3-Flash’ı yayınladı. Bu yayın, modelin kendisinden daha öteye uzanan nedenlerle dikkat çekiyor: tamamen yerel üretilen AI hızlandırıcılar üzerinde çalışıyor ve Çinli donanımın ciddi ölçekli iş yüklerini handle edebileceğini açıkça gösteriyor.
Zamanlaması önemlidir. ABD'den yapılan ihracat kontrolleri, Çinli alıcıların NVIDIA'nın en gelişmiş çiplerine erişimini kısıtladı ve Z.ai gibi şirketleri sahip oldukları şeylere göre çözüm üretmeye zorladı.
Modelin aslında yaptığı
GLM-5.3-Flash, seyrek ve doğrusal dikkat birleşiminden oluşan bir hibrit mimari kullanır; bu, hesaplama gereksinimlerini önemli ölçüde azaltan bir tasarım seçimidir. Model toplam 320 milyar parametreye sahiptir, ancak her token başına yalnızca 18 milyarını etkinleştirir; bu da her çıkarım sırasında tam hesaplama maliyetini ödemeden büyük bir bilgi tabanından yararlanmasını sağlar.
Bağlam penceresi 1 milyon belirteçle sınırlıdır ve bu, herhangi bir açık modeldeki en uzunlardan biri haline getirir. Görüntü ve video girdileri için yerel destek, mimari düzeyde gerçek çoklu modalliliği sağlar, ek bir özellik olarak değil.
DeepSWE v1.1 kodlama benchmarkunda, GLM-5.3-Flash 63,4 puan aldı, önceki nesil GLM-5.2 ise 46,2 puan aldı. Model, Yapay Analiz Zekâ Endeksinde 57 puan aldı.
Fiyatlandırma rekabetçi. API erişimi, milyon girdi token başına 0,15 dolar ve milyon çıktı token başına 0,50 dolar; önbelleğe alınmış girdiler ise 0,03 dolar. Z.ai, maliyeti bazı rekabetçi seçeneklerin yaklaşık onda biri olarak tanımlıyor.
Çinli çipler gerçek iş yapıyor
Z.ai, yerel olarak üretilen AI akseleratör kümeleri üzerinde GLM-5.3-Flash’ı dağıttı, ardından bu donanıma özel sunum yığınları oluşturdu ve nicelleştirme tekniklerini uyguladı. Sonuç olarak, daha genel bir dağıtım yaklaşımına kıyasla uçtan uca performans üç kat artırıldı.
Model, Hugging Face ve ModelScope üzerinde hem FP8 hem de BF16 formatlarında MIT lisansı altında açık ağırlıklarla gelir. MIT, lisansların en serbest olanlarından biridir: geliştiriciler ve şirketler, ağırlıkları ticari amaçlı kullanabilir, değiştirebilir ve kısıtlama olmadan dağıtabilir.