Hayır, Jev sadece bir haftadır popüler hale geldi, 1 GB'dan küçük yerel sürümü bile çıkarıldı mı???
Bir geliştirici, açık kaynaklı Laya'nın yerel sürümünü Apple MLX'e taşıyarak Laya-MLX'i oluşturdu—
421M parametreli sürüm, maksimum MLX bellek kullanımı yalnızca 943,6 MiB'dir.
322M'nin çok dilli sürümüne dönüştürüldüğünde, doğrudan 687,6 MiB'ye düştü.

Bulut API'sine gerek yok, PyTorch ve Transformers runtime'ına gerek yok, modeli Mac'e indirip doğrudan çalıştırabilirsiniz.
Ama küçük olmasına rağmen hızı oldukça güçlü.
M3 Max üzerinde Laya-MLX, kısa karar verme P50 için en hızlı 7,39 ms; 421M sürümü ise yalnızca 13,42 ms.
Bir seferde 50 soru eklenirse, 322M çok dilli sürümün işlem hızı 395 soru/saniyeye ulaşabilir.
Açık kaynaklı Jev
Jev, bu iki gün boyunca herkes tarafından tanıdık hale gelmiş olmalı.
En büyük farkı, en zaman alan metin üretimi tamamen kaldırılmasıdır: sohbet etmez, kod yazmaz, makale yazmaz... Sadece bir şey yapar: karar verir.
(Bert: Hmm? Bu iş içeriğini nerede duymuşum gibi geliyor?)
Tekil token üretme adımının eksikliği, çıkarım hızının geleneksel LLM'lerden doğal olarak ayrılmamasını sağlar.
Bu basit ve direkt oyun tarzı sayesinde Jev, yayınlandıktan hemen sonra popüler oldu.

Daha sonra açık kaynaklı alternatif geldi.
Laya, çok dilli, non-autoregressive bir System 1 karar modeli.
Jev ile benzer bir yaklaşım izliyor, hesaplama gücünü metin üretmeye değil, yapılandırılmış sorulara doğrudan karar sonuçları vermek için kullanıyor ve GitHub'da 10,4k yıldız topladı.

Şu anda şu üç tür işi yapıyor:
choice, birkaç seçenekten birini seçmek; score, verilen kriterlere göre puan vermek; noul, bir olayın True olma olasılığını değerlendirmek.
Bir durum parçasını ve değerlendirilmesi gereken soruyu birlikte girin, bir ileri geçişle doğrudan sonucu alın.
Laya şu anda ana olarak üç checkpoint'e sahiptir.
ModernBERT-large, 421M parametre baz alınarak;
mmBERT-base tabanlı çok dilli sürüm, yalnızca 322M parametre ile 100'den fazla dili destekler;
Ayrıca, typed-decisions iş akışı için bir 421M sürümü daha vardır.

Modelin kendisi yalnızca 300-400 milyon parametreye sahiptir ve hızı oldukça yüksektir.
Orijinal Laya, Tesla T4 üzerinde tek bir soru yaklaşık 33 ms; toplu işleme sırasında ortalama 7,2 ms/soru, tek bir kartla en fazla saniyede yüzlerce soru işlenebilir.
Projenin üçüncü taraf Jev P50 gecikmesi 236~276 ms arasında, Laya'nın kendi ölçümüne göre tek bir sorun 32,8 ms, yaklaşık 7-8 kat daha hızlı.
Yyped-decisions'ta 2.000 karar testinde, özel olarak ayarlanmış Laya sürümünün doğruluk oranı %76,6'dır (önceki Jev açık başarı oranı %72,7 idi).

Açık kaynak sürümü hazır, hızı da yavaş değil.
Hemen ardından insanlar daha da küçük olup olamayacağını düşünmeye başladı.
O zaman Laya-MLX geldi.
Yerel 1 GB ile çalıştırılabilir
Laya-MLX, Laya'nın çıkarım yığınıdır.
Geliştiriciler, orijinal Laya'yı kendi kendine dağıtabiliyor, ancak ana olarak PyTorch ve Transformers ortamında çalıştırıyorlar.
mizorewww, Laya'nın tam sinir ağı mimarisini Apple MLX çerçevesi üzerinde yeniden uyguladı ve modelin Apple Silicon üzerinde yerel olarak çalışmasını sağladı.
PyTorch ve Transformers runtime kaldırılabilir ve bulut API'sine ihtiyaç duyulmaz.
Ayrıca, çıkarım yığını değiştirildikten sonra eski sonuçlar da uyumlu olmalıdır.
Laya-MLX, üç checkpoint'i sırasıyla FP32 ve FP16 ile doğruladı ve 63 doğrulama sorusunda tümüyle orijinal Laya'nın seçtiği cevaplarla eşleşti.
Üç model, iki hassasiyetle, toplamda 378/378 karşılaştırma geçildi, çıkarım sonucu kayması yaşanmadı.
Test makinesi bir M3 Max, 40 çekirdekli GPU, 128 GB birleşik bellek.

421M İngilizce sürümü, kısa bir soruyu işlerken峰值 MLX ataması 943,6 MiB; 322M çok dilli sürüm, 687,6 MiB'e daha da düşürdü.
Ancak hız azalmadı.
Aynı M3 Max üzerinde, 421M sürümü bir kısa soruyu 13,42 ms gecikmeyle işliyor; 322M çok dilli sürüm 7,39 ms.
P95 ayrıca sırasıyla 13,92 ms ve 7,79 ms'tir.
Bir seferde 50 soru eklenirse, çok dilli sürümün işlem kapasitesi doğrudan 395 soru/s'ye ulaşabilir.

Ve bu süreler, modelin temel operatörlerinin doğrudan gecikmeleri değildir.
Proje zaman aralığı, prompt hazırlığı, tokenizasyon, tensor oluşturma, senkronizasyonlu çıkarım, kalibrasyon ve nihai sonuç biçimlendirme süreçlerini içerir, model yüklemeyi hariç tutar.
Diğer bir deyişle, 7,39 ms, bir kısa kararın giriştten sonuca kadar olan uçtan uca gecikmesini ölçer.
Laya-MLX, Snake oyununu saniyede 60 kez karar verme hızıyla oynayabilir.
Her adımda Laya doğrudan çağrılır ve mevcut duruma göre yeniden karar verilir; dışarıda ise cycle safety layer, tehlikeli eylemleri düzeltir.
Aynı M3 Max üzerinde, proje test edilmiş derleme ve prefix yeniden kullanım optimizasyonu sonrası 2400 adım sürekli çalıştırıldı—
75,40 hareket/s, 0 ölüm.
Süreç boyunca güvenlik katmanı iki kez müdahale etti ve yalnızca az sayıda senaryoda eylem düzeltmesi yapıldı.
Üç satır çalıştır
İlgilenenler, Apple Silicon Mac'te doğrudan yerel olarak dağıtabilir.
Şu anda proje, Python 3.11+ ve macOS 14+ gerektiriyor.
Bağımlılıklar kurulduktan sonra, doğrudan kütüphaneleri içe aktarabilir ve zaten dönüştürülmüş checkpoint’i yükleyebilirsiniz:
pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)
Sonra state ve sorunu agent.predict() fonksiyonuna iletmek yeterli.
İlk çalıştırma sırasında checkpoint otomatik olarak indirilecektir, sonraki çıkarımlar tamamen yerelde kalabilir.

Elbette, küçük olmanın da bir maliyeti vardır.
421M İngilizce sürümün bağlamı yalnızca 512 token içeriyor;
322M çok dilli sürüm ve 421M typed-decisions sürümü yalnızca 1024 token içeriyor.
1k bağlam, aynı anda state, talimatlar ve seçenekleri barındırmak gerektiğinden, kısa girdiler, yüksek sıklıkta çağrılar ve yapılandırılmış çıktı gerektiren karar verme görevleri için daha uygundur.
Eksiklikler açıkça mevcut, ancak açık kaynak uzmanlarının gece boyu takip etmesini engelleyemiyor; evet, zaten bir sonraki sürümü hayal ediyoruz!
Jev: Sadece bir hafta önce popüler oldum...
Proje adresi: https://github.com/mizorewww/laya-mlx
Bu yazı, WeChat hesabından "Quantum Bits" tarafından yazılmıştır, yazar: Wen Le
