Yıllarca büyük dil modelleri, çok hızlı bir yazıcı gibi çalışıyordu: bir kelime birden, soldan sağa, geriye bakmadan. DiffusionGemma, bu kural kitabını tamamen atıp atıyor. Açık model, metin bloklarını aynı anda üretmek için difüzyon tekniklerini kullanıyor ve geleneksel otoregresif modellere kıyasla üretme hızını dört katına çıkarıyor.
DiffusionGemma nasıl çalışır
Geleneksel dil modelleri metni sıralı olarak oluşturur. Her bir belirteç (yaklaşık bir kelime veya kelime parçası), önceki tüm belirteçlere bağlı olarak birbirini takip ederek üretilir.
DiffusionGemma, görüntü üretimi üzerinde devrim yaratan aynı teknik ailesinden yararlanır. Yayılma modelleri, gürültüyle başlar ve onu tutarlı bir çıktıya doğru yinelemeli olarak inceleyerek geliştirir. Metne uygulandığında, bu, modelin bir sonraki kelimeyi beklemeden aynı anda bir yanıttaki birçok kısmı üzerinde çalışabileceğini anlamına gelir.
Değerlendirmelerde, DiffusionGemma yaklaşık 1.479 token/saniye hızda örnekleme gerçekleştirdi. Bu 4 kat hız artışı teorik bir sınır değil, ölçülen bir performans göstergesidir.
Çünkü difüzyon modelleri çıktıları her bir belirteci kalıcı olarak sabitlemek yerine yinelemeli olarak iyileştirir, DiffusionGemma üretme süreci sırasında hataları ayarlayabilir ve düzeltebilir. Geleneksel modeller bu imkâna sahip değildir. Bir kelime üretildiğinde, kalıcı hale gelir ve sonraki aşamalardaki hatalar ileriye doğru yayılır.
Donanım açısı ve Google DeepMind bağlantısı
DiffusionGemma, Google DeepMind’in Gemini Diffusion’undan ilham alır; bu sistem, verimli metin üretimi için difüzyon tabanlı yaklaşımları öncülük etmiştir.
DiffusionGemma, özellikle RTX PRO ve DGX sistemleri dahil NVIDIA platformları için optimize edilmiştir; bu da geliştiricilerin modeli yalnızca bulut API'lerine bağımlı kalmadan yerel olarak hızlandırılmış performansla çalıştırmasını sağlar.
Benchmark değerlendirmeleri, DiffusionGemma'nın daha büyük modellerle kıyaslanabilir performans gösterirken hız avantajını koruduğunu göstermektedir. Referans olarak, Gemini Diffusion, değerlendirilen benchmark'larda Gemini 2.0 Flash-Lite'in %28,5'ine karşı %30,9 puan almıştır.
Bu, yapay zeka alanına ve yatırımcılara ne anlama geliyor
Hızlı metin üretimi üzerine bağımlı olan işletmeler için etkiler açıkça bellidir. İçerik oluşturma süreçleri, müşteri hizmetleri otomasyonu, kod üretimi araçları ve gecikme zamanının önemli olduğu her uygulama, 4 kat hız artışı ile fayda sağlayabilir. Daha hızlı çıkarım, her sorgu başına hesaplama maliyetlerinin düşmesi anlamına gelir ve bu da AI'nın ölçekli bir şekilde dağıtılmasının ekonomisini doğrudan etkiler.
Ana risk kabul edilmedir. Bir model, kontrollü değerlendirmelerde iyi performans gösterebilir ancak gerçek dünya uygulamasının karışıksız ve öngörülemeyen talepleriyle hâlâ zorlanabilir. Modelin açık olması ve yaygın olarak mevcut NVIDIA donanımı için optimize edilmesi, en azından iki yaygın engeli ortadan kaldırır.