Aynı anda bir şeyi daha küçük ve daha iyi hale getirmek, temel fizik yasalarına aykırı gibi görünür. Ancak Edinburgh Üniversitesi'ndeki araştırmacılar, NVIDIA ile birlikte büyük dil modelleriyle bunu başardı. DYNAMIC MEMORY SPARSIFICATION (DMS) adı verilen teknikleri, AI altyapısının kritik bir parçasını 8 kat sıkıştırırken, modellerin zor testlerdeki puanlarını artırıyor.
Eğer AI modelleri, belleğin sadece bir kesirini kullanarak aynı şekilde veya daha iyi çalıştırılabiliyorsa, bu durum, şu anda bunları işleyemeyen cihazlarda, özellikle giyilebilir cihazlarda, akıllı ev donanımlarında ve kenar cihazlarında ciddi akıl yürütme yeteneklerinin dağıtılmasına kapı açar.
DMS nasıl çalışır
Bir çığır açıcı gelişmeyi anlamak için anahtar-değer (KV) önbelleğinden bahsetmek gerekir. Bir yapay zeka modeli bir sorunu çözerken, ara sonuçları bu önbellekte saklar; bu, modelin kendi düşünme sürecini takip etmesine olanak tanıyan bir çalışma belleğidir. Düşünme zinciri ne kadar uzun ve karmaşık olursa, önbellek o kadar büyür ve o kadar fazla hesaplama kaynağı gerektirir.
DMS, bu süreci bir bıçak gibi işler. Tüm tokenları önbellekte tutmak yerine, en önemli olanları seçerek korur ve geri kalanları atar. Sonuç olarak, KV önbelleği orijinal boyutunun sekizde birine sıkıştırılır. Gürültüyü temizleyerek modeller, aynı hesaplama bütçesi içinde daha derin ve daha karmaşık akıl yürütme yolları keşfedebilir.
Referans sonuçları
AIME 24'te, DMS kullanılarak sıkıştırılmış modeller, sıkıştırılmamış karşılıklarına göre ortalama 12 puan daha yüksek puan aldı.
GPQA Diamond üzerinde, fizik, kimya ve biyoloji alanlarındaki lisansüstü düzeydeki bilim sorularından oluşturulmuş bir ölçüt, DMS sıkıştırılmış modeller ortalama 8 puandan daha yüksek puanlar elde etti.
Pratik programlama becerisini test eden LiveCode Bench'te, sıkıştırılmış modeller, aynı miktarda KV önbellek verisini okurken tam önbellek versiyonlarına göre 10 puan kazandı.
Ana araştırmacı Dr. Edoardo Ponti, çift faydayı basitçe özetledi.
Modeller daha hızlı çıkarım yapabilir, ancak aynı kalitede.
Sabit bir zaman penceresi içinde, DMS kullanan bir LLM daha fazla akıl yürütme dalını inceleyebilir ve daha güçlü sonuçlara ulaşabilir.
Daha uzun bir trend, hızlanıyor
Yapay zeka alanı, 2010’ların ortalarından itibaren bilgi distilasyonu, budama ve nicelleştirme gibi tekniklerin, daha küçük modellerin belirli görevlerde daha büyük modellerle rekabet edebileceğini göstermesiyle model verimliliğini takip etmektedir. DMS, bu mirasa, bir modelin eğitilmesi sırasında değil, aslında kullanıldığı sırada tüketilen kaynaklar olan çıkarım zamanı belleğine odaklanarak katkıda bulunur. Çıkarım belleğini 8 kat sıkıştırmak, her dağıtımın çok daha ucuz çalışmasını sağlar.
Araştırma NeurIPS konferansında sunuldu ve “Inference-Time Hyper-Scaling with KV Cache Compression” başlıklı bir makalede detaylandırıldı. Değerlendirmeler Llama ve Qwen modelleri kullanılarak gerçekleştirildi.