ME Haberleri, 9 Ekim (UTC+8),动察 Beating AI Hızlı Haberleri, ByteDance Seed ekibi, DeepSeek-V4'ün uzun metin işlemede düzenli bir zayıflık olduğunu tespit etti. Araştırmacılar, modelin bir kod parçasını tamamlamasını istedi; kod kendisi değişmeden, yalnızca öncesindeki dikkate alınmayan yorumlar uzatıldığında, modelin yanıtları doğru ve yanlış arasında salınmaya başladı. V4-Flash temel sürümde her 4 Token'da bir döngü tekrarlanıyor, V4.1-Flash'ta da benzer bir durum var, ancak döngü 2 Token'a indi. Sorun, DeepSeek'in GPU belleğini tasarruf etmek için kullandığı "bloklu KV önbelleği sıkıştırma" ile ilgili. Model, ardışık birkaç Token'in bilgilerini birleştirerek saklar ve uzun metinleri işlemeye ilişkin maliyeti düşürür. Ancak bu sıkıştırma, farklı konumlardaki bilgilerin farklı düzeylerde korunmasına neden olur ve bazı konumlardaki içerikler daha sonra doğru şekilde geri çağrılması zorlaşır. ByteDance, bu periyodik arama farkını "faz duyarlılığı" olarak adlandırdı. Yaklaşık 128.000 Token'lık arama testinde, V4-Flash temel sürümde farklı konumlarda doğruluk oranı en fazla %40,2 farkla değişti. Son eğitimle bu fark %19,1'e düştü; V4.1-Flash'ta bu fark %6,1'e indi, ancak periyodik dalgalanmalar hâlâ devam etti. ByteDance, aynı zamanda sıfırdan birden fazla kontrol modeli eğitti ve dalga periyodunun sıkıştırma adım uzunluğu ile uyumlu olduğunu tespit etti; bloklu sıkıştırma kullanmayan kontrol modellerinde benzer bir düzen gözlenmedi. (Kaynak: BlockBeats)
ByteDance, DeepSeek-V4'ün uzun metin işlemede periyodik hataları tespit etti
KuCoinFlashPaylaş
Özet
Kripto para alanında değer yatırımı, ByteDance'ın Seed ekibinin DeepSeek-V4'ün uzun metin işlemede periyodik hatalar ortaya çıkardığını keşfetmesiyle yeni bir denetim altına girdi. Aynı kodu uzatılmış yorumlarla verildiğinde model, doğru ve yanlış çıktılar arasında değişiyor. Bu hata, DeepSeek'in chunked KV önbellek sıkıştırmasından kaynaklanıyor; bu yöntem, bellek tasarrufu için token'ları birleştirir ancak eşit olmayan veri koruma nedeniyle sorunlara yol açar. 128.000 token'lık testlerde, V4-Flash'in doğruluk oranı %40,2'ye kadar değişti. Eğitim sonrası bu oran %19,1'e düştü ve V4.1-Flash'te %6,1'e indi, ancak periyodik sorunlar hâlâ devam etmektedir.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.