وفقًا لمراقبة 1M AI News، أصدرت مختبرات جوجل خوارزمية ضغط كمية تُسمى TurboQuant، يمكنها ضغط ذاكرة التخزين المؤقت KV للنماذج اللغوية الكبيرة إلى 3 بت، وتقليل استخدام الذاكرة بنسبة تزيد عن 6 مرات، دون الحاجة إلى تدريب أو دقة نموذجية، دون فقدان دقة النموذج. وفي وضع 4 بت، يزيد سرعة حساب الانتباه على وحدات معالجة الرسومات H100 من نيفيديا بنسبة تصل إلى 8 مرات مقارنة بالأساس غير المضغوط بـ 32 بت.
تم التحقق من TurboQuant على معايير السياق الطويل مثل LongBench وNeedle In A Haystack وZeroSCROLLS باستخدام نماذج Gemma وMistral، حيث حقق TurboQuant أفضل أداء في جميع الاختبارات. يتكون هذا الخوارزم من خوارزميتين فرعيتين: PolarQuant يزيل تكاليف الذاكرة في الطرق التقليدية للكمية من خلال التحويل الإحداثي القطبي، بينما QJL يصحح الأخطاء المتبقية باستخدام 1 بت فقط.
أُجريت هذه الدراسة بقيادة أمير زانديه من مختبرات جوجل وفاهاب ميركروني نائب الرئيس وزميل جوجل، بالتعاون مع جامعة KAIST الكورية و جامعة نيويورك، وستُنشر في ICLR 2026. وأفادت جوجل أن أحد التطبيقات الرئيسية لهذه التقنية هو حل مشكلة عقدة ذاكرة KV في نماذج مثل Gemini.
بحث جوجل يُقدّم TurboQuant: كميّة بـ 3 بت دون فقدان في الدقة، وزيادة سرعة الاستنتاج حتى 8 مرات
KuCoinFlashمشاركة
ملخص
كشفت أبحاث جوجل عن TurboQuant، وهي طريقة كميّة بـ 3 بت تقلل استخدام ذاكرة KV بنسبة 6 مرات دون فقدان في الدقة. على وحدات معالجة الرسوميات NVIDIA H100، تعمل حسابات الانتباه بـ 4 بت أسرع حتى 8 مرات مقارنةً بالنماذج بـ 32 بت. وباستخدام Gemma وMistral مع LongBench وNeedle In A Haystack وZeroSCROLLS، حققت الطريقة أفضل النتائج. وتم تطويرها من قبل أمير زنديه وفهاب ميركروني بالتعاون مع KAIST وNYU، وستُنشر الورقة في ICLR 2026. تُظهر البيانات على السلسلة ازدياد الاهتمام بالعملات البديلة التي يجب مراقبتها، حيث يدفع تحسين الكفاءة التبني.
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات.
يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.