بايت دانس تكتشف أخطاء دورية في معالجة النصوص الطويلة لـ DeepSeek-V4

أخبار ME، 9 أكتوبر (UTC+8)، أخبار Beating AI: وجد فريق Seed في ByteDance أن DeepSeek-V4 يعاني من ضعف دوري في معالجة النصوص الطويلة. قام الباحثون بطلب من النموذج إكمال كود، حيث ظل الكود نفسه دون تغيير، لكنهم طوّلوا فقرة تعليقات غير ذات صلة في المقدمة، فبدأ النموذج في التبديل بين الإجابات الصحيحة والخاطئة. يعيد V4-Flash الإصدار الأساسي هذا السلوك كل 4 رموز، كما يظهر نفس الظاهرة في V4.1-Flash، لكن الدورة تصبح كل رمزين. يرتبط هذا المشكل بـ "ضغط ذاكرة KV على شكل كتل" التي تستخدمها DeepSeek لتقليل استهلاك ذاكرة GPU. يقوم النموذج بدمج معلومات عدة رموز متتالية لتخزينها معًا، مما يقلل من تكلفة معالجة النصوص الطويلة. لكن هذا الضغط يؤدي إلى احتفاظ مختلف بمستويات متفاوتة بالمعلومات من مواقع مختلفة، مما يجعل بعض المحتويات أصعب في استرجاعها بدقة لاحقًا. وصفت ByteDance هذه الاختلافات الدورية بـ "الحساسية الطورية". في اختبارات استرجاع تضم حوالي 128 ألف رمز، كان الفرق الأقصى في الدقة بين المواقع المختلفة في V4-Flash الإصدار الأساسي 40.2 نقطة مئوية. بعد التدريب الإضافي، انخفض هذا الفرق إلى 19.1 نقطة مئوية؛ وفي V4.1-Flash، انخفض إلى 6.1 نقطة مئوية، لكن التقلبات الدورية لا تزال موجودة. كما قامت ByteDance بتدريب عدة نماذج مقارنة من الصفر، ووجدت أن دورة التقلبات تتطابق مع خطوة الضغط، بينما لم تظهر النماذج المقارنة التي لم تستخدم ضغط الكتل أي أنماط مماثلة. (المصدر: BlockBeats)