बाइटडांस ने डीपसीक-वी4 की लंबे पाठ प्रसंस्करण में आवर्ती त्रुटियाँ खोजीं

ME न्यूज़ के अनुसार, 9 अक्टूबर (UTC+8), डोंगचा Beating AI की त्वरित खबर, बाइटडांस सीड टीम ने पाया कि DeepSeek-V4 लंबे टेक्स्ट प्रोसेसिंग में एक नियमित कमजोरी रखता है। शोधकर्ताओं ने मॉडल को कोड को पूरा करने के लिए कहा, जिसमें कोड स्वयं अपरिवर्तित रहा, केवल पिछले अनावश्यक टिप्पणी को लंबा किया गया, और मॉडल का उत्तर सही और गलत के बीच आवर्ती रूप से बदलता रहा। V4-Flash बेसिक संस्करण प्रत्येक 4 Token पर एक चक्र दोहराता है, V4.1-Flash में भी समान प्रवृत्ति है, जिसमें चक्र 2 Token हो गया है। यह समस्या DeepSeek के स्मृति बचाने के "ब्लॉक KV कैश संपीड़न" से संबंधित है। मॉडल कई क्रमिक Token की जानकारी को मिलाकर संग्रहित करता है, जिससे लंबे टेक्स्ट को संसाधित करने की लागत कम होती है। हालाँकि, इस संपीड़न के कारण विभिन्न स्थितियों पर जानकारी का संरक्षण असमान होता है, और कुछ स्थितियों पर सामग्री को बाद में सटीकता से पुनः प्राप्त करना मुश्किल होता है। बाइटडांस इस आवर्ती पुनः प्राप्ति में अंतर को "फेज संवेदनशीलता" कहता है। लगभग 1.28 लाख Token के पुनः प्राप्ति परीक्षण में, V4-Flash बेसिक संस्करण की सटीकता में सबसे अधिक 40.2 प्रतिशत का अंतर पाया गया। प्रशिक्षण के बाद, यह अंतर 19.1 प्रतिशत हो गया; V4.1-Flash में यह 6.1 प्रतिशत हो गया, हालाँकि आवर्ती उतार-चढ़ाव अभी भी मौजूद है। बाइटडांस ने शून्य से कई नियंत्रण मॉडल को प्रशिक्षित किया, और पाया कि आवर्तन अवधि संपीड़न स्ट्राइड के समान है, और ब्लॉक संपीड़न का उपयोग नहीं करने वाले नियंत्रण मॉडल में समान पैटर्न प्रकट नहीं हुआ। (स्रोत: BlockBeats)