بائٹڈانس نے ڈیپسیک-V4 کے لمبے متن کے معالجہ میں دورانیہ وار خطا دریافت کیں

ME خبروں کے مطابق، 9 اکتوبر (UTC+8)، ڈینگ چا کی تیز رفتار خبروں کے مطابق، بائٹ دانش کی سیڈ ٹیم نے پایا کہ DeepSeek-V4 لمبے متن کے معالجہ میں ایک قانونی کمزوری رکھتا ہے۔ تحقیق کاروں نے ماڈل کو ایک کوڈ کو مکمل کرنے کے لیے کہا، جس میں خود کوڈ میں کوئی تبدیلی نہیں تھی، صرف اس سے پہلے ایک بے مطلب تبصرہ لمبا کر دیا گیا، اور ماڈل کا جواب صحیح اور غلط کے درمیان لہرائے جانے لگا۔ V4-Flash بنیادی ورژن ہر 4 ٹوکن پر ایک دور دہراتا ہے، جبکہ V4.1-Flash میں بھی اس طرح کا ظہور ہے، لیکن اس کا دور 2 ٹوکن ہو جاتا ہے۔ یہ مسئلہ DeepSeek کے ذخیرہ شدہ مемوری بچانے والے "بلاک KV کیش کمپریشن" سے متعلق ہے۔ ماڈل متصل ٹوکنز کی معلومات کو ملا کر محفوظ کرتا ہے تاکہ لمبے متن کو معالجہ کرنے کا خرچ کم ہو۔ لیکن اس کمپریشن سے مختلف مقامات پر معلومات مختلف درجات میں برقرار رہتی ہیں، اور بعض مقامات پر مواد بعد میں درستگی سے دوبارہ حاصل کرنا مشکل ہو جاتا ہے۔ بائٹ دانش نے اس دورانیے والے رٹریول فرق کو "فیز سینسٹیوٹی" کہا ہے۔ تقریباً 128,000 ٹوکن کے رٹریول ٹیسٹ میں، V4-Flash بنیادی ورژن پر مختلف مقامات پر درستگی میں زیادہ سے زیادہ 40.2 فیصد کا فرق تھا۔ بعد میں ٹریننگ کے بعد، یہ فرق 19.1 فیصد تک کم ہو گیا؛ V4.1-Flash نے اسے مزید 6.1 فیصد تک کم کر دیا، لیکن دورانیے والی لہر دار حرکت اب بھی موجود ہے۔ بائٹ نے صفر سے متعدد کنٹرول ماڈلز ٹرین کئے اور پایا کہ لہر کا دورانیہ کمپریشن اسٹپ سائز سے مطابقت رکھتا ہے، جبکہ بلاک کمپریشن استعمال نہ کرنے والے کنٹرول ماڈلز میں اس قسم کا نمونہ نہیں دکھائی دیا۔ (ذرائع: BlockBeats)