বাইটডান্স ডিপসিক-ভি৪-এর দীর্ঘ টেক্সট প্রসেসিংয়ে পৌনঃপুনিক ত্রুটি আবিষ্কার করেছে

ME সংবাদ, ৯ অক্টোবর (UTC+8), ডিনামিক এআই সংক্ষিপ্ত সংবাদ, বাইটডান্স সিড দল আবিষ্কার করেছে যে DeepSeek-V4 দীর্ঘ টেক্সট প্রসেসিংয়ে একটি নিয়মিত দুর্বলতা রয়েছে। গবেষকরা মডেলকে একটি কোড পূরণ করতে বলেছিলেন, যেখানে কোডটি অপরিবর্তিত রাখা হয়েছিল, কিন্তু এর আগের একটি অনুচ্ছেদে অপ্রাসঙ্গিক মন্তব্য যোগ করা হয়েছিল, তখন মডেলের উত্তরটি সঠিক এবং ভুলের মধ্যে পর্যায়ক্রমে বদলাচ্ছিল। V4-Flash বেসিক ভার্সনটি ৪টি Token-এর পরপর ১টি পর্যায়ক্রমে পুনরাবৃত্তি হচ্ছিল, V4.1-Flash-এও একইভাবে ঘটছিল, কিন্তু পর্যায়টি ২টি Token-এ পরিবর্তিত হয়েছিল। এই সমস্যাটি DeepSeek-এর "ব্লক-ভিত্তিক KV ক্যাশে সংকুচন" পদ্ধতির সাথে সম্পর্কিত, যা GPU মেমোরি সংরক্ষণের জন্য। মডেলটি কয়েকটি Token-এর তথ্যকে একত্রিত করে সংরক্ষণ করে, যার ফলে দীর্ঘ টেক্সট প্রসেসিংয়ের খরচ কমে। কিন্তু এই সংকুচনটির ফলে, বিভিন্ন অবস্থানের তথ্যগুলির সংরক্ষণের মানও ভিন্নভাবেই থাকে, এবং কিছুঅবস্থানের তথ্যগুলিরপরবর্তীতেসঠিকভাবেপুনরুদ্ধারকরাঅসম্ভবহয়েপড়ে।বাইটডান্সএইপর্যায়ক্রমিকপুনরুদ্ধারবৈচিত্রকে"ফেজ-সংবেদনশীলতা"হিসাবেনামকরণকরেছে। প্রায় 128,000 Token-এরপুনরুদ্ধারপরীক্ষায়, V4-Flashবেসিকভার্সনএকইঅবস্থানগুলিতেসবচেয়েবেশি40.2পারসেন্টপয়েন্টপর্যন্তসঠিকতারপার্থক্যদেখায়।পোস্ট-ট্রেনিংয়েরপর,এইপার্থক্য19.1পারসেন্টপয়েন্ট-এহ্রাসপায়; V4.1-Flash-এআরওহ্রাসপায়6.1পারসেন্টপয়েন্ট-এ,তবুওপর্যায়ক্রমিক波动এখনওঅবশিষ্টআছে।বাইটডান্সআরওশূন্যথেকেঅনেকগুলিনিয়ন্ত্রণমডেলট্রেনকরা,এবংআবিষ্কারকরা—পর্যায়টি,সংকুচনপদক্ষেপদিয়ানুযায়ীহয়।ব্লক-ভিত্তিকসংকুচনব্যবহারনা-করা,নিয়ন্ত্রণমডেলগুলিতেএইনিয়মটিদেখা‌গিয়নি।(উৎস: BlockBeats)