নেভাস রিসার্চের টিএসটি ট্রেনিং পদ্ধতি পূর্ববর্তী কাজের সাথে সাদৃশ্যের কারণে বিতর্ক সৃষ্টি করেছে

ME সংবাদ, 14 মে (UTC+8), ডিনচা বিটিং-এর মনিটরিং অনুযায়ী, Nous Research একটি নতুন বড় মডেল প্রি-ট্রেনিং পদ্ধতি প্রকাশ করেছে, যার নাম টোকেন স্ট্যাকিং ট্রেনিং (TST)। এই পদ্ধতিতে প্রশিক্ষণের প্রাথমিক পর্যায়ে পাশাপাশি টোকেনগুলি প্যাক করে সংকুচিত করা হয়, যার ফলে একই গণনা শক্তির মধ্যে প্রি-ট্রেনিংয়ের সময় 2 থেকে 3 গুণ হ্রাস পায়। TST-এ দুটি পর্যায় রয়েছে। প্রশিক্ষণের 20% থেকে 40% অংশে, মডেলটি একটি করে টোকেন পড়বে না, বরং পাশাপাশি টোকেনগুলির গড় নিয়ে "প্যাক" হিসাবে ইনপুট দেবে, এবং আউটপুটে পরবর্তী প্যাকের মধ্যে কোন টোকেনগুলি থাকবে (ভিতরের ক্রমকে উপেক্ষা করে) তা ভবিষ্যদ্বাণী করবে। তারপর, মডেলটি সাধারণ পরবর্তী টোকেন ভবিষ্যদ্বাণীতে ফিরে আসবে। কারণ মূল আর্কিটেকচারটি পরিবর্তন করা হয়নি, ফলাফলের মডেলটি ইনফারেন্সের সময় সাধারণ মডেলগুলির সঙ্গে 완全히 same।এইপদ্ধতিটি 100বিলিয়নপ্যারামিটারপর্যন্তMoEmডেলগুলিতেপ্রমাণিতহয়েছে।এইপদ্ধতিরমূলভাবহ'ল"ডাটাকেপরিমাণশক্তিরজন্যবদলদিয়ে"–গণনা-সময়কমকরতএকটিদ্রুততরকপসময়সহঅধিকডাটাব্যবহার।যদিভবিষ্যতেউচ্চমানেরটেক্সটসমাপ্তহয়েযায়,তবেডাটারদ্রুতভাবেখরচকরারএইবৈশিষ্ট্যটিকমজোরহতপারে।অন্যদিকে,প্রবন্ধপ্রকাশেরকয়েকঘণ্টাপর,একজনপাঠকTST-এরপদ্ধতিটি2024-এপ্রকাশিতপুরনোকাজ《BeyondNextTokenPrediction》-এরসঙ্গেঅত্যন্তঅনুরূপবলেউল্লেখকরেন।তখনঅনুসন্ধানকারীদলHuggingFace-এএটিকে"অদৃষ্টসমগ্রগবিষয়(convergentresearch)"হিসাবেস্বীকারকরেছিলএবংপ্রবন্ধটিতেউল্লেখসহযোগীভাবেআপডেটকরারপ্রতিশ্রুতিদিয়েছিল।(উৎস: BlockBeats)