নাস রিসার্চ লাইটহাউস অ্যাটেনশন ওপেন সোর্স করেছে, B200-এ 17x গতি বৃদ্ধি অর্জন করেছে

AIMPACT সংবাদ, ১৬ মে (UTC+8), Beating দ্বারা পর্যবেক্ষিত, Nous Research দীর্ঘ প্রেক্ষাপট প্রিট্রেনিং মেকানিজম Lighthouse Attention ওপেন-সোর্স করেছে। একটি B200 GPU-এ 512K দৈর্ঘ্যের টেক্সট প্রসেস করার সময়, এই পদ্ধতি পারফরম্যান্সকে প্রায় 17 গুণ বাড়িয়েছে, এবং 98K দৈর্ঘ্যে 1.4 থেকে 1.7 গুণ পর্যন্ত এন্ড-টু-এন্ড ট্রেনিং স্পিড বৃদ্ধি করেছে। পারম্পারিক অনুধাবন মেকানিজমগুলি সমস্ত শব্দের দ্বিগুণ সম্পর্ক গণনা করে, যা টেক্সট দীর্ঘ হলে কম্পিউটেশনাল খরচকে বর্গাকারে বৃদ্ধি করে। Lighthouse Attention একটি প্রথমে গ্রস, তারপর ফাইন-গ্রেনিউলার পদ্ধতির ব্যবহার করে। এটি প্রথমে টেক্সটের কম্প্রেসড সামারির বিভিন্ন লেভেলে দ্রুত ব্রাউজ করে, স্কোরিংয়ের মাধ্যমে কীভাবে মূল অংশগুলি চিহ্নিত করবে, তা নির্বাচন করে, এবং সংক্ষিপ্তকৃত টেক্সটটির জন্য FlashAttention-এর মতো ইতিমধ্যেই উপলব্ধ, দক্ষ অপারেটরগুলিতেই হস্তান্তরিত করে। চয়নের লজিকটি কোরের বাইরেই সম্পূর্ণভাবে আলাদা, তাই ডেভেলপারদেরকে লো-লেভেল কোডিংয়ের জন্যহস্ত-লিখিত কোডিংয়েরওপরিহার,এবংঅতিরিক্তট্রেনিংঅবজেকটিভসযোগকরারওপ্রয়োজনহয়না।গতকালকালপদ্ধতিরঅনুরূপঅনুসন্ধানগুলি,যা"জাম্প-রিডিং"এরঅভ্যাসকেউৎপন্নকরত,সাধারণত"বাই-বাই"অনুধাবনক্ষমতা"হারিয়েফেলত।এইফাঁদটিথেকেবাঁচত,ডিভেলপমেন্টটিমি"পদ্ধতি"এবংশুধুশেষপর্যন্তঅল্পসময়জন্যপুনরায়পারম্পারিকসম্পূর্ণঅনুধাবনগণনা-এবদলকরা।5.3বিলিয়নপ্যারামিটারসহএকটিমডেল,500বিলিয়নটোকেনট্রেইনিংডেটা-এরপরীক্ষা,এইপদ্ধতি-দিয়েশিখা"মডেল"শুধুমাত্রসময়কমইখরচহয়নি,বরংফলাফলওসমস্তদিকথেকেপুরোপুরি"পারম্পারিক"পদ্ধতি-দিয়েশিখা"বেসলাইন"ভারসমতা"অথবা"অতিক্রমকরছে।(উৎস: BlockBeats)