অধ্যয়ন: 2019 থেকে 2025 এর মধ্যে প্রি-ট্রেনিং দক্ষতায় ডেটা উন্নতি মডেলের উন্নতির চেয়ে বেশি দ্রুত হয়েছে

মার্স ক্যাপিটালের সংবাদ অনুযায়ী, ডোয়ার্কেশ প্যাটেল এবং জেরি হ্যান ২০২৬ সালের ৮ সেপ্টেম্বর একটি গবেষণা প্রকাশ করেন, যেখানে ২০১৯ থেকে ২০২৫ সালের মধ্যে প্রি-ট্রেনিংয়ের উন্নতির ক্ষেত্রে ডেটা এবং মডেল উন্নতির অবদান বিশ্লেষণ করা হয়েছে। গবেষণাটি ছোট স্কেলে, প্রি-ট্রেনিং-এর জন্য উপযোগীভাবে পরিচালিত হয়েছে, যেখানে প্রতিবছরের জন্য প্রকাশিত মডেল রিসিপি এবং প্রকাশিত ডেটা করপাসের সাথে মিলিয়েছে, এবং সর্বোচ্চ 1e19 FLOPs-এর ট্রেনিং কম্পিউটেশনাল স্কেলে কম্বাইনড ট্রেনিং করা হয়েছে। ফলাফলগুলি দেখিয়েছে, 1e19 FLOPs-এর কম্পিউটেশনাল বাজেটের অধীনে, ডেটা উন্নতির কারণে কম্পিউটেশনাল দক্ষতা 12.0 গুণ, মডেল উন্নতির কারণে 3.7 গুণ বৃদ্ধি পায়, যা ডেটা-পক্ষের উন্নতি, মডেল-পক্ষের উন্নতির 3.24 গুণ। ডেটা এবং মডেল উন্নতির উন্নতির প্রভাবগুলি প্রায়শই 독립, প্রায়ই ইন্টারঅ্যাকশনহীন,এবং লিনিয়ার মডেল-এর অধীনে,এইদুটিরযোগফলপ্রভাবOLMESস্কোরের88%ভ্যারিয়ান্সব্যাখ্যাকরে।মডেল-পক্ষGPT-2থেকেOLMo-2পর্যন্তবিকাশপায়,যাঅপটিমাইজার,পজিশনএনকোডিং,নরমালাইজেশন,একটিভেশনফাংশনএবংইনিশিয়ালাইজেশনসহসমৃদ্ধ।ডেটা-পক্ষ2019সালেOpenWebText-এরপ্রায়90বিলিয়নটোকেনথেকে2025সালেUltraFineWebসহবড়,আরওপরিষ্কারভাবেফিল্টারকৃতকরপাসগুলিতেবিকশিতহয়।