অধ্যয়ন: 2019 থেকে 2025 এর মধ্যে প্রিট্রেনিং দক্ষতায় ডেটা উন্নতি মডেলের উন্নতির চেয়ে বেশি দ্রুত হয়েছে

ChainCatcher এর সংবাদ অনুযায়ী, ডওয়ার্কেশ প্যাটেল এবং জেরি হ্যান ২০২৬ সালের ৮ সেপ্টেম্বর একটি গবেষণা প্রকাশ করেন, যেখানে ২০১৯ থেকে ২০২৫ এর মধ্যে প্রিট্রেইনিং এর উন্নতির ক্ষেত্রে ডেটা এবং মডেল উন্নতির অবদান বিশ্লেষণ করা হয়েছে। গবেষণাটি ছোট স্কেলে, প্রিট্রেইনিং-এর জন্য উপযোগীভাবে পরিচালিত হয়েছে, যেখানে প্রতি বছরের জন্য প্রকাশিত মডেল রিসিপি এবং প্রকাশিত ডেটা কর্পাস ব্যবহার করা হয়েছে, এবং সর্বোচ্চ 1e19 FLOPs-এর ট্রেইনিং কম্পিউটেশনাল স্কেলে কম্বাইনড ট্রেইনিং করা হয়েছে। ফলাফলগুলি দেখায়, 1e19 FLOPs-এর কম্পিউটেশনাল বাজেটের অধীনে, ডেটা উন্নতির কারণে কম্পিউটেশনাল দক্ষতার বৃদ্ধি 12.0 গুণ, মডেল উন্নতির কারণে 3.7 গুণ, যা ডেটা-পক্ষের বৃদ্ধি, মডেল-পক্ষের বৃদ্ধির 3.24 গুণ। ডেটা এবং মডেল উন্নতির বৃদ্ধি প্রায়শই 독립িত, প্রায় কোনও ইন্টারঅ্যাকশন ছাড়াই; লিনিয়ার মডেলে, এই দুটিরযোগফলগত প্রভাব OLMES-স্কোরের 88% ভ্যারিয়েন্সকে ব্যাখ্যা করতে পারে। মডেল-পক্ষে GPT-2-এর থেকে OLMo-2-এর দিকে উন্নয়ন, 2019-2025-এর 7-বছরধরা, optimizer, position encoding, normalization, activation function, initialization-এরও।ডেটা-পক্ষ 2019-এ OpenWebText-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-এর 90% token-एर।