ওডেইলি প্ল্যানেট ডেইলি সংবাদ: অফিসিয়াল ঘোষণা অনুযায়ী, টেস্টার মাইক্রোসফট বিটনেট (1-বিট LLM) এর প্রশিক্ষণ এবং উপসংহার অপ্টিমাইজেশন সম্ভব করে তোলে QVAC Fabric-এর মধ্যে ক্রস-প্ল্যাটফর্ম BitNet LoRA ফ্রেমওয়ার্ক চালু করেছে। এই ফ্রেমওয়ার্কটি গণনা ক্ষমতা এবং মেমোরির প্রয়োজনীয়তা উল্লেখযোগ্যভাবে কমিয়ে দেয়, যার ফলে বিলিয়ন প্যারামিটার স্তরের মডেলগুলি ল্যাপটপ, কনজিউমার-গ্রেড GPU এবং স্মার্টফোনে প্রশিক্ষণ এবং ফাইন-টিউনিংয়ের জন্য সক্ষম।
এই প্রকল্পটি প্রথমবারের মতো BitNet মডেলকে মোবাইল GPU-এ (Adreno, Mali এবং Apple Bionic সহ) ফাইন-টিউন করেছে। পরীক্ষা দেখিয়েছে যে, 125M প্যারামিটার মডেলটি প্রায় 10 মিনিটের মধ্যে ফাইন-টিউন করা যায়, 1B মডেলটি প্রায় 1 ঘন্টায় ফাইন-টিউন করা যায়, এবং এমনকি মোবাইলে 13B প্যারামিটার মডেলও সম্ভব।
এছাড়াও, এই ফ্রেমওয়ার্ক Intel, AMD এবং Apple Silicon সহ বিভিন্ন হার্ডওয়্যারকে সমর্থন করে এবং প্রথমবারের মতো NVIDIA ছাড়া ডিভাইসে 1-বিট LLM LoRA ফাইন-টিউনিং বাস্তবায়িত করে। পারফরম্যান্সের ক্ষেত্রে, BitNet মডেলগুলি মোবাইল GPU-এ CPU-এর তুলনায় 2 থেকে 11 গুণ দ্রুত ইনফারেন্স সম্পন্ন করে এবং পারম্পরিক 16-বিট মডেলের তুলনায় ভিডিও মেমরি ব্যবহার 77.8% পর্যন্ত কমিয়ে আনে।
টেদার বলেছে যে এই প্রযুক্তিটি উচ্চ ক্ষমতার কম্পিউটিং এবং ক্লাউড ইনফ্রাস্ট্রাকচারের উপর নির্ভরশীলতা ভাঙতে সক্ষম হবে, এবং এআই প্রশিক্ষণকে ডিসেন্ট্রালাইজড এবং স্থানীয়করণের দিকে নিয়ে যাবে, যা ফেডারেটেড লার্নিং সহ নতুন অ্যাপ্লিকেশন স্কেনারিওগুলির জন্য ভিত্তি প্রদান করবে।