- টেদারের বিটনেট লোরা ফ্রেমওয়ার্ক স্মার্টফোন, জিপিইউ এবং কনজুমার ডিভাইসগুলিতে এআই মডেল প্রশিক্ষণ সক্ষম করে।
- সিস্টেমটি মেমোরি ব্যবহার কমায় এবং পারফরম্যান্স বাড়ায়, যার ফলে VRAM-এর প্রয়োজনীয়তা পর্যন্ত 77.8% কমে যায়।
- ব্যবহারকারীরা মোবাইল ডিভাইসে 13B প্যারামিটার পর্যন্ত মডেল ফাইন-টিউন করতে পারেন, যা এজ এআই ক্ষমতা বাড়ায়।
টেদার ঘোষণা করেছে তার QVAC Fabric প্ল্যাটফর্মের মাধ্যমে একটি নতুন এআই ফ্রেমওয়ার্ক, যা কনজুমার ডিভাইসে ক্রস-প্ল্যাটফর্ম বিটনেট লোরা ট্রেনিংয়ের অনুমতি দেয়। এই আপডেটটি বিলিয়ন-প্যারামিটার মডেলগুলিকে স্মার্টফোন এবং জিপিইউতে চালানোর অনুমতি দেয়। সিইও পাওলো আরদোইনো এই উন্নয়নটি শেয়ার করেন, যেখানে খরচ কমানো এবং এআই টুলগুলির ব্যাপক অ্যাক্সেসের কথা উল্লেখ করেন।
ক্রস-প্ল্যাটফর্ম এআই প্রশিক্ষণ প্রবেশাধিকার বাড়ায়
QVAC ফ্যাব্রিক আপডেটটি BitNet LoRA ফাইন-টিউনিং-এর জন্য ক্রস-প্ল্যাটফর্ম সমর্থন চালু করে। এর ফলে এআই মডেলগুলি বিভিন্ন হার্ডওয়্যার এবং অপারেটিং সিস্টেমে চলতে পারে।
উল্লেখযোগ্যভাবে, এই ফ্রেমওয়ার্ক AMD, Intel এবং Apple-এর GPU-কে সমর্থন করে, যার মধ্যে মোবাইল চিপসেটও অন্তর্ভুক্ত। এটি সামঞ্জস্যতার জন্য Vulkan এবং Metal ব্যাকএন্ডও ব্যবহার করে।
Tether-এর অনুসারে, এটি প্রথমবারের মতো বিটনেট লোরা এত ব্যাপক ডিভাইসের মধ্যে কাজ করছে। ফলে ব্যবহারকারীরা দৈনন্দিন হার্ডওয়্যারে মডেল ট্রেন করতে পারবেন।
উপভোক্তা হার্ডওয়্যারে পারফরম্যান্স বৃদ্ধি
সিস্টেমটি বিটনেট এবং লোরা প্রযুক্তি একত্রিত করে মেমোরি এবং কম্পিউট প্রয়োজনীয়তা কমায়। বিটনেট মডেল ওজনকে সরলীকৃত মানে সংকুচিত করে, যখন লোরা প্রশিক্ষণযোগ্য প্যারামিটারগুলিকে সীমাবদ্ধ করে।
এই পদ্ধতিগুলি একসাথে হার্ডওয়্যার প্রয়োজনীয়তা উল্লেখযোগ্যভাবে কমিয়ে দেয়। উদাহরণস্বরূপ, মোবাইল ডিভাইসে GPU ইনফারেন্স CPU-এর চেয়ে দুই থেকে এগারো গুণ দ্রুত চলে।
অতিরিক্তভাবে, সম্পূর্ণ প্রিসিশন মডেলের তুলনায় মেমোরি ব্যবহার তীব্রভাবে কমে যায়। বেঞ্চমার্কগুলি দেখায় যে তুলনামূলক সিস্টেমগুলির তুলনায় প্রায় 77.8% কম VRAM ব্যবহার হয়।
টেদার স্মার্টফোনে ফাইন-টিউনিংয়েরও প্রদর্শন করেছে। পরীক্ষায় দেখা গেছে যে স্যামসাং এস২৫ এর মতো ডিভাইসে মিনিটের মধ্যে ১২৫ মিলিয়ন প্যারামিটার মডেল ট্রেন করা যায়।
মোবাইল এবং এজ ডিভাইসগুলি বড় মডেলগুলি পরিচালনা করে
ফ্রেমওয়ার্কটি প্রান্তিক ডিভাইসে বড় মডেলগুলি চালানোর অনুমতি দেয়। টেথার রিপোর্ট করেছে যে আইফোন 16-এ 13 বিলিয়ন প্যারামিটার পর্যন্ত মডেলগুলির সফল ফাইন-টিউনিং করা হয়েছে।
এছাড়াও, সিস্টেমটি অ্যাড্রেনো, মালি এবং অ্যাপল বিওনিক সহ মোবাইল GPU-কে সমর্থন করে। এটি বিশেষায়িত হার্ডওয়্যারের বাইরে AI উন্নয়নকে বিস্তৃত করে।
পাওলো আর্ডোইনো-এর মতে, এআই উন্নয়ন প্রায়শই মহঙ্গা ইনফ্রাস্ট্রাকচারের উপর নির্ভর করে। তিনি বলেছেন, এই ফ্রেমওয়ার্কটি ক্ষমতাগুলিকে স্থানীয় ডিভাইসের দিকে সরিয়ে নিয়েছে।
টেদার যোগ করেছে যে সিস্টেমটি কেন্দ্রীয় প্ল্যাটফর্মের উপর নির্ভরশীলতা কমায়। এটি ব্যবহারকারীদের তাদের ডিভাইসে সরাসরি ডেটা ট্রেন এবং প্রসেস করতে সক্ষম করে।