टेथर ने उपभोक्ता उपकरणों पर एआई प्रशिक्षण के लिए क्रॉस-प्लेटफॉर्म बिटनेट लोरा फ्रेमवर्क लॉन्च किया

• टेथर का बिटनेट लोरा फ्रेमवर्क स्मार्टफोन, जीपीयू और उपभोक्ता उपकरणों के बीच एआई मॉडल प्रशिक्षण को सक्षम बनाता है।
• प्रणाली स्मृति के उपयोग को कम करती है और प्रदर्शन को बढ़ाती है, जिससे VRAM की आवश्यकता में अधिकतम 77.8% की कमी होती है।
• उपयोगकर्ता मोबाइल उपकरणों पर 13B पैरामीटर तक मॉडल को फाइन-ट्यून कर सकते हैं, जिससे एज AI क्षमताएँ बढ़ती हैं।

टेथर ने अपने QVAC Fabric प्लेटफॉर्म के माध्यम से एक नया AI फ्रेमवर्क घोषित किया है, जिससे उपभोक्ता उपकरणों पर क्रॉस-प्लेटफॉर्म BitNet LoRA प्रशिक्षण संभव हो गया है। यह अपडेट बिलियन पैरामीटर मॉडल को स्मार्टफोन और GPU पर चलाने की अनुमति देता है। सीईओ पाओलो आर्डोइनो ने इस विकास को साझा किया और लागत में कमी और AI उपकरणों तक व्यापक पहुँच को उजागर किया।

QVAC Fabric अपडेट BitNet LoRA फाइन-ट्यूनिंग के लिए क्रॉस-प्लेटफॉर्म समर्थन पेश करता है। इससे AI मॉडल विभिन्न हार्डवेयर और ऑपरेटिंग सिस्टम पर चल सकते हैं।

ध्यान देने योग्य बात यह है कि यह ढांचा AMD, Intel और Apple के GPU, जिसमें मोबाइल चिपसेट्स शामिल हैं, का समर्थन करता है। यह संगतता के लिए Vulkan और Metal बैकएंड का भी उपयोग करता है।

Tether के अनुसार, यह पहली बार है जब BitNet LoRA इतने व्यापक उपकरणों के बीच काम करता है। परिणामस्वरूप, उपयोगकर्ता दैनिक हार्डवेयर पर मॉडल प्रशिक्षित कर सकते हैं।

प्रणाली BitNet और LoRA तकनीकों को जोड़कर मेमोरी और कंप्यूट की आवश्यकताओं को कम करती है। BitNet मॉडल वजन को सरल मानों में संपीड़ित करता है, जबकि LoRA प्रशिक्षणयोग्य पैरामीटर को सीमित करता है।

इन विधियों के साथ, हार्डवेयर की आवश्यकताएँ काफी कम हो जाती हैं। उदाहरण के लिए, GPU निष्पादन मोबाइल उपकरणों पर CPU की तुलना में दो से ग्यारह गुना तेज़ होता है।

इसके अलावा, स्मृति उपयोग पूर्ण-सटीक मॉडलों की तुलना में तेजी से कम हो जाता है। बेंचमार्क्स दर्शाते हैं कि तुलनात्मक प्रणालियों की तुलना में वीआरएएम उपयोग में अधिकतम 77.8% की कमी होती है।

टेदर ने स्मार्टफोन पर फाइन-ट्यूनिंग का भी प्रदर्शन किया। परीक्षणों में सैमसंग S25 जैसे उपकरणों पर 125 मिलियन पैरामीटर मॉडल को मिनटों में प्रशिक्षित किया गया।

यह ढांचा बड़े मॉडल्स को एज डिवाइसेस पर चलाने की अनुमति देता है। टेथर ने आईफोन 16 पर 13 अरब पैरामीटर तक के मॉडल्स का सफलतापूर्वक फाइन-ट्यूनिंग किया।

इसके अलावा, सिस्टम Adreno, Mali और Apple Bionic जैसे मोबाइल GPU को सपोर्ट करता है। इससे AI विकास विशेष हार्डवेयर के बाहर विस्तारित होता है।

पाओलो आर्डोइनो के अनुसार, एआई विकास अक्सर महंगे बुनियादी ढांचे पर निर्भर करता है। उन्होंने कहा कि यह ढांचा क्षमताओं को स्थानीय उपकरणों की ओर ले जाता है।

टेथर ने जोड़ा कि यह प्रणाली केंद्रीकृत प्लेटफॉर्म पर निर्भरता को कम करती है। यह उपयोगकर्ताओं को अपने उपकरणों पर सीधे डेटा प्रशिक्षित करने और प्रसंस्कृत करने की अनुमति भी देती है।