कैलटेक ने 1-बिट बॉनसाई मॉडल को ओपन सोर्स किया: iPhone पर 8B पैरामीटर, 1.15GB, 44 Tok/s

iconChainthink
साझा करें
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconसारांश

expand icon
ऑन-चेन समाचार: बाबक हसीबी के नेतृत्व में कैलटेक का PrismML, 1-बिट Bonsai AI मॉडल को ओपन-सोर्स कर चुका है। 8B संस्करण में 8.2 अरब पैरामीटर, 1.15GB मेमोरी है और यह iPhone 17 Pro Max पर 44 टोकन प्रति सेकंड की गति से चलता है। AI + क्रिप्टो समाचार: यह मॉडल 16-बिट संस्करणों की तुलना में 4-5 गुना कम ऊर्जा का उपयोग करता है। PrismML ने Khosla Ventures, Cerberus Capital और Caltech से SAFE और सीड राउंड में $16.25 मिलियन जुटाए हैं।

ChainThink का संदेश, 2026 अप्रैल 1 को, 1M AI News के अनुसार, कैलिफोर्निया इंस्टीट्यूट ऑफ टेक्नोलॉजी के गणितज्ञ Babak Hassibi द्वारा सह-स्थापित AI लैब PrismML ने अपनी गुप्त अवधि समाप्त कर दी है और 1-बिट Bonsai श्रृंखला के बड़े भाषा मॉडल को ओपन सोर्स कर दिया है। फ्लैगशिप मॉडल 1-बिट Bonsai 8B में 82 अरब पैरामीटर हैं, जिसका मेमोरी उपयोग केवल 1.15GB है, जो समान स्तर के 16-बिट मॉडल की तुलना में लगभग 14 गुना संपीड़ित है। साथ ही, 4B (0.5GB) और 1.7B (0.24GB) के दो छोटे मॉडल भी प्रकाशित किए गए हैं।


Bonsai 8B एक एंड-टू-एंड वास्तविक 1-बिट मॉडल है, जिसमें एम्बेडिंग लेयर, अटेंशन लेयर, MLP लेयर और आउटपुट हेड सभी केवल +1 या -1 भारों के साथ प्रतिनिधित्व किए जाते हैं, कोई हाई-प्रिसिजन पैच नहीं। PrismML का कहना है कि मानक बेंचमार्क पर इसकी निष्कर्षण और भाषा समझ क्षमता 16-बिट पूर्ण-सटीक मॉडल के समान है, जिसकी कोर संपीड़न गणित टीम द्वारा कैलिफोर्निया इंस्टीट्यूट ऑफ टेक्नोलॉजी पर कई वर्षों तक विकसित की गई है, जिसकी बौद्धिक संपत्ति कैलिफोर्निया इंस्टीट्यूट ऑफ टेक्नोलॉजी की है, और PrismML एकमात्र अनन्य लाइसेंस प्राप्तकर्ता है, मॉडल का प्रशिक्षण गूगल v4 TPU पर किया गया है।


प्रायोगिक गति के मामले में, M4 Pro Mac पर 136 tok/s, RTX 4090 पर 440 tok/s, iPhone 17 Pro Max पर लगभग 44 tok/s है। स्टैंडर्ड 16-बिट 8B मॉडल किसी भी iPhone में फिट नहीं हो सकता, और ऊर्जा खपत 16-बिट मॉडल की तुलना में लगभग 4-5 गुना कम है। PrismML के अनुसार, वर्तमान हार्डवेयर 1-बिट निष्पादन के लिए डिज़ाइन नहीं किया गया है, और गति और ऊर्जा लाभ मुख्य रूप से स्मृति उपयोग में कमी से आते हैं। यदि भविष्य में 1-बिट के लिए विशेष रूप से डिज़ाइन किया गया हार्डवेयर आता है, तो कुशलता एक अतिरिक्त क्रम के बराबर बढ़ सकती है।


PrismML ने 16.25 मिलियन डॉलर के SAFE और बीज फंडिंग राउंड को पूरा किया, जिसमें Khosla Ventures, Cerberus Capital और कैलिफोर्निया इंस्टीट्यूट ऑफ टेक्नोलॉजी शामिल हैं। Khosla Ventures के संस्थापक Vinod Khosla ने इस उपलब्धि को "एक छोटा अपडेट नहीं, बल्कि एक बड़ी तकनीकी क्रांति, एक गणितीय क्रांति, केवल एक और छोटा मॉडल नहीं" के रूप में मूल्यांकन किया।

डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा। डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।