एक ट्रिलियन पैरामीटर वाला AI मॉडल अभी एक ग्राफिक्स कार्ड पर चल गया है, जिसे अधिकांश गेमर्स मध्यम श्रेणी का मानेंगे।
एक चीनी एआई प्रेमी, जिन्हें APFrisco के नाम से जाना जाता है, ने मूनशॉट एआई के किमी K2.5 मॉडल का प्रदर्शन किया, जो 1 ट्रिलियन कुल पैरामीटर्स वाला एक मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) बड़ा भाषा मॉडल है, जो एकल Nvidia RTX 3060 GPU और 768 GB Intel Optane पर्सिस्टेंट मेमोरी के साथ चल रहा है। इस सेटअप ने लगभग चार टोकन प्रति सेकंड प्राप्त किए, जो उत्पादन मानकों के अनुसार धीमा है, लेकिन शामिल हार्डवेयर को देखते हुए अद्भुत है।
एक मिड-टियर GPU कैसे एक ट्रिलियन पैरामीटर्स को हैंडल करता है
किमी K2.5 एक साथ सभी 1 ट्रिलियन पैरामीटर्स को एक्टिवेट नहीं करता। प्रत्येक टोकन जेनरेट करने पर केवल 32 बिलियन पैरामीटर्स ही सक्रिय होते हैं। बाकी निष्क्रिय रहते हैं और अपनी बारी का इंतजार करते हैं।
उस कुशलता के ट्रिक के साथ भी, मॉडल विशाल है। पूरा Kimi K2.5 लगभग 630 GB का है। क्वांटाइज़्ड संस्करण, जो मॉडल की सटीकता को संपीड़ित करके मेमोरी की आवश्यकता कम करते हैं, अभी भी लगभग 381 GB तक पहुँचते हैं। इसीलिए APFrisco को 768 GB Intel Optane Persistent Memory की आवश्यकता थी: कोई भी मानक उपभोक्ता RAM सेटअप उस तरह के फुटप्रिंट को संभालने में करीब नहीं पहुँच सकता।
ऑप्टेन पीमेम डीआईएमएम एक दिलचस्प विकल्प हैं। इंटेल ने अपनी ऑप्टेन लाइन बंद कर दी है, जिसका अर्थ है कि ये मॉड्यूल अब मूलतः द्वितीयक बाजार में घूम रहे पुराने हार्डवेयर हैं। ये पारंपरिक डीआरएएम की तुलना में धीमे हैं, लेकिन प्रति गीगाबाइट की दृष्टि से काफी सस्ते हैं, जिससे वे उन विशाल मॉडलों को लोड करने के लिए एक असामान्य लेकिन आश्चर्यजनक रूप से व्यावहारिक समाधान बन जाते हैं जिनके लिए अन्यथा उद्योग-ग्रेड इंफ्रास्ट्रक्चर की आवश्यकता होती।
RTX 3060 को 2021 की शुरुआत में 12 GB VRAM के साथ लॉन्च किया गया था। इसे 1080p गेमिंग और हल्के क्रिएटिव वर्कलोड्स के लिए डिज़ाइन किया गया था, न कि फ्रंटियर AI मॉडल्स चलाने के लिए।
किमी K2.5 के सामान्य डिप्लॉयमेंट कैसे दिखते हैं
किमी K2.5 के लिए उच्च-प्रदर्शन निष्पादन आमतौर पर 8 उच्च-अंत GPU वाले कॉन्फ़िगरेशन को लक्षित करता है। ये सेटअप 10 से 300+ प्रति सेकंड टोकन की गति प्रदान करते हैं।
प्रदर्शन को Reddit के r/LocalLLaMA समुदाय पर साझा किया गया और बाद में Tom’s Hardware द्वारा कवर किया गया।
किमी K2.5 को 27 जनवरी, 2026 को मूनशॉट AI ने जारी किया था। इसमें मल्टीमॉडल क्षमताएँ शामिल हैं और इसे लगभग 15 ट्रिलियन मिश्रित दृश्य और पाठ टोकन पर प्रशिक्षित किया गया था। यह एक ओपन-वेट मॉडल है, जिसका अर्थ है कि कोई भी इसे डाउनलोड कर सकता है और चला सकता है, जो सटीक रूप से एपीफ्रिस्को के प्रयोग को संभव बनाता है।