ایک سنگاپور میں واقع AGI تحقیقی کمپنی، سیپینٹ انٹیلیجنس نے HRM-Text کے لیے مکمل وزن، پری ٹریننگ کوڈ اور ڈیٹا پائپ لائن جاری کیا ہے، جو اس کے ذریعہ "ہائرارکیکل ریزننگ مڈل" آرکیٹیکچر پر تعمیر کیا گیا ہے۔ پورا پیکج Hugging Face اور GitHub پر Apache 2.0 لائسنس کے تحت دستیاب ہے، جس کا مطلب ہے کہ کوئی بھی اسے تجارتی طور پر استعمال، ترمیم یا بنانے کے لیے استعمال کر سکتا ہے۔
قابل ذکر بات صرف اوپن سورس کا جائزہ نہیں ہے۔ یہ اقتصادیات ہے۔ HRM-Text، جس میں تقریباً ایک ارب پیرامیٹرز ہیں، کو تقریباً 40 ارب ٹوکنز پر پری ٹرین کیا گیا اور اس کی لاگت معمولی ہارڈویئر پر تقریباً 1,000 سے 1,500 ڈالر تخمینہ لگایا گیا۔ حوالہ کے طور پر، بڑے لیبز کے سامنے والے ماڈلز عام طور پر تریلینوں ٹوکنز پر ٹرین کرتے ہیں جبکہ ان کے کمپیوٹ کے بجٹ میں دس یا سو ملین ڈالر تک کا خرچ آتا ہے۔
یہ کیسے کام کرتا ہے
یہ ماڈل کمپنی کے مطابق ہائرارکیل لیٹنٹ ریکرینٹ آرکیٹیکچر استعمال کرتا ہے۔ اعلیٰ سطح کا ماڈول سستا، مجرد استدلال سنبھالتا ہے، جو ہر پاس میں 2 “H-سائکلز” سے گزرتا ہے۔ کم سطح کا ماڈول تیز، تفصیلی پروسیسنگ سنبھالتا ہے، جو ہر پاس میں 3 سے 6 “L-سائکلز” چلاتا ہے۔ اس کے مل کر، یہ ماڈل اپنے استدلال پر کئی بار دوبارہ کام کرتا ہے، جب تک کہ ایک آؤٹ پٹ نہیں بناتا، جبکہ پیرامیٹر کاؤنٹ مسلسل رکھتا ہے۔
visible chain-of-thought tokens کی بجائے جو context window اور inference costs کو استعمال کرتے ہیں، HRM-Text اپنا تکراری سوچنا اندر ہی کرتا ہے۔ استدلال مدل کے hidden states میں ہوتا ہے، نہ کہ آؤٹ پٹ ٹیکسٹ میں۔
بینچ مارک کی کارکردگی جو اوپر کی طرف گھونٹتی ہے
اپریل 2026 میں کی گئی مستقل جانچ پڑتال اعداد و شمار میں کہانی بیان کرتی ہیں۔ HRM-Text نے MATH بینچ مارک پر 56.2٪، DROP پر 82.2٪، ARC-Challenge پر 81.9٪، اور MMLU پر 60.7٪ سکور حاصل کیا۔ پری ٹریننگ کو تقریباً ایک دن میں مکمل کر لیا گیا۔
HRM-Text، سیپینٹ کے پہلے کام پر مبنی ہے۔ اصل HRM ماڈل، جسے جولائی 2025 میں اوپن سورس کیا گیا تھا، میں صرف 27 ملین پیرامیٹرز تھے اور صرف 1,000 تربیتی مثالوں کے ساتھ جटل استدلال کے کاموں پر مضبوط کارکردگی دکھائی۔ HRM-Text پیرامیٹرز میں تقریباً 37 گنا اضافہ کرتا ہے جبکہ اسی آرکیٹیکچرل فلسفہ کو برقرار رکھتا ہے۔
سیپیئنٹ نے ارکیٹیکچر کو جاننے میں دلچسپی رکھنے والے ڈویلپرز کے لیے ایک ڈسکورڈ چینل بنایا ہے۔ ایپچی 2.0 لائسنس قانونی رکاوٹوں کو ختم کر دیتا ہے۔ $1,500 کی تربیت کی لاگت زیادہ تر مالی رکاوٹوں کو ختم کر دیتی ہے۔