تھنکنگ مشینز نے Inkling-Small اوپن سورس ماڈل جاری کیا ہے، جس کے کل پیرامیٹرز 276 ارب اور فعال پیرامیٹرز 12 ارب ہیں، جو MoE آرکیٹیکچر اور نیٹو متعدد ماڈل ڈیزائن کا استعمال کرتا ہے۔ اس ماڈل نے صرف ایک چوتھائی سائز کے ساتھ ریاضی، استدلال، اور ایجینٹ کوڈنگ جیسے معیاری ٹیسٹوں میں ابتدائی Inkling کو پار کر لیا ہے۔ ڈسٹلیشن اور دو ہفتے کی تقویت سیکھنے کی تربیت کے ذریعے اس نے کارکردگی کو پار کر لیا ہے، جس سے استدلال کا رُکاوٹ کم ہو گیا ہے اور درمیانے ٹیم کو ماڈل کی تخصیص کرنے کا موقع فراہم ہوا ہے۔ حالانکہ شرکاء میں سے چھ میں سے چار چلے گئے ہیں، لیکن ٹیم نے بے قراری کے باوجود اعلانات کا اعلیٰ رُخ برقرار رکھا ہے۔

مضمون کے مصنف، ذریعہ: 36Kr

Thinking Machines نے اپنے اصل ماڈل کو پیچھے چھوڑتے ہوئے اوپن سورس ماڈل Inkling-Small جاری کیا ہے

پہلا ماڈل Inkling کے ظہور کے بعد، نیا AI دوبارہ سوشل میڈیا پر چھا گیا!

آج، Thinking Machines نے اپنا دوسرا بڑا ماڈل — Inkling-Small — کا رسمی طور پر اطلاق کیا ہے۔

کل پیرامیٹرز: 276B، فعال پیرامیٹرز: 12B، نیٹیو مولٹی مودل، 100 ہزار ٹوکن کنٹیکسٹ

پچھلے دو ہفتے، پہلا اوپن سورس 975B Inkling سامنے آیا، جس نے AI دنیا میں بڑی لہریں اٹھائیں۔

Inkling-Small نے صرف ایک چوتھائی سائز کے ساتھ، "تریلین والے بڑے بھائی" کی پرفارمنس کو براہ راست پار کر لیا۔

ARC-AGI-2 پر، Inkling-Small نے اوپن سورس SOTA کو براہ راست ختم کر دیا ہے

چند دن کے دوران Thinking Machines کا منظر نامہ بہت متغیر رہا۔

دو دن بعد ہی ملکہ وینگ نے اپنی علیحدگی کا اعلان کیا، اور OpenAI نے اس کی واپسی کی تصدیق کر دی — ریکرسو سیلف ایمیلیوریشن (RSI) پر کام کرنے کے لیے ٹیم کی قیادت کرتے ہوئے۔

نتیجہ تیسرے دن آیا، اس کمپنی نے جس نے ایک مرکزی کلیدی شخص کو کھو دیا تھا، نے نئے ماڈل کے "مکمل وزن" کو فوراً جاری کر دیا۔

نئی Inkling-Small متعارف کرائی گئی، 276B نے تریلین کو شکست دے دی

آفیشل بلاگ میں، Inkling-Small ایک MoE آرکیٹیکچر کا ماڈل ہے، جس کے کل پیرامیٹرز 276 ارب ہیں اور ایک بار کے انفریس میں 12 ارب فعال ہوتے ہیں۔

اولین Inkling کے مقابلے میں، حجم براہ راست چوتھائی پر کم ہو گیا۔

جیسے پائٹورچ کے ماہر ہوریس ہی نے کہا، "انکلنگ-سمال کے لیے پورے گاؤں کی مدد کی ضرورت نہیں، بس پچھلی تکنیک کو استعمال کر لیا جائے۔"

سب سے زیادہ سخت بات یہ ہے کہ جبکہ حجم کم ہوا ہے، مجموعی طاقت میں نمایاں اضافہ ہوا ہے۔

ریاضی، استدلال، ایجینٹ کوڈنگ اور متعدد ماڈل بنچ مارکس میں، Inkling-Small Inkling اور DeepSeek V4 Flash کے برابر یا اس سے بہتر ہے۔

HLE، Terminal-Bench، اور IFBench کے تین بنیادی اشاریوں پر — Inkling-Small ہر FLOP کے لیے Inkling سے زیادہ پرفارمنس فراہم کرتا ہے۔

دیکھا جا سکتا ہے کہ Inkling-Small کا کریف پورے دوران Inkling کے نیچے دبا ہوا ہے۔

مالتی مودل کی طرف سے بھی تقریباً کوئی پیچھے نہیں رہا، گرافک سمجھنا، بصری استدلال، آواز کی سمجھ، اور لمبی آڈیو استدلال، Inkling-Small نے جائزہ میں اصل ورژن کے قریب پہنچنے کا کام کیا، لیکن اس کی قیمت بہت کم ہے۔

دیگر بینچ مارک کے اسکور درج ذیل ہیں:

ایک صرف چوتھائی حجم کا ماڈل، اپنے بڑے بھائی کو انفرینس اور ایجینٹ ٹاسکس پر زمین پر دبائے ہوئے ہے۔

اس کے لیے کیسے کریں، افسران نے طریقہ بہت تفصیل سے لکھ دیا ہے، اہم بات دو مراحل ہیں۔

انکلنگ-سمال کی تربیت کا آغاز انکلنگ کے بعد ہوا، اس لیے اس نے پچھلے دور کے تمام مسائل کو اپنے اندر لے لیا—

پری ٹرینڈ ڈیٹا کے تناسب میں تبدیلی کی گئی ہے، اور مشین لرننگ کا ریسیپ دوبارہ تیار کیا گیا ہے۔

مزید اہم بات یہ ہے کہ دو مرحلہ عمل ہے۔

اولین قدم، Inkling کو اساتذہ کے طور پر استعمال کرکے on-policy ڈسٹلیشن کریں، ایک پیش نظارہ چیک پوائنٹ بنائیں۔

دوسرا مرحلہ، اس چیک پوائنٹ سے شروع کرتے ہوئے دو ہفتے تک اسمارٹ ایجینٹ کوڈنگ کو تقویت کے لیے سیکھایا گیا۔ اس طرح "طالب علم استاد سے آگے نکل گیا" کا نتیجہ نکلا۔

صرف دو ہفتے میں، فرق کو پورا کر لیا اور آگے نکل گیا۔

اس کا مطلب یہ ہے کہ Thinking Machines نے ایک ایسی پیداواری لائن کو مکمل طور پر چلایا جو بار بار ماڈلز پیدا کر سکتی ہے۔ پہلا ماڈل ایک کام ہے، دوسرا ماڈل پیداواری صلاحیت کا ثبوت ہے۔

120 ارب فعال ہونا، اصلی تقسیم ہے

زیادہ تر ڈیولپرز کے لیے، اصل میں یہ دلچسپی کا موضوع ہے کہ کیا وہ اسے استعمال کر سکتے ہیں؟

اصلی Inkling کی حد بہت زیادہ ہے، BF16 چیک پوائنٹ کی کم سے کم ضرورت 2TB کل گرافکس میموری ہے—

مثالی ترتیب یہ ہے، 8 B300 یا 16 H200؛ اگر NVFP4 کوانتائزڈ ورژن پر جائیں تو بھی 600GB سے شروع ہوتی ہے۔

انکلنگ-سمال نے اس حد کو کافی نیچے کھینچ دیا۔

LMSYS کا کہنا ہے کہ 276B کل پیرامیٹرز کے ساتھ 12B فعال پیرامیٹرز، ری انفورسمنٹ لرننگ کا بہترین نقطہ ہے، جہاں LoRA اور مکمل پیرامیٹر ٹریننگ دونوں "حاصل کرنے لائق" ہو جاتے ہیں۔

اب، جو مدل کسٹمائیزیشن صرف بڑی کمپنیوں کے لیے ممکن تھی، اب ایک درمیانے سائز کی ٹیم بھی اسے اپنا بنانے کا موقع رکھتی ہے۔

تجربی طور پر ظاہر ہوا کہ ایک ہی ماحول میں 8 B200، TP8، NVFP4، اور بیچ سائز 1 کے ساتھ SGLang کا استعمال کرتے ہوئے Inkling-Small چلایا جائے، تو DSpark کھولنے پر 648 ٹوک/سیکنڈ کی ڈیکوڈنگ ریٹ حاصل ہوتی ہے، جبکہ بند رہنے پر بھی 288 ٹوک/سیکنڈ ہوتی ہے۔

گزشتہ فروری میں، Thinking Machines نے ایک "OpenAI کی ڈریم ٹیم" کے شش افراد کی فہرست کے ساتھ شاندار شروعات کی:

میرا موراتی، جان شولمان، باریٹ زوف، وینگ لی، اینڈرو تلک، لوک میٹز۔

اس وقت، ان کے پاس 20 ارب ڈالر کی بیج فنڈنگ اور 120 ارب ڈالر کی تقویم تھی۔

کون سوچ سکتا تھا کہ جنوری میں 50 ارب ڈالر کی تخمینہ قیمت والی فنانسنگ کا اختتام ناکامی پر ہوا، جو موڑ کا آغاز بن گئی۔

اب، چھ افراد کے گروہ میں صرف موراتی اور شولمان باقی ہیں۔

زیادہ دلچسپ بات یہ ہے کہ چاروں میں سے دو، زوف اور میٹز، نے کریمی کے بعد OpenAI میں واپسی کی، اور اب ون لی تیسری ہو گئی ہے۔

ایک کمپنی جسے OpenAI کے "بغاوت کرنے والوں" نے قائم کیا تھا، لیکن اس کے مرکزی اعضاء کو آخرکار OpenAI کے گریویٹی فیلڈ سے بچنا نہیں ہو سکا۔

لیکن حقیقی طور پر ڈرامائی بات یہ ہے کہ ٹیم نے بے چینی کے دوران کیا رد عمل دیا۔

15 جولائی کو، 17 ماہ تک خاموش رہنے کے بعد، Thinking Machines نے اپنا پہلا بڑا ماڈل Inkling جاری کیا۔

دو ہفتے سے کم کے اندر، وینگ لی نے استعفیٰ دے دیا؛ صرف تین دن بعد، دوسرا مکمل وزن والا اوپن سورس ماڈل آ گیا۔

ماہرین کی بھاگنے کی رفتار بڑھ رہی ہے، ماڈلز کی تیزی بڑھ رہی ہے۔

یہ دو متضاد منحنی، AI صنعت کی سب سے نمایاں منظر بن گئے۔

شاید یہی ASI تک کا واحد راستہ ہے: جتنا بھی کم لوگ رہ جائیں، مشین کا چرخہ صرف اور صرف تیز چلتا جائے گا۔

تھنکنگ مشینز نے Inkling-Small اوپن سورس ماڈل جاری کیا ہے، جس کے کل پیرامیٹرز 276 ارب اور فعال پیرامیٹرز 12 ارب ہیں، جو MoE آرکیٹیکچر اور نیٹو متعدد ماڈل ڈیزائن کا استعمال کرتا ہے۔ اس ماڈل نے صرف ایک چوتھائی سائز کے ساتھ ریاضی، استدلال، اور ایجینٹ کوڈنگ جیسے معیاری ٹیسٹوں میں ابتدائی Inkling کو پار کر لیا ہے۔ ڈسٹلیشن اور دو ہفتے کی تقویت سیکھنے کی تربیت کے ذریعے اس نے کارکردگی کو پار کر لیا ہے، جس سے استدلال کا رُکاوٹ کم ہو گیا ہے اور درمیانے ٹیم کو ماڈل کی تخصیص کرنے کا موقع فراہم ہوا ہے۔ حالانکہ شرکاء میں سے چھ میں سے چار چلے گئے ہیں، لیکن ٹیم نے بے قراری کے باوجود اعلانات کا اعلیٰ رُخ برقرار رکھا ہے۔

ذریعہ: نئی بُدھی