سالوں کا سب سے تفصیلی ایفرونٹیئر LLM ٹریننگ رپورٹ۔ مائیکروسافٹ نے اپنے ریزننگ فوکسڈ ماڈل MAI-Thinking-1 کا ایک گہرا ٹیکنیکل تجزیہ جاری کیا ہے: • 35B فعال / 1T کل پیرامیٹر MoE • 256k کانٹیکسٹ ونڈو (~600 صفحات کا دستاویز) • 8,000 GB200 GPU کے کلسٹر پر ٹرینڈ کیا گیا دلچسپ بات: یہ نئی آرکیٹیکچر پر زیادہ توجہ نہیں دی گئی، بلکہ ڈیٹا کی معیار اور ٹریننگ ریسیپی پر۔ یہی وہ جگہ ہے جہاں ایفرونٹیئر ماڈل کا زیادہ تر فائدہ منتقل ہو رہا ہے۔ اسے اوپن سورس نہیں کیا جا رہا، لیکن مائیکروسافٹ API کے ذریعے فائن ٹیوننگ فراہم کرنے کا منصوبہ رکھتا ہے۔ اگر مزید بڑے ٹیک لیبز اس سطح کی تفصیلات دوبارہ شیئر کرنے لگے، تو ریسرچرز اور بانیوں کو اصل میں کیا اہم ہے، اس کا واضح تصور ملے گا۔ کیا آپ کو لگتا ہے کہ اگلے بڑے فائدے بہتر آرکیٹیکچرز سے آئینگے—یا بہتر ڈیٹا اور ٹریننگ پائپ لائنز سے؟