أطلقت Thinking Machines نموذج Inkling-Small مفتوح المصدر، بـ 276 مليار معلمة إجمالية و12 مليار معلمة مُفعّلة، باستخدام بنية MoE وتصميم متعدد الوسائط أصلي. يتفوق هذا النموذج، باستخدام ربع حجمه فقط، على الإصدار الأول من Inkling في اختبارات معيارية في الرياضيات والاستدلال وبرمجة الوكلاء. تم تحقيق تفوق الأداء من خلال التقطيع وتدريب التعلم المعزز لمدة أسبوعين، مما خفض بشكل كبير عتبة الاستنتاج، وجعل تخصيص النموذج ممكنًا للفِرق المتوسطة. وعلى الرغم من مغادرة أربعة من المؤسسين الستة، فقد حافظ الفريق على وتيرة نشر متكررة رغم الاضطرابات.كاتب المقال، المصدر: 36Kr
أصدرت Thinking Machines النموذج المفتوح المصدر Inkling-Small الذي يفوق الإصدار الأولي
بعد ظهور النموذج الأول Inkling، ظهر ذكاء اصطناعي جديد آخر يُشعل وسائل التواصل!
اليوم، أطلقت Thinking Machines رسميًا نموذجها الثقيل الثاني — Inkling-Small.
276B معلمة إجمالية، 12B معلمة مُفعّلة، متعدد الوسائط أصلي، سياق 1,000,000 رمز مُعالَج
قبل أسبوعين، ظهر أول Inkling مفتوح المصدر بحجم 975B، وأثار ضجة كبيرة في عالم الذكاء الاصطناعي.
حقق Inkling-Small تفوقًا في الأداء على "العملاق التريليوني" باستخدام ربع الحجم فقط.
على ARC-AGI-2، قام Inkling-Small بتحديث SOTA المفتوح المصدر
راجع الأيام القليلة الماضية لـ Thinking Machines، فالدراما كانت مثيرة للغاية.
بعد يومين فقط من إعلان وان لي، المؤسسة المشتركة، استقالتها، تأكّد OpenAI من عودتها — تقود فريقًا للعمل على "التحسين الذاتي التكراري" (RSI).
في اليوم الثالث، أطلقت الشركة، التي خسرت للتو أحد قادتها الأساسيين، "الأوزان الكاملة" للنموذج الجديد.
ظهر Inkling-Small الجديد، وتفوق 276B على التريليون
في وصف المدونة الرسمية، Inkling-Small هو نموذج ببنية MoE، بإجمالي 276 مليار معلمة، وينشط 12 مليار أثناء الاستدلال الواحد.
مقارنةً بـ Inkling الأصلي، تم تقليل الحجم إلى ربعه مباشرة.
كما قال الخبير الكبير في Pytorch، هوراس هاي: "لا حاجة لاستخدام قوة全村 في Inkling-Small، بل يمكن استخدام التقنية السابقة مباشرةً".
الأكثر قوة هو أن الحجم قد تقلص، لكن القدرة الشاملة تحسنت بشكل ملحوظ.
في الرياضيات، والاستدلال، وبرمجة الوكلاء، ومعايير متعددة الوسائط، يضاهي Inkling-Small أو حتى يتفوق على Inkling وDeepSeek V4 Flash.
في المؤشرات الأساسية الثلاثة: HLE و Terminal-Bench و IFBench، فإن Inkling-Small تحقق أداءً أعلى لكل FLOP مقارنة بـ Inkling.
يمكن ملاحظة أن منحنى Inkling-Small يظل دائمًا تحت منحنى Inkling.
كما لم تتأخر كثيرًا في الجانب متعدد الوسائط، حيث حقق Inkling-Small أداءً "قريبًا" من الإصدار الأصلي في تقييمات فهم الرسوم البيانية والاستدلال البصري وفهم الصوت والاستدلال على مقاطع الصوت الطويلة، مع تكلفة أقل بكثير.
تُظهر نتائج المعايير الأخرى ما يلي:
نموذج بحجم يبلغ ربع الحجم، هزم نسخته الأكبر في مهام الاستدلال والوكيل.
تفاصيل ما بعد التدريب، مكشوفة بالكامل
أما كيفية القيام بذلك، فقد كتبت الشركة الرسمية التفاصيل بدقة، والنقاط الأساسية هما خطوتان.
بدأ تدريب Inkling-Small لاحقًا من Inkling، لذا امتص جميع الأخطاء التي تم تجربتها في الجولة السابقة—
تم تغيير نسب بيانات التدريب المسبق، وأُعيد صقل وصفة التعلم الآلي.
الأهم، هما خطوتان.
الخطوة الأولى: استخدم Inkling كمُعلم لإجراء التبخير على السياسة، وأنشئ أول نقطة معاينة.
الخطوة الثانية، استمرت تدريبات الوكلاء باستخدام التعلم المعزز بالكود لمدة أسبوعين كاملين منذ هذه النقطة المرجعية، مما أدى إلى نتيجة "تجاوز الطالب المعلم".
في غضون أسبوعين فقط، تم سد الفجوة وتجاوزها.
هذا يعني أن Thinking Machines أطلقت مباشرة خط إنتاج قادر على إنتاج نماذج بشكل متكرر. النموذج الأول هو عمل، والنموذج الثاني هو إثبات للقدرة الإنتاجية.
12 مليار نشطة، هي الحد الفاصل الحقيقي
لأغلب المطورين، ما يهم حقًا هو ما إذا كانوا يستطيعون استخدامه أم لا.
عائق Inkling الأصلي مرتفع جدًا، وأدنى متطلب لcheckpoint BF16 هو 2 تيرابايت من ذاكرة الفيديو المجمعة—
التكوين النموذجي هو 8 وحدات B300 أو 16 وحدة H200؛ حتى عند التحويل إلى إصدار NVFP4 المُكمَّل بالكمية، سيظل المطلوب 600 جيجابايت على الأقل.
Inkling-Small سحبت هذا الحاجز كله لأسفل بشكل كبير.
يقول LMSYS بشكل مباشر: 276B معلمة إجمالية مع 12B مفعلة هي النقطة المثالية للتعلم المعزز، حيث يصبح LoRA والتدريب الكامل بالمعلمات "قابلين للتحقيق".
كان تخصيص النماذج سابقًا حكرًا على الشركات الكبرى، لكن الآن لديها فرصة حقيقية لتدريبها كشيء خاص بها حتى فرق متوسطة الحجم.
أظهرت الاختبارات العملية أنه في نفس البيئة المكونة من 8 وحدات B200 و TP8 و NVFP4 وحجم دفعة 1، يمكن لـ SGLang تشغيل Inkling-Small بسرعة ترميز تصل إلى 648 رمزًا/ثانية عند تمكين DSpark، و288 رمزًا/ثانية عند تعطيله.
غادر أربعة من المؤسسين المشتركين، وتسارع النموذج أكثر فأكثر
في فبراير من العام الماضي، انطلقت Thinking Machines بانطباع قوي مع قائمة مكونة من ستة أعضاء من "فريق OpenAI الحلم":
ميرا موراتي، جون شولمان، باريت زوف، وين لي، أندرو تولوك، لوك ميتس.
في ذلك الوقت، كان لديهم سيناريو خارق بتمويل بقيمة 2 مليار دولار في جولة البذور وتقييم بقيمة 12 مليار دولار.
من كان ليتخيل أن جولة التمويل التي بلغت تقييمًا قدرها 50 مليار دولار في يناير من هذا العام انتهت بالفشل، لتكون بداية التحول.
اليوم، لم يبقَ من المجموعة المكونة من ستة أشخاص سوى موراتي وشولمان.
الأكثر إثارة للاهتمام أن أربعة أشخاص غادروا، وعاد زوف وميتز إلى OpenAI على التوالي، والآن أصبح وين لي الثالث.
شركة تأسست من قبل "متمردين" من OpenAI، لكن أعضاءها الأساسيين لم يتمكنوا في النهاية من الهروب من حقل جاذبية OpenAI.
لكن ما هو حقًا درامي هو رد الفريق عند مواجهة الاضطرابات.
في 15 يوليو، قدمت Thinking Machines، التي كانت صامتة لمدة 17 شهرًا كاملة، أول نموذج كبير لها: Inkling.
قبل أقل من أسبوعين، أعلنت وان لي عن مغادرتها؛ وبعد ثلاثة أيام فقط، تم إطلاق النموذج المفتوح المصدر الثاني ذي الوزن الكامل.
يتسارع هروب المواهب، ويتسارع تقدم النماذج.
هاتان المنحنيان المتعارضان أصبحا المشهد الأكثر تمثيلاً في صناعة الذكاء الاصطناعي.
ربما هذه هي الطريقة الوحيدة للوصول إلى ASI: مهما قلّ عدد من يبقون، فإن عجلة الآلة ستستمر في الدوران بشكل أسرع وأسرع.
أطلقت Thinking Machines نموذج Inkling-Small مفتوح المصدر، بـ 276 مليار معلمة إجمالية و12 مليار معلمة مُفعّلة، باستخدام بنية MoE وتصميم متعدد الوسائط أصلي. يتفوق هذا النموذج، باستخدام ربع حجمه فقط، على الإصدار الأول من Inkling في اختبارات معيارية في الرياضيات والاستدلال وبرمجة الوكلاء. تم تحقيق تفوق الأداء من خلال التقطيع وتدريب التعلم المعزز لمدة أسبوعين، مما خفض بشكل كبير عتبة الاستنتاج، وجعل تخصيص النموذج ممكنًا للفِرق المتوسطة. وعلى الرغم من مغادرة أربعة من المؤسسين الستة، فقد حافظ الفريق على وتيرة نشر متكررة رغم الاضطرابات.المصدر: NewZeal