أطلقت مختبرات هواوي نويا فان تشوان نظام RoboHarness، الذي يحقق إكمالًا بدون عينات للمهام الطويلة الزمنية من خلال تنسيق وكيل البرمجة مع استراتيجيات متنوعة مثل VLA وWAM وRL وTAMP. يحتوي النظام على ثلاثة أنواع من المهارات: الفهم والذاكرة والتطور، ويحل وحدة Memory Bridge مشكلة عدم توافق توزيع الحالة عند تبديل الاستراتيجيات، وحقق نجاحًا بنسبة 86٪ في التجارب. يمثل هذا العمل انتقال الذكاء المتجسد من نموذج واحد نحو تنسيق منهجي.كاتب المقال، المصدر: LeiFengNet
تخيل مهمة كهذه: افتح باب الخزانة، ابحث عن الكتل المخفية داخلها، ثم ابنيها لتصبح جسراً.
بالنسبة للإنسان، هذا أمر بسيط جدًا، حيث تتصل الحركات بسلاسة، ويمكن لأي طفل في روضة الأطفال إكماله بنجاح.
لكن بالنسبة للروبوت، فإن هذه المهمة تشمل مجموعة متنوعة من القدرات المختلفة تمامًا: العثور على الكتل، مما يتطلب فهمًا بصريًا واتباعًا للتعليمات اللغوية؛ فتح باب الخزانة، مما يتطلب تفاعلًا معقدًا مع البيئة؛ وبناء الكتل، مما يتطلب تخطيطًا هندسيًا وتحكمًا دقيقًا والتنبؤ بتغيرات البيئة.
الأمر أكثر تعقيدًا لأن هذه القدرات تنتمي إلى نماذج من عدة "مذاهب" مختلفة—VLA (نماذج الرؤية-اللغة-الحركة)، WAM (نماذج العالم-الحركة)، سياسات RL (التعلم المعزز)، وTAMP (التخطيط المهمة والحركة). كل منها يمتلك ميزاته الخاصة، لكنها منفصلة عن بعضها البعض، وتختلف في طرق التدريب، وتنسيقات المدخلات، ومساحات الحالة.
اليوم، في مجال الروبوتات، القدرات غير مفقودة، لكن التعاون غير موجود.
أصدر مختبر نوآر فونغ Zhou التابع لهواوي مؤخرًا ورقة بحثية تقدم نظامًا يُسمى RoboHarness، مصممًا خصيصًا لحل مشكلة عدم القدرة على التعاون بين الاستراتيجيات المختلفة. وفي سياق هذا العمل، تواصل مؤلفو الورقة معنا (LeiFengNet).
ورقة بحثية: https://arxiv.org/abs/2607.18060
الصفحة الرئيسية للمشروع: https://www.robo-harness.com/
01 الفجوة بين الوهم والواقع في النموذج الشامل
خلال صيف هذا العام، ظهرت عدة أعمال مكثفة في مجال أبحاث الروبوتات تدور حول Harness، وتشير جميعها إلى إدراك مشترك: أن حل كل المشكلات من خلال نماذج أكبر لا يزال غير ممكن حاليًا، وتحتاج الروبوتات إلى طبقة نظام تنفيذي منظم.
فريق البروفيسور يو تشينغ من جامعة تسينغهوا أطلق Harness VLA في يوليو، حيث أدخل طبقة Harness، المستخدمة على نطاق واسع في الذكاء الرقمي، إلى الذكاء الجسدي، مما يسمح لـ VLA مُجمّد بالتركيز على التحكم الكثيف بالاتصال الذي يتقنه أفضل، في الوقت الذي تتعلم فيه طبقة Harness متى وكيف تستدعيه، وكيف تعيد تعيينه وإعادة محاولة تنفيذه بعد فشل VLA. وفي تقييمات LIBERO-Pro المُضطربة، رفعت هذه النظام نسبة النجاح من 50% إلى 82.4%.
من الناحية المفاهيمية، يعالج Harness VLA استقرار نموذج واحد تحت تشويهات خارج التوزيع.
روبوهارنيس من مختبر روبو هارنيس التابع لشركة هواوي، يواجه مشكلة أخرى: ماذا يحدث عندما تتجاوز المهمة حدود قدرة أي نموذج؟
كلاهما يُسمى Harness، ويستخدمان Coding Agent كطبقة تنظيمية، لكنهما يحلان تحديات في أبعاد مختلفة. الأول يجعل الخبير المتخصص أكثر ثباتًا، بينما الثاني يمكّن مجموعة من الخبراء المتخصصين ذوي المهارات المتنوعة من العمل معًا. مع تزايد تعقيد مهام الروبوتات، يصبح هذا الأخير أكثر إلحاحًا ولا يمكن تجاهله.
جذر هذا السؤال يعود إلى حدود قدرات النماذج المختلفة.
ميزة نموذج VLA هي فهم تعليمات اللغة المفتوحة والتكيف مع بيئات جديدة، لكن طريقة توليد الإجراءات من البداية إلى النهاية تواجه صعوبة في الحفاظ على الاتساق في المهام الطويلة الزمنية؛ يمكن لاستراتيجيات التعلم المعزز تطوير سلوك دائري مستقر ضمن سيناريوهات تدريب محددة، لكن هذا الاستقرار يعتمد بشكل كبير على توزيع التدريب، وقد يفشل عند تغيير بسيط في البيئة؛ يمتاز TAMP بالقدرة على الاستدلال الرمزي والقيود الهندسية، لكنه يتطلب تعريفًا مسبقًا للعناصر الأساسية للإجراءات، وعند مواجهة المشاهد المفتوحة والأهداف الغامضة، يصبح المخطط سريعًا في التعب؛ يمكن لـ WAM دعم اتخاذ القرارات الطويلة الزمنية من خلال التنبؤ بالحالات المستقبلية، لكنه عرضة لتراكم الأخطاء مع زيادة مدى التنبؤ.
المهام الحقيقية المعقدة تتطلب في نفس الوقت فهمًا دلاليًا وتخطيطًا هندسيًا وتحكمًا مغلقًا وتحليلًا طويل الأمد للسياق وتوقعًا للتغيرات البيئية، وهذه القدرات تمتلك أهداف تدريبية مختلفة، وأحيانًا متعارضة. هناك فجوة كبيرة لم تُعبر عنها بعد من التقدم المنفصل في كل قدرة إلى نموذج واحد قادر على التوازن المستقر بين جميع هذه القدرات في بيئة مفتوحة على المدى الطويل.
نقطة انطلاق RoboHarness هي أن بدلاً من الانتظار حتى يتم سد هذه الفجوة، من الأفضل جعل النماذج الموجودة مسبقًا، والتي تمتلك كل منها ميزات خاصة، تعمل معًا بفعالية. يرى المؤلف أنه حتى يظهر نموذج واحد قادر على قمع جميع النماذج الأخرى تمامًا وإظهار هيمنة مطلقة، فإن هذا الهيكل التنظيمي يظل ذا معنى كبير.
لم تأتِ هذه المهمة من فراغ. أخبرنا المؤلف (LeiFeng.com) أن نموذج RoboHarness الأولي نشأ من تجربة المشاركة في تحدي الروبوتات العالمي BEHAVIOR Challenge العام الماضي. كانت مهام المسابقة طويلة وصعبة للغاية، ووجد الفريق أنه لا يمكن لأي من تدريب VLA من البداية إلى النهاية أو استخدام نماذج مثل تقليد السلوك أن تغطي صعوبة المهمة نفسها. وقد أدت هذه الخيبة إلى تمكين الفريق من تحديد المشكلة الحقيقية.
02 كيف تقرر الذاكرة التوزيعية من يجب أن يدخل الملعب
الفكرة الأساسية لـ RoboHarness هي تغليف أنظمة التحكم المستقلة مثل VLA و WAM و RL Strategies و TAMP كمهارات agentic يمكن التحكم فيها بشكل موحد، مع تكليف وكيل البرمجة باتخاذ القرارات العليا.
هذا التصميم يعتمد على افتراض أساسي: عدم تغيير أو إعادة تدريب أي استراتيجية أساسية. تحتفظ كل استراتيجية بتنفيذها الأصلي الخاص بها، ولا تحتاج إلى مشاركة هيكل النموذج أو فضاء الإجراءات أو بيانات التدريب. يضيف RoboHarness فقط طبقة من القدرة التنظيمية فوقها.
اختيار الاستراتيجية الصحيحة ليس بالأمر السهل.
بالنسبة لوكيل برمجي، من الصعب بشكل موثوق تحديد من يجب تعيين هذه المهمة إليه بناءً على مدخلات الصورة الخام فقط. لأن هذا القرار يخفي العديد من الأسئلة الكمية التي لا يمكن للنماذج اللغوية الإجابة عنها من خلال فهم الدلالي. فقد يفهم وضع الكوب على الطبق، لكنه لا يستطيع حساب درجة تشابه المشهد الحالي مع توزيع تدريب استراتيجية ما من صورة RGB وحدها، ولا يمكنه تقييم موثوقية بيانات المستشعرات في هذا اللحظة.
لحل هذه المشكلة، تم تصميم النظام ليشمل ثلاث فئات من المهارات المساعدة، مصممة خصيصًا لاستخلاص المعلومات اللازمة للحكم من قبل وكيل الترميز.
فهم المهارات، مسؤول عن تحويل المدخلات الخام إلى إشارات قابلة للقياس، مثل: تشابه تضمينات الصور مع بيانات تدريب الاستراتيجيات المختلفة، واستقرار وضع الجسم داخل نافذة زمنية، وما إذا كانت الإضاءة الحالية وجودة الصورة تلبي المعايير المطلوبة. هذه المؤشرات هي الأساس الحقيقي لترحيل الاستراتيجيات. يرى المؤلف أن جوهر هذا الوحدة هو قياس كل استراتيجية من زوايا متعددة لتحديد مدى ملاءمتها للمهمة الحالية.
مهارات الذاكرة، استرجاع الخبرات التنفيذية السابقة كمرجع لاختيار الاستراتيجية، ومعالجة عدم تطابق توزيع الحالة بين الاستراتيجيات عبر Memory Bridge — هذا هو التصميم الأساسي للنظام، وسيتم تفصيله لاحقًا.
Evolution Skills، تُحدّث باستمرار بيانات الوصف والمنطق التنظيمي للإستراتيجية باستخدام التغذية الراجعة عبر الإنترنت، مما يسمح للنظام بالتعلم من كل تنفيذ، بدلاً من تقييم كل حالة جديدة من الصفر.
تتفاعل تدفقات المعلومات الثلاثة للمهارات معًا لدعم قرار وكيل البرمجة. في التنفيذ العملي، تؤدي هذه الآلية دورين رئيسيين: أولًا، تقسيم المهام، حيث يتم تقسيم الأوامر الطويلة إلى مهام فرعية مناسبة لاستلام استراتيجيات مختلفة؛ ثانيًا، التبديل الديناميكي، حيث يقوم النظام بالتبديل إلى استراتيجية أكثر ملاءمة في الوقت المناسب عندما تقترب الاستراتيجية الحالية من حدود قدراتها، مما يحقق تكاملًا في القدرات بين الاستراتيجيات المختلفة.
ورقة بحثية استخدمت تجارب إزالة لشرح المساهمة الفردية لكل طبقة: فقط باستخدام نموذج لغوي لتفكيك المهمة وإرسالها إلى pi0.5، ارتفع معدل النجاح بشكل ملحوظ؛ وبإضافة استراتيجيات متنوعة على هذا الأساس، ارتفع معدل النجاح بشكل كبير إضافي. التفكيك الصحيح هو الخطوة الأولى، والتوزيع الدقيق هو الخطوة الثانية، ولا يمكن الاستغناء عن أي منهما.
لكن هناك مشكلة ثالثة، وهي الأصعب، ولا يمكن حلها فقط من خلال اختيار الاستراتيجية.
03 اللحظة التي يتم فيها تسليم العصا تحدد فائز سباق التتابع.
استراتيجيتان مدرّبتان بشكل مستقل، عادةً ما تعيشان في عوالم بياناتهما الخاصة. إن صيغة إدخالهما مختلفة، كما أن توزيع تجربتهما لحالة الروبوت مختلف. المكان الذي تتوقف فيه عملية TAMP بعد الانتهاء، من المحتمل جدًا أن يقع بالضبط داخل فضاء الحالة الذي لم تعالجه VLA قط ولا يمكنها تشغيله بثبات.
هذه مشكلة فريدة من نوعها لتنظيم الاستراتيجيات المتنوعة.
لذلك، قام المؤلف بتصنيف وحدة Memory Bridge، المسؤولة عن ضمان انتقال سلس بين الاستراتيجيتين، كأول وأهم وحدة في RoboHarness. وهو يعترف بأنه إذا تمكن نموذج عام مستقبلي من تغطية كامل فضاء الحالة بدقة تامة، فقد تصبح وحدة Memory Bridge غير ضرورية؛ لكن في الوضع الحالي، فإن أي نموذج يسهل عليه السقوط خارج توزيع القدرات في لحظة الانتقال.
يعمل Memory Bridge على ثلاث خطوات.
استرجاع: بناءً على المهمة الفرعية التالية والرصد الحالي، ابحث في مكتبة الذاكرة متعددة الوسائط عن أعلى K مسارًا مشابهًا نجح في تنفيذ الاستراتيجية المستهدفة باستخدام التشابه النصي والبصري، واستخرج موضع أداة التنفيذ النهائية وزوايا المفاصل وحالات الروبوت الأخرى.
النمذجة: منح إشارات إشرافية بناءً على التقدم النسبي لكل حالة في المسار، من خلال الانحدار المباشر لتناسب نطاق الحالة "الاستلام التلقائي" للإستراتيجية المستهدفة في الوقت الحقيقي.
الربط: أخذ عينات وتقييم الحالات المرشحة، مع مراعاة ثقة الدخول إلى منطقة الراحة الخاصة بالاستراتيجية المستهدفة وتكلفة الحركة، لاختيار هدف الربط الأنسب وتكوين مسار انتقالي؛ بعد وصول الروبوت إلى هذا الحالة، يتم تمرير التحكم إلى الاستراتيجية التالية.
يعتمد هذا النظام بالكامل على التعلم عبر الإنترنت من بيانات التنفيذ التاريخية، ويعمل بشكل فوري مع أي استراتيجية دون الحاجة إلى تعديل التنفيذ الأساسي أو التدريب المشترك.
في تجارب الإزالة، بعد إزالة Memory Bridge، انخفض تقدم المهمة بشكل غير كبير، مما يشير إلى أن اختيار الاستراتيجية لا يزال صحيحًا بشكل أساسي، لكن النجاح الكامل انخفض من 86.0% إلى 60.4% بشكل حاد. العديد من المهام وصلت إلى الخطوة الأخيرة لكنها فشلت بسبب عدم توافق حالة التسليم، مما يثبت من هذا الجانب قيمة Memory Bridge.
04 سلسلتان تقنيتان، التقاء هادئ يحدث الآن
بتوسيع نطاقنا بعيدًا عن هذه الورقة، نحن نرغب في وصف صورة أوسع لخريطة التقنيات الجسدية.
لاحظ مؤلف RoboHarness أنه في سياق التطور السريع لـ VLA على مدار السنوات الثلاث الماضية، تراجعت أنظمة TAMP التقليدية والتخطيط الهرمي بسبب قدرتها الضعيفة على التعميم في السيناريوهات المفتوحة مقارنة بـ VLA المُدمج بالكامل، مما أدى إلى انخفاض اهتمام المجتمع بها. ومع ذلك، مع التقدم السريع في أنظمة agentic ووكلاء البرمجة هذا العام، استعادت البنية الهرمية حيوية جديدة: حيث يمكن للوكيل العالي المستوى استخدام مهارات قابلة للتركيب لتفكيك المهام واستدعاء الأدوات والتخطيط الديناميكي، مما يعزز بشكل كبير قدرة التعميم والمرونة للطرق الهرمية التقليدية. ونتيجة لذلك، يعيد المجتمع الأكاديمي تركيز اهتمامه، ويدرس الآن كيفية دمج الاستدلال العالي المستوى ذي التعميم القوي مع استراتيجيات قاعديّة متنوعة.
مؤلف هذه المقالة من عدة جامعات ومؤسسات بحثية في شرق كندا. لاحظ الكاتب أن بحث الروبوتات في أمريكا الشمالية ظل يسير على طريقتين تقنيتين لهما جذور أكاديمية واضحة: الساحل الغربي الأمريكي، الذي تمثله ستانفورد وبركلي وغيرها، يركز أكثر على التعلم والتوسيع، مع اهتمام بالتعلم من البداية إلى النهاية، وحجم البيانات، وعامّلة النموذج؛ بينما الساحل الشمالي الشرقي الأمريكي وكندا، الممثلة بمعهد ماساتشوستس للتكنولوجيا وجامعة تورونتو وميلا وغيرها، ركزت طويلاً على الهياكل الهرمية، والاستدلال الرمزي، والتخطيط المنطقي، واتخاذ القرارات المهيكلة.
مؤلفو RoboHarness يقعون على امتداد هذا الخطّ الأخير.
انقسام المسار التقني ترك أثرًا واضحًا في الصناعة الخاصة بالذكاء الجسدي. على مر السنوات الأخيرة، شكلت الفرق التي تطورت بسرعة تسلسلًا تقنيًا يمتد من تكبير النموذج الأساسي إلى التسلسل الهرمي الواعي: فئة تُركز أكثر على النماذج الأساسية الجسدية العامة، وVLA ونماذج العالم، وتتوسع باستمرار في الحدود العامة من خلال تحسين النموذج الموحّد وحجم البيانات وقدرات النموذج؛ بينما تركز فئة أخرى أكثر على المهارات التشغيلية القابلة لإعادة الاستخدام والهياكل الهرمية، وتُنجز المهام المعقدة من خلال تخطيط المهام ودمج المهارات والتنسيق بين التحكم الأساسي. في الصين، تميل الفرق مثل Zhiyuan إلى التقارب مع الفئة الأولى، بينما تبرز شركات مثل Sudu Technology وMagic Atom الفئة الثانية؛ وفي الخارج، مثلت سلسلة pi من Physical Intelligence لفترة طويلة مسار التكبير، بينما تستمر Gemini Robotics في التقاليد الهرمية المتمثلة في "الاستدلال والتخطيط العالي المستوى + تنفيذ المهارات الأساسية".
من المثير للاهتمام أن تفرع هذه السلاسل التقنية ليس تناقضاً ثابتاً، بل يتطور باستمرار ليشكل تكملة لبعضها البعض. خلال الأشهر القليلة الماضية، بدأت طريقتان تقنيتان في ظهور ظواهر تقارب واضحة. على سبيل المثال، قامت Physical Intelligence في pi0.7 بتعزيز السيطرة وتركيب المهارات إلى موقع أكثر جوهرية؛ وفي الوقت نفسه، استمرت فرق مثل NVIDIA في إطلاق أنظمة روبوتية عاملة ذات خصائص هرمية متزايدة، تدمج قدرات النماذج الأساسية على الفهم والاستدلال مع VLA. بشكل عام، فإن توسيع النماذج الأساسية والهرمية العاملة تتطور تدريجياً من مسارين تقنيين نسبياً مستقلين إلى قدرات متكاملة ومكملة ضمن نظام روبوتي واحد.
05 باتباع الترتيب، نحو ذكاء أكثر شمولاً
يتمتع RoboHarness بقيود واضحة: فهو قادر على جدولة الاستراتيجيات الموجودة فقط، ولا يمكنه حل ما لا تستطيع أي استراتيجية فعله. تعتمد موثوقية Memory Bridge على كمية كافية من بيانات التنفيذ التاريخية، وستكون تقييمات قدرة الاستراتيجيات الجديدة المضافة حديثًا في المراحل المبكرة غير مؤكدة إلى حد كبير.
الحجة الأساسية للورقة ليست إنكار ضرورة النموذج الكبير الموحّد.
يؤكد المؤلف أن ترتيب المهام الطويلة الأمد لا يقتصر فقط على دمج القدرات الحالية، بل يولد أيضًا باستمرار بيانات تنفيذية عبر القدرات والسيناريوهات المختلفة لا يمكن للنموذج الفردي تحقيقها بشكل مستقل. تسجل هذه البيانات عمليات التبديل والربط واستعادة الفشل والتعاون بين الاستراتيجيات المختلفة، وهي قد تصبح مصدرًا مهمًا لتدريب نماذج الروبوتات العامة من الجيل القادم. استنادًا إلى هذا المفهوم، يبحث فريق RoboHarness أيضًا في إعادة استخدام البيانات الناتجة عن ترتيب الاستراتيجيات المختلطة وتنفيذها لتدريب الاستراتيجيات الأساسية مرة أخرى، حيث تُعزز تجارب الترتيب المتنوعة من قدرات النموذج الأساسية.
من البحث عن أقوى نموذج إلى تنظيم القدرات الأنسب، يمتد التنافس في الذكاء المتجسد تدريجيًا إلى مستوى التصميم النظامي. التخطيط المختلط للإستراتيجيات والنماذج الكبيرة الموحدة، كأنهما رحلتان تسلّقان قمتين مختلفتين، لكنهما تنتهيان في النهاية في نفس الوجهة البعيدة: تمكين الروبوتات من امتلاك ذكاء أكثر شمولية وموثوقية.