[10 تجارب فعلية: لمس الكائنات 0/20. أضف 50 محاكاة إضافية: 17/20] @KaitoAI X @axisrobotics رابط المشاركة في Axis (إحالة): https://t.co/hUbWSVsBVR إن جمع بيانات التدريب الفعلية للروبوتات على أجهزة فعلية لتعليمها مهامًا جديدة يتطلب وقتًا وتكاليف كبيرة. يجب إعداد الروبوت وضبط مساحة العمل، ثم تسجيل عشرات أو مئات التكرارات يدويًا من قبل الإنسان، وإذا تغير الكائن أو البيئة، فهناك حاجة إلى بيانات جديدة. استخدمت Axis و@boosterobotics مؤخرًا روبوتًا ذا ذراعين من Booster لتجربة كيف تختلف نتائج التعلم عند دمج مسارات المحاكاة من Axis مع التدريبات الفعلية. كانت المهام المستخدمة هي التقاط القلم وجمع علبة سماعات الأذن. تم تقييم الأداء حسب ما إذا لمس الروبوت الكائن، أو أمسكه بالمقبض، أو رفعه فعليًا، مع بدء جميع السياسات من نفس نقطة التحقق Pi0.5. يمكن لـ Axis Suite تصوير مساحة العمل الفعلية لفترة قصيرة، ثم استخدام نموذج مُدرَّب مسبقًا من 2D إلى 3D لإنشاء نسخة رقمية مخصصة للمهمة. يتم نشر المشهد الناتج على Axis Hub، مما يسمح لعدة مساهمين بإنشاء مسارات محاكاة لنفس المهمة حتى لو لم يكن لديهم روبوت فيزيائي. يمكن تغيير مواقع الكائنات، وزوايا الكاميرا، والإضاءة، والمواد، والخلفية، والكائنات المحيطة لأداء المهمة في ظروف متعددة. في تجربة البيانات المنخفضة باستخدام علبة سماعات الأذن، تم استخدام 10 تجارب فعلية. السياسة المدربة على هذه البيانات لم تلمس الكائن المستهدف أبدًا خلال 20 تنفيذًا على روبوت Booster الفعلي. عند الاحتفاظ بـ 10 تجارب فعلية وإضافة 50 مسارًا من المحاكاة من Axis، نجحت السياسة في لمس الكائن 17 مرة من أصل 20. تم الوصول إلى مرحلة الإمساك في 6 حالات، ونجح اثنان منها في رفع علبة سماعات الأذن. في تقييمات الروبوت الفعلي باستخدام كميات أكبر من البيانات، تم اختبار تركيبات متعددة. حققت سياسة "فقط تجارب فعلية" لمهمة القلم معدل رفع بنسبة 35٪، بينما حققت بنسبة 40٪ عند استخدام 67٪ من المحاكاة. حققت علبة سماعات الأذن معدل رفع بنسبة 30٪ عند استخدام تجارب فعلية فقط، و40٪ عند استخدام 50٪ من المحاكاة. تم تنفيذ كل شرط 20 مرة على الروبوت الفعلي، ليشكل التقييم الإجمالي 240 عملية تنفيذ. في المحاكاة، يمكن تغيير ظروف مثل موقع الكائن وزاوية الكاميرا والخلفية بسرعة لإنشاء بيانات متكررة. تحتوي التدريبات الفعلية على معلومات ناتجة عن الأجهزة الفيزيائية مثل خصائص الكاميرا، واستجابة المشغلين، وتوقيت المقبض، وأخطاء اللمس والتنفيذ. كان أعلى معدل رفع في كلا المهمتين عند دمج التدريبات الفعلية مع بيانات المحاكاة المخصصة للمهمة. استخدمت Axis وBooster البيانات المجمعة من مهام متعددة لإنشاء نموذج أولي مخصص لـ Booster. هذا النموذج يُدرّب مسبقًا على ترتيب كاميرات Booster، وذراعيه السبعة ذات درجات الحرية، والمقبض، وتمثيل الإجراءات، والحركة الأساسية قبل تدريبه على مهام جديدة. كانت مصادر المحاكاة الأصلية تتألف من 44,039 حلقة عبر 95 مستودعًا و76 أمر لغوي. بعد استبعاد المسارات الثابتة والسجلات التي يصعب فيها التمييز بين الذراعين المستخدمين، تبقى 42,046 حلقة و3,249,835 إطارًا، ما يعادل حوالي 180.55 ساعة عند تردد 5 هرتز. كما تم استخدام التدريبات الفعلية لـ Booster مع بيانات النجاح والتيليمتري والملاحظات في التدريب. بعد التدريب المستمر الكامل للمعلم Pi0.5 باستخدام هذه البيانات، تم تكييفه لمهمتي القلم وعلبة سماعات الأذن. عند استخدام 30 تجربة لكل مهمة، نفذ النموذج المخصص لـ Booster تسلسل الحركة (الاقتراب - إغلاق المقبض - التحرك للأعلى) بنجاح في 14 من أصل 16 محاولة. بينما حقق النموذج الأصلي Pi0.5 6/16 تحت نفس الظروف، و10/16 عند زيادة عدد التجارب إلى 60. حتى في المحاكاة بدون تدريب مسبق (zero-shot)، انخفض متوسط المسافة بين المعصم والهدف من 17.27 سم إلى 5.78 سم، وانخفضت المسافة التي تحركتها الذراع غير الموجهة من 5.04 راديان إلى 0.25 راديان. هذه الأرقام هي نتائج التجارب التعاونية بين Axis وBooster. لم تُنشر بعد دراسات مستقلة نجحت في إعادة إنتاج هذه النتائج. تم إجراء تقييم البيانات المنخفضة باستخدام 10 تجارب فعلية و50 محاكاة على روبوت Booster الفعلي، بينما تم إجراء مقارنة النموذج المخصص لـ Booster باستخدام 30 و60 تجربة على Isaac Sim. لا يمكن دمج الأرقام الناتجة من هذين التقييمين في مؤشر واحد لأداء الروبوت الفعلي. تم استخدام مسارات المحاكاة المولدة من Axis Hub لتوليد تنوع في ترتيب الكائنات والظروف البصرية، بينما أدخلت التدريبات الفعلية لـ Booster خصائص اللمس والأداء الفيزيائي للروبوت في التدريب. كما شملت البيانات المجمعة من مهام متعددة تدريب نموذج أولي مألوف بجسم وطريقة تحكم Booster.تم استخدام Trajectory المجمعة من المتصفح فعليًا في تقييم الروبوت المادي للـ Booster وتدريب النموذج الأولي. #PhysicalAI #RobotLearning