[वास्तविक प्रदर्शन: 10, वस्तु संपर्क: 0/20। 50 अतिरिक्त सिमुलेशन जोड़ें: 17/20] @KaitoAI X @axisrobotics Axis में शामिल होने का लिंक (रेफरल): https://t.co/hUbWSVsBVR रोबोट को नए कार्य सिखाने के लिए, वास्तविक उपकरणों पर प्रदर्शन डेटा एकत्र करने में बहुत समय और लागत लगती है। आपको रोबोट को तैयार करना होगा, कार्य स्थान को समायोजित करना होगा, और फिर मानव द्वारा सीधे नियंत्रित करके दर्ज किए गए सैकड़ों प्रदर्शन बनाने होंगे, और यदि वस्तु या परिवेश बदल जाए, तो आपको नया डेटा भी एकत्र करना होगा। Axis और @boosterobotics ने हाल ही में Booster के डुअल-आर्म रोबोट का उपयोग करके प्रयोग किया कि जब वास्तविक प्रदर्शन में Axis के सिमुलेशन Trajectory को मिलाया जाता है, तो सीखने के परिणाम कैसे बदलते हैं। उपयोग किए गए कार्य: पेन पकड़ना और ईयरबड्स केस पकड़ना। हमने मूल्यांकन किया कि रोबोट ने क्या संपर्क किया, क्या gripper से पकड़ा, और क्या वास्तविक रूप से उठाया। सभी Policy Pi0.5 मॉडल चेकपॉइंट से ही शुरू हुए। Axis Suite में, आप वास्तविक कार्य स्थान का संक्षिप्त वीडियो लेते हैं, और प्री-ट्रेन्ड 2D-to-3D मॉडल का उपयोग करके Task के अनुकूल digital twin बनाते हैं। इस प्रक्रिया से बनी प्रतिकृति Axis Hub पर प्रकाशित होती है, जिससे कई contributors, भले ही उनके पास भौतिक रोबोट न हो, समान कार्य के सिमुलेशन Trajectory उत्पन्न कर सकते हैं। वस्तु की स्थिति, कैमरा का दृष्टिकोण, प्रकाश, पदार्थ, पृष्ठभूमि, परिवेश में स्थित अन्य वस्तुएँ—इन सभी को परिवर्तित करके, समान कार्य कई परिस्थितियों में प्रदर्शित किया जा सकता है। ईयरबड्स केस के साथ low-data प्रयोग में 10 वास्तविक प्रदर्शन शामिल थे। इस डेटा से प्रशिक्षित Policy, Booster रोबोट पर 20 प्रयासों में कभी भी लक्ष्यित वस्तु से संपर्क नहीं कर पाया। 10 वास्तविक प्रदर्शन को समान रखते हुए, Axis सिमुलेशन Trajectory 50 को जोड़ने पर Policy 20 में से 17 बार वस्तु से संपर्क कर पाया। 6 बार gripper close स्टेज तक पहुँचा, और 2 में सफलतापूर्वकईयरबड्स केस को उठाया। अधिक डेटा के साथ, हमने प्रत्यक्ष-रोबोट मूल्यांकन में कई संयोजनों की परीक्षा की। पेन Task के real-only Policy में lift rate 35% मिली, jabki simulation ratio 67% में 40% मिली। ईयरबड्स केस Task में real-only 30% मिला, jabki simulation ratio 50% में 40% मिला। प्रत्येक परिस्थिति में 20 प्रयास हुए, और समग्र मूल्यांकन 240 rollout से मिलकर बना। सिमुलेशन में, हम vस्थि‍ति, कैमरा का view, पृष्ठभूमि—इन सभी पैरामीटर को तेज़ी से परिवर्तित करके पुन:उत्पन्न-डेटा (repeated data) प्राप्त कर सकते हैं। वास्तविक प्रदर्शन में, camera characteristics, actuator response, gripper timing, contact and execution errors—जैसी physical equipment-संबंधी information होती है। इन दोनों Task में सबसे अधिक lift rate, real demonstrations + Task-specific simulation data के संयोजन से प्राप्त हुई। Axis और Booster ne Booster ke liye customized initial model bhi develop kiya hai jo multiple tasks se collected data ka upyog karta hai. Naye task ko sikhane se pehle, Booster ke camera setup, do 7-DoF arms, gripper, action representation aur basic movements ko pehle se hi sikhane wala model. सिमुलेशन मूल 95 repositories aur 76 language commands se milakar 44,039 episodes tha. स्थिर Trajectory aur use kiye gaye arms ko alag karne mein kathinai ki wajah se kuch records ko hatakar 42,046 episodes aur 3,249,835 frames bacha—5Hz ke hisaab se lagbhag 180.55 ghante ka data. Booster ke vāstavik pradarshan mein saphalata ki jaankari, telemetry aur observation bhi training mein shamil ki gayi. इसी data se Pi0.5 ko full-parameter continued pretraining kiya gaya aur phir pen aur earbuds case tasks ke liye adapt kiya gaya। जब Task ke liye 30 demonstrations use kiye gaye, to Booster-specific model ne 16 में से 14 bar action sequence—approach → gripper close → lift—complete kiya। मूल Pi0.5 model ne same 30 demonstrations ke sath 6/16 aur agar demonstrations ko 60 tak badhaya gaya to 10/16 achieve kiya। Task-specific fine-tuning se pehle zero-shot simulation mein bhi wrist-to-target distance average 17.27cm se ghatkar 5.78cm ho gaya aur uncommanded arm movement 5.04 rad se ghatkar 0.25 rad ho gaya। यह सभी numbers Axis aur Booster ke collaborative experiments ke results hain। इसी result ko independent tareeke se replicate karne wala koi research ab tak publicly available nahi hai। 10 real demonstrations + 50 simulations ka low-data evaluation physical Booster robot par kiya gaya aur Booster-specific model ke 30/60 demonstrations comparison Isaac Sim par kiya gaya। दोनों evaluation se prāpt numbers ek hi physical robot performance metric ke roop mein combine nahi kiye ja sakte. Axis Hub par generate kiye gaye simulation trajectories ka upyog object placement aur visual conditions ko vary karne ke liye kiya gaya aur Booster ke vāstavik pradarshan ka upyog physical robot ke contact aur execution characteristics ko training mein shamil karne ke liye kiya gaya। Multiple tasks se collected data ka upyog Booster ke body aur control system ke liye familiar initial model banane mein bhi kiya gaya।ब्राउज़र में इकट्ठा किया गया Trajectory वास्तविक रोबोट के मूल्यांकन और प्रारंभिक मॉडल शिक्षण में वास्तविक रूप से उपयोग किया गया था। #PhysicalAI #RobotLearning