[實際示範 10 個：物體接觸 0/20。再增加 50 個模擬軌跡，則為 17/20] @KaitoAI X @axisrobotics Axis 參與連結（推薦）：https://t.co/hUbWSVsBVR 為機器人學習新任務，通常需要在真實設備上收集示範數據，耗時且成本高昂。 必須先準備機器人、調整工作空間，再由人工操作數十至數百次以記錄數據，一旦物體或環境改變，又需重新收集新數據。 Axis 與 @boosterobotics 最近利用 Booster 的雙臂機器人進行實驗，探討將 Axis 的模擬軌跡與真實示範結合時，學習效果如何變化。 實驗任務為拾取筆與耳機盒。 評估標準分為：是否觸及物體、夾爪是否成功抓取、是否實際抬起。所有策略均從相同的 Pi0.5 模型檢查點開始。 在 Axis Suite 中，可透過短時間拍攝真實工作空間，並使用預訓練的 2D 至 3D 模型，為任務生成數位雙生體。 生成的場景會部署至 Axis Hub，即使參與者沒有物理機器人，也能為相同任務生成模擬軌跡。 可變動物體位置、攝影機視角、照明、材質、背景與周圍物體，在多種條件下重複執行相同任務。 在使用耳機盒的低數據實驗中，僅使用了 10 個真實示範。 以此數據訓練的策略，在真實 Booster 機器人上執行 20 次時，從未觸及目標物體。 保持 10 個真實示範不變，並額外加入 50 個 Axis 模擬軌跡的策略，在 20 次執行中成功觸及物體 17 次。 其中 6 次完成抓取階段，2 次成功抬起耳機盒。 在使用更多數據的實物機器人評估中，測試了多種組合： 筆任務的純真實策略（real-only）達到 35% 的抬起率，而模擬比例為 67% 的條件下則為 40%。 耳機盒任務的純真實策略為 30%，模擬比例為 50% 的條件下則為 40%。 每種條件均在真實機器人上執行 20 次，總計完成 240 次 rollout 評估。 模擬環境能快速變動物體位置、視角與背景，以生成重複數據。 真實示範則包含攝影機特性、致動器反應、夾爪時序、接觸與執行誤差等物理設備特有的資訊。 本次兩項任務的最佳抬起率均出現在同時使用真實示範與針對任務優化的模擬數據的條件下。 Axis 與 Booster 還利用多項任務收集的數據，為 Booster 設計了專屬初始模型。 此模型在學習新任務前，已提前熟悉 Booster 的攝影機佈局、兩個 7-DoF 臂、夾爪、動作表示與基本動作。 模擬原始數據來自 95 個倉庫與 76 個語言指令，共計 44,039 個 episode。 排除靜態軌跡與難以區分使用手臂的記錄後，剩餘 42,046 個 episode、3,249,835 幀，相當於以 5Hz 為基準約 180.55 小時的數據。 同時也使用了具備成功標記、遙測與觀測資料的 Booster 真實示範進行訓練。 使用此數據對 Pi0.5 進行全參數持續預訓練後，再適應筆與耳機盒任務。 當每項任務使用 30 個示範時，Booster 專屬模型成功執行「接近 - 夾爪閉合 - 向上移動」序列共 14/16 次。 原始 Pi0.5 模型在相同 30 個示範條件下僅達 6/16，在增加至 60 個示範時為 10/16。 在進行任務特定微調前，zero-shot 模擬中平均手腕至目標距離從 17.27cm 減少至 5.78cm，未受指令控制的手臂移動量從 5.04 rad 減少至 0.25 rad。 以上數值均來自 Axis 與 Booster 的合作實驗結果。 目前尚未有獨立研究成功重現相同結果。 使用 10 個真實示範與 50 個模擬的低數據評估在物理 Booster 機器人上進行；Booster 專屬模型的 30 個與 60 個示範比較則在 Isaac Sim 上進行。 這兩項評估的數值無法直接合併為單一實物機器人的性能指標。 Axis Hub 所生成的模擬軌跡用於多樣化物體佈置與視覺條件；Booster 的真實示範則將物理機器人的接觸與執行特性納入訓練。 從多項任務整理出的數據也用於建立熟悉 Booster 身體與控制方式的初始模型。在瀏覽器中收集的 Trajectory 已實際用於 Booster 的實體機器人評估與初始模型學習。 #PhysicalAI #RobotLearning