[実際のデモ10回：物体接触0/20。シミュレーションをさらに50個追加すると17/20] @KaitoAI X @axisrobotics Axis参加リンク（リファラル）：https://t.co/hUbWSVsBVR ロボットに新しいタスクを教えるには、実機でデモデータを収集するのに多くの時間とコストがかかります。 ロボットを準備し、作業空間を整えた後、人が直接操作して数十回、数百回の記録を生成しなければならず、物体や環境が変われば新たなデータも必要になります。 Axisと@boosteroboticsは、最近、Boosterのデュアルアームロボットを使用して、実際のデモにAxisのシミュレーショントラジェクトリを組み合わせた場合、学習結果がどのように変わるかを実験しました。 使用したタスクは、ペンを掴むこととイヤホンケースを掴むことです。 ロボットが物体に接触したか、グリッパーで掴めたか、実際に持ち上げられたかをそれぞれ評価し、すべてのポリシーは同じPi0.5モデルのチェックポイントから開始しました。 Axis Suiteでは、実際の作業空間を短時間で撮影し、事前学習済みの2Dから3Dモデルを使用してタスクに最適なデジタルツインを作成できます。 作成されたシーンはAxis Hubにデプロイされ、物理ロボットを持っていない複数の貢献者も同じタスクのシミュレーショントラジェクトリを生成できます。 物体の位置、カメラ視点、照明、素材、背景、周囲の物体を変更しながら、同じタスクをさまざまな条件で実行できます。 イヤホンケースを使用した低データ実験には、実際のデモ10回が使用されました。 このデータで学習したポリシーは、実際のBoosterロボットで20回実行した際、目標物体に一度も接触しませんでした。 実際のデモ10回はそのままに、Axisシミュレーショントラジェクトリ50個を追加したポリシーは、20回中17回物体に接触しました。 6回はグリップ段階まで進み、そのうち2回はイヤホンケースを持ち上げることに成功しました。 より多くのデータを使用した実物ロボット評価では、複数の組み合わせを試しました。 ペンタスクのreal-onlyポリシーはリフト率35%を記録し、シミュレーション比率67%の条件では40%でした。 イヤホンケースではreal-onlyが30%、シミュレーション比率50%の条件で40%でした。 各条件は実物ロボットで20回実行され、全体の評価は240回のロールアウトで構成されました。 シミュレーションでは、物体の位置や視点、背景などの条件を迅速に変更し、反復データを作成できます。 実際のデモには、カメラ特性、アクチュエータの反応、グリッパーのタイミング、接触および実行誤差など、物理的デバイスで発生する情報が含まれます。 今回の2つのタスクにおいて最高のリフト率は、実際のデモとタスクに最適化されたシミュレーションデータを併用した条件で得られました。 AxisとBoosterは、複数のタスクで収集したデータを使用して、Booster専用の初期モデルも作成しました。 これは新しいタスクを学習する前に、Boosterのカメラ配置、2本の7-DoFアーム、グリッパー、アクション表現、基本的な動きを事前に習得させるモデルです。 シミュレーション元データは95個のリポジトリと76個の言語コマンドにまたがる44,039エピソードでした。 静的なトラジェクトリと使用されたアームを明確に区別できない記録を除外した後、42,046エピソード、3,249,835フレームが残り、5Hz基準で約180.55時間分でした。 成功・失敗の判定とテレメトリ、観測値が整ったBoosterの実際のデモも学習に使用されました。 このデータでPi0.5をフルパラメータ継続的プリトレーニングした後、ペンとイヤホンケースタスクに適応させました。 タスクあたり30回のデモを使用した場合、Booster専用モデルは16回中14回、「接近→グリッパー閉じる→上昇」の行動順序を実行しました。 元のPi0.5モデルは同じ30回条件で6/16、デモを60回に増やした条件では10/16でした。 タスクごとの追加学習を行う前のゼロショットシミュレーションでも、平均手首からターゲットまでの距離は17.27cmから5.78cmに減少し、命令されていない側のアームの移動量は5.04ラジアンから0.25ラジアンに減少しました。 これらの数値はAxisとBoosterが実施した共同実験の結果です。 同様の結果を独立して再現した研究はまだ公開されていません。 実際のデモ10回とシミュレーション50個を使用した低データ評価は物理的Boosterロボットで行われ、Booster専用モデルの30回・60回デモ比較はIsaac Simで行われました。 この2つの評価で得られた数値を1つの実物ロボット性能指標として統合することはできません。 Axis Hubで生成されたシミュレーショントラジェクトリは、物体配置や視覚条件を多様化するために使用され、Boosterの実際のデモは物理ロボットの接触および実行特性を学習に組み込みました。 複数のタスクから整理されたデータは、Boosterの体と制御方法に慣れた初期モデルの構築にも使用されました。ブラウザで収集されたTrajectoryは、ボースターの実物ロボット評価と初期モデル学習に実際に使用されました。 #PhysicalAI #RobotLearning