以前は、ロボットが物を掴めるようになれば、別の機械に移しても同じように動かせるものだと思っていました。AxisとBoosterのこの実験を見て、自分が単純に考えていたことに気づきました。 Frankaがイヤホンケースを掴めるようになったとしても、Boosterに切り替えると、以前の動作はまったく機能しなくなる可能性があります。 両機械の腕の長さ、関節の数、カメラの視点、グリッパーの構造がすべて異なります。Boosterは二腕構造で、各腕には7つの自由度があります。モデルは、新たに見える映像に適応するだけでなく、この新しい体をどう制御するかも学ぶ必要があります。 これまでこのような状況に対応するには、エンジニアが実物ロボットの横に立ち、繰り返しリモートでデータ収集を行う必要がありました。機械の数に限りがあり、シーンや対象物を変えるたびに、また新たなデータを収集しなければなりませんでした。 @axisrobotics は今回、Boosterの実際の作業台をシミュレーション環境に再現し、タスクをブラウザ上で実行できるようにして、世界中のユーザーに操作を手伝ってもらいました。物体の位置、照明、視点、背景は常に変化し、最終的に42,046本のシミュレーション軌道が抽出され、Boosterが自身の構造に精通した基礎戦略を学習するためのデータとして使用されました。 イヤホンケースのテストデータは明確です。 実際のデモが10本だけの場合、ロボットは20回連続で試行しましたが、一度も目標に触れませんでした。対応するシミュレーション軌道50本を追加した後、20回のテスト中17回がイヤホンケースに触れ、6回は成功して掴み、そのうち2回は持ち上げることまで完了しました。 別のテストでは、これらのデータで事前学習されたBoosterの戦略が、各タスクに30本の実際のデモを使用した場合、オリジナルのπ₀.₅モデルが60本の実際のデモを使用した場合よりも優れた性能を発揮しました。 この実験は公式テストのいくつかのタスクのみをカバーしており、他の機械や複雑なシーンでも同様の改善が再現できるとは限りません。しかし、この実験によりAxisがこれらのデータを収集する意義がわかりました。つまり、まずシミュレーション環境で目標を見つける・角度を調整する・物体に近づくことを練習し、実物ロボットではわずかな実際の操作で接触と掴みを補うというアプローチです。 もちろん、タスクホールで私たちが記録した軌道はそのままBoosterの学習データには組み込まれません。データは再生・選別・フォーマット変換を経て、対応する機械に適合することを確認しなければなりません。 以前はタスク完了後、スコアやポイントだけを見ていました。今は自分の動作が揺れていないか、掴みのルートがスムーズかにも注目するようになりました。ロボットが新しい体になったとき、実際のデータ収集量を半分に減らせるかどうかは、これらの軌道の質に大きく依存しています。 体験したい方はBeginnerタスクから始めてください。タスクを完了したら、PortfolioでBase署名を忘れずに： https://t.co/Bo1luv9UkN