復旦大学と美团LongCatがオープンソースのインタラクティブワールドモデルベンチマークWBenchを公開

復旦大学と美団LongCatは、インタラクティブワールドモデルにおける動画生成を評価するためのベンチマーク「WBench」をオープンソース化しました。WBenchは289のテストケースと1,058のインタラクションラウンドを備え、ナビゲーション、アクション、視点制御におけるサポートとレジスタンスの指標を含みます。このベンチマークはテキスト、6自由度のポーズ、離散的アクションを用いてクロスコントロール比較を実現します。評価には22の指標が使用され、人間の評価と高い相関を示しています。テスト結果によると、物理的正確性とレンダリングは一致していますが、制御能力は遅れています。オープンインタレスト分析では、マルチラウンドのインタラクションにおけるモデルの弱点が浮き彫りになり、ナビゲーション制御が最も急速に低下しています。HY-World 1.5が安定性でリードし、LingBot-Worldが一貫性で優れています。第一人称ビューと剛体対象は依然として比較的容易ですが、非剛体対象は引き続き課題です。