Fudan at Meituan LongCat Open-Source Interactive World Model Benchmark WBench

ME AI mensahe, ayon sa pagmamasid ng Beating, ang Fudan University at ang team ng Meituan Longcat ay nag-open source ng interactive world model benchmark na WBench, na nagtataya sa kakayahan ng video generation sa pagbuo ng mga patakaran sa pisika, panahon-espasyo na pagkakatugma, at interaktibong kontrol. Ang benchmark ay naglalaman ng 289 na test cases at 1,058 na round ng interaksyon, na kumakatawan sa first-person at third-person perspectives, at nag-iintegrate ng navigation control, actor actions, event editing, at perspective switching. Ang WBench ay nag-uunify ng text instructions, 6-DOF pose, at discrete action interfaces upang magbigay-daan sa paghahambing sa iba’t ibang control paradigms. Ang sistema ng pagtataya ay may 22 automatic metrics, at ang mga score ay may Spearman rank correlation coefficient na hindi bababa sa 0.94 sa paghahambing sa human blind testing win rate. Ang pagsubok ay nagpapakita na kumpara sa video quality na umaabot na sa saturation, ang interaktibong kontrol at ang rendering, consistency, at physical fidelity ng model ay halos dekoupled. Ang camera motion control ay hindi nagjamin ng actor consistency; halimbawa, ang HY-World 1.5 at Matrix-Game 3.0 na may mahusay na navigation performance ay nagtatagpo ng pagkawala ng actor identity at perspective drift sa third-person view. Samantala, ang physical correctness ay mataas na positibong nauugnay sa rendering quality, ngunit malapit sa zero ang ugnayan nito sa control capability. Ang open-source world models ay nangunguna sa maraming aspeto: ang HY-World 1.5 ay nakuha ang pinakamataas na score sa navigation control, ang LingBot-World ay nakuha ang unang puwesto sa consistency, at ang Matrix-Game 3.0 ay nasa unang puwesto sa action navigation. Ang maraming round ng interaksyon ay nagpapakita na ang lahat ng model performance ay bumababa habang tumataas ang bilang ng round, at ang navigation control ay bumababa nang pinakamabilis dahil sa akumulatong spatial bias. Ang eksplisitong geometric control ay epektibong nagpapababa ng drift; halimbawa, ang multi-round stability ng HY-World 1.5 ay mas mataas kaysa sa text-driven Kling 3.0. Ang dynamic scene at actor rigidity ay bumubuo sa pangunahing lohika ng benchmark difficulty: ang first-person, static scene, at rigid robot actor ay madaling maisagawa, habang ang malalaking galaw, hayop, at iba pang non-rigid actor ay patuloy na hamon dahil sa complexity ng deformation at velocity. (Pinagkunan: BlockBeats)