Автоматизований робот випустив свою першу саморегресивну світову модель WALL-SS, спрямовану на вирішення проблеми невідповідності між діями та результатами у світових моделях роботів. Модель за допомогою ієрархічного механізму прогнозування від грубого до дрібного забезпечує справжню відповідність різних дій різним результатам та дозволяє здійснювати безперервне моделювання до 60 секунд. Тестування показало, що показник слідування діям WALL-SS досяг 0,29, що значно перевищує 0,044 у Cosmos3-Nano. Автоматизований робот провів 600 експериментів з віртуальними та реальними паралелями, коефіцієнт кореляції успішності завдань склав 0,926, що свідчить про те, що світова модель може допомогти роботам перевіряти стратегії у віртуальному середовищі заздалегідь.Автор статті, джерело: GeekPark
Наступна битва у світі роботів-моделей, можливо, не в якості зображення, а в архітектурі.
Автор | Li Yuan
Редагування｜Чжэн Сюань
Захват механічної руки, який насправді не тримає склянку, але, як із магнітом, піднімає її разом із собою. Ця, здавалося б, абсурдна проблема тривожить моделі роботів, і галузь навіть назвала її «магнітним захватом».
Відеогенераційні моделі вважаються успішними, якщо зображення виглядає правдоподібно; але моделі світу не можуть обмежуватися лише «виглядом правди». Дані для навчання роботів переважно походять з успішних демонстрацій, через що моделі схильні шукати спрощення: замість розуміння тонкостей рухів, вони просто генерують найбільш ймовірний результат, спираючись на зображення.
У реальному світі зміщення захоплювача на кілька міліметрів може призвести до того, що замість того, щоб підняти чашку, вона буде збита або захоплена не вдалося. Те, що справді потрібно зрозуміти світовій моделі, — це причинно-наслідкові зв’язки між діями та результатами.
27 серпня автономний робот опублікував наступну версію авторегресивної світової моделі WALL-SS, намагаючись перевести світову модель зі стану «функціональна» до стану «зручна використанні». WALL-SS не генерує цілий кадр одразу, а замість цього поступово, від грубого до дрібного, відтворює майбутнє, забезпечуючи справжню відповідність між діями та їх наслідками; крім того, поєднуючи механізм довгострокової пам’яті, він досягає безперервного прогнозування тривалістю до 60 секунд.
Тестування показало, що після 60-секундного безперервного прогону WALL-SS зображення та траєкторії руху залишаються ближчими до реального відео, а оцінка відповідності руху досягла 0,29, тоді як у Cosmos3-Nano — 0,044, а інші тестові моделі отримали 0. Можна сказати, що WALL-SS — це одна з небагатьох моделей, які передбачають зображення, що слідують за командами руху.
Авторитетна сторона одночасно оголосила про запуск WALL-SS. Для світу роботів, який ще не визначив єдину технічну траєкторію, запуск має значення не лише відкриття моделі, а й дозволяє галузі спільно перевірити: чи здійснює модель світу прогнозування на основі дій, чи може віртуальне моделювання справді служити реальним роботам.
Поки технологічна парадигма не зійдеться, постійне дослідження саме по собі є конкурентною перевагою. Для ембоді-інтелекту потрібні не лише швидко реалізовані апаратні рішення, а й компанії, які постійно ставлять під сумнів існуючі підходи та розширюють межі ключових технологій.
Світова модель — головний напрямок для ембоді-інтелекту
У 2026 році світові моделі стають однією з найбільш привертаючих увагу напрямків у робототехніці.
NVIDIA постійно розробляє Cosmos і починає використовувати відео-світові моделі для керування та планування роботів; V-JEPA 2 від Meta намагається дозволити роботам виконувати захоплення в незнайомих середовищах, передбачаючи зміни у фізичному світі. Все більше досліджень також розглядають можливість заміни частини реальних тестів світовими моделями, щоб роботи могли спочатку передбачити результати різних стратегій у віртуальному світі, перш ніж «діяти».
Не складно зрозуміти цей хвильовий ефект. Великі мовні моделі вчаться виявляти мовні закономірності шляхом передбачення наступного слова, тоді як світові моделі передбачають наступний стан світу: чи перевернеться чашка, якщо робот зрушить наліво; чи зможе захоплювач краще стиснути і підняти об’єкт; як зміниться сцена, якщо дію повторювати протягом десяти секунд.
Це особливо важливо для ембодімент-інтелекту. Протягом останніх кількох років галузь зосереджувалася на вирішенні питання «як» роботи, а VLA може безпосередньо генерувати дії на основі візуальних і мовних інструкцій. Але зі зростанням здатностей роботів все більш виразним стає нове питання: як визначити, наскільки добре та чи стратегія працює?
Якщо кожна ітерація моделі залежить від тестування на реальному обладнанні, це веде до високих витрат і довгих циклів, що легко стає обмеженням для навчання та ітерацій. Традиційне моделювання може виконувати частину тестування, але вимагає ручного моделювання матеріалів об’єктів, тертя, деформації та контактних взаємодій, і важко охопити складність реального світу. Моделі світу намагаються вивчити, як змінюється світ, на основі реальних відео та даних взаємодії роботів, щоб роботи могли у віртуальному середовищі багаторазово передбачати та перевіряти стратегії.
Він може навіть брати участь у прийнятті рішень роботом. Після того як VLA бачить чашку, вона безпосередньо вирішує «протягнути руку, щоб схопити», тоді як модель світу спочатку передбачає наслідки різних дій, а потім допомагає роботу вибрати більш підходящу стратегію — від «прямих дій» до «спочатку уявити, а потім діяти».
Але щоб справді стати інфраструктурою для ембодірованих інтелектів, сьогоднішні світові моделі все ще стоять перед трьома ключовими бар’єрами.
Перше — це причинно-наслідкова відповідність між дією та результатом. Модель не може лише генерувати зображення, що відповідають очікуванням, а повинна точно відображати результати, спричинені дією; інакше стратегія, яка насправді не може підняти чашку, може бути вважана успішною у віртуальному світі.
Друге — це здатність до довготривалого прогнозування. Завдання роботів часто тривають десятки секунд і навіть довше, і модель повинна постійно використовувати свої прогнози як вхідні дані для наступного кроку, де будь-яка навіть мала похибка може накопичуватися під час тривалого прогнозування.
Третє — це відповідність між віртуальним прогнозуванням та реальним виконанням. Навіть якщо генерація дуже реалістична, а прогностичні розрахунки тривають довго, це не означає, що модель справді здатна оцінювати стратегії робота. Лише тоді, коли результати у віртуальному середовищі стабільно корелюють із реальними результатами, світова модель набуває справжньої цінності як заміна частині реальних спроб і помилок.
Ці три бар’єри також стають ядром конкуренції між світовими моделями на наступному етапі.
WALL-SS, покращення світової моделі з основ архітектури
WALL-SS — це нова спроба вирішення цих проблем. Згідно з описом у статті, це перша світова модель, що використовує архітектуру наступного масштабу з автозворотом.
Раніше багато світових моделей використовували підхід відео Diffusion: на вхід подавалися історичні кадри та дії, а майбутнє відео генерувалося через кілька ітерацій зменшення шуму. Хоча дії були умовою для генерації, вони не були чітко включені в ланцюжок генерації «дія → результат», тому модель легко залежала від візуальних пріоритетів і безпосередньо передбачала «ймовірно успішне» майбутнє — навіть якщо захват не захопив чашку, модель могла згенерувати кадр, де чашка успішно піднята.
WALL-SS організовує спостереження та дії у причинно-наслідкову послідовність «спостереження — дія — нове спостереження», щоб дії справді брали участь у генерації майбутніх станів. Просто кажучи, спочатку визначається, як змінюється світ, а потім поступово додаються деталі: на грубому масштабі визначається загальний стан маніпулятора та об’єкта, а на дрібному — відновлюються рух та контакт. У поєднанні з даними про невдачі, перехід на ручне керування та корекції модель вчиться, що «різні дії призводять до різних результатів».
Цю здатність підтверджено за допомогою показників. Оцінка відстеження дій WALL-SS становить 0,29, а точність траєкторії — 0,539; порівняно з цим, оцінка відстеження дій Cosmos3-Nano становить лише 0,044. Інші моделі отримали оцінку 0.
Іншою ключовою проблемою є здатність світової моделі «пам’ятати достатньо довго». WALL-SS зберігає недавні деталі та стискає давню історію за допомогою багатомасштабної довготривалої пам’яті, дозволяючи моделі продовжувати прогнозування зі своїх власних передбачень під час навчання, що зменшує проблему накопичення похибок. Це дозволяє моделі безперервно прогнозувати до 60 секунд, тоді як для інших моделей 20–30 секунд — це межа.
Ще важливіше, ці здібності були остаточно перевірені на реальних пристроях. Автономні змінні дозволили виконати одну й ту ж стратегію як у WALL-SS, так і на реальних роботах, проведши 600 парних експериментів у віртуальному та реальному середовищах. Результати показали, що коефіцієнт кореляції успішності завдань між двома середовищами досяг 0,926, а точність впорядкування стратегій за їхньою силою склала 89%.
Це означає, що світова модель починає набувати більш важливої цінності: не лише генерувати «правдоподібне» майбутнє, а й допомагати роботам визначати, які результати матимуть різні дії, та заздалегідь перевіряти стратегії у віртуальному світі.
Звичайно, у WALL-SS досі існують межі. Його вхідні дані для дій включають лише положення, орієнтацію та відкриття/закриття захоплення кінцівки роботизованої руки, але не повністю стан суглобів, сили та моменти, тому підтримка тонкого контакту та багатопальцевих маніпуляторів потребує додаткової перевірки.
Продовжуйте інновації в архітектурі, поки маршрут ще не збігся
WALL-SS — це не результат раптового підхоплення хвилі інтересу до моделей світу. Протягом останнього року Self-Variable постійно досліджувала ту саму проблему: як справді зв’язати розуміння роботом світу, передбачення дій та їх реальне виконання.
WALL-OSS за допомогою масштабного багатомодального попереднього навчання об’єднує візуальні, мовні та робототехнічні дії в єдину ембодієну базову модель; WALL-OSS-0.5 далі розширює можливості попереднього навчання для перенесення їх на реальні роботи; після цього WALL-WM починає спільно моделювати зміни у світі та робототехнічні дії, а X-Tokenizer досліджує, як різні роботи та різні дії можуть бути включені в єдину модель. На етапі WALL-SS цей напрямок далі спрямовується на ключове питання: що саме відбувається у світі після виконання дії.
У цій серії досліджень постійно зосередженося на довгострокових зусиллях щодо єдиної моделювання «світ-дія». Роботи повинні не лише виконувати дії, а й передбачати їх наслідки, а також постійно коригувати свою поведінку на основі отриманих результатів. З накопиченням моделей, даних, онтологій та досвіду реальних пристроїв ці дослідження поступово формують взаємопов’язаний технічний цикл зворотного зв’язку.
Базова архітектура ембоді-інтелекту ще далеко не зійшлася. На цьому етапі справді важливо не те, щоб кожна спроба вгадала остаточну відповідь, а чи здатність постійно формулювати нові гіпотези щодо архітектури, перевіряти їх за допомогою даних та реальних пристроїв, а потім постійно коригувати напрямок на основі отриманих результатів.
Це продовження підходу, при якому було оголошено випуск WALL-SS. Випущено не просто модель, а цілу технологічну траєкторію, яку галузь може спільно перевірити: чи є наступний масштаб авторегресії більш підходящим для роботів, чи можуть дії та результати справді відповідати один одному, чи можуть віртуальні тести точно відображати реальну продуктивність. Дослідники можуть продовжувати дослідження на цій основі, а компанії, що виробляють роботів, можуть безпосередньо перевірити, чи можна включити це до своїх систем навчання та оцінки.
Це також має більш важливе значення для ранньої галузі ембодірованих інтелектуальних систем: зменшення витрат на дослідження в галузі та дозвіл різним напрямкам пройти перевірку у реальних застосуваннях.
Протягом останніх кількох років конкуренція в галузі втіленого штучного інтелекту в країні зосереджувалася переважно на корпусі, даних та реалізації продуктів. Але в індустрії, яка ще не сформувалася, не можна просто чекати появи зрілої архітектури, перш ніж починати наздоганяти — потрібно, щоб хтось зайняв більш фундаментальні позиції, такі як світові моделі, представлення дій та навчальні парадигми, постійно шукаючи наступну можливість.
WALL-SS, звичайно, не є остаточною відповіддю, але він символізує зміну: українські компанії починають не просто дотримуватися існуючих шляхів, а пропонувати власні архітектурні припущення та відкривати їх для перевірки галуззю.
Коли відбувається справжній перехід на нову технологічну траєкторію, вирішуючим фактором для компанії є не те, чи вона встигла застосувати попереднє покоління, а чи вона завжди зберігає здатність досліджувати наступне покоління.