У першій половині 2026 року загальний обсяг фінансування в секторі світових моделей штучного інтелекту в Китаї склав близько 90 мільярдів юанів, зі зростанням більше ніж у 5 разів.

Автор статті, джерело: Leiphone

У першій половині 2026 року гроші та люди з китайського AI-середовища зосередилися на одному напрямку: світових моделях.

Тільки за перші шість місяців загальна сума фінансування, оголошена в секторі світових моделей в Китаї, становить близько 30 мільярдів юанів; якщо додати сектор, що поєднує «ембоді-інтелект + світові моделі», ця цифра зростає до понад 90 мільярдів юанів.

Зростання фінансування перевищує 5 разів порівняно з аналогічним періодом минулого року.

Десятки мільярдів валютних одиниць і масштабні таланти, як хвилі, виливаються сюди.

Одне з незаперечних питань: скільки людей, що ввійшли, справді зрозуміли, що це за річ?

Практикуючі шукають напрямок, інвестори шукають людей, рекрутери вивчають організації, а стратегічні відділи великих компаній досліджують, хто виживе.

Дивно те, що всі задають одне й те саме питання: хто-небудь може чітко пояснити, що таке світова модель?

Так.

Сьогодні ми глибоко інтерв’юємо вченого-посадовця Інституту IDEA та засновника ShiQi Future Чжан Лей, щоб розібратися в цьому питанні.

Він — член IEEE, цитувань у Google Scholar понад 77 000. Його серія DINO протягом 5 місяців домінувала на COCO, Grounding DINO та наступні версії DINO-X перевершили Google та Meta, і їх «стандартно» цитують такі світові лідери, як команда Лі Фейфей, NVIDIA та Galaxy AI.

У 2025 році він разом із командою заснував ShiQi Future через інкубатор IDEA, і за місяць у рамках ангельського раунду було отримано майже 100 мільйонів юанів.

Позади них стоять два великих експерти з штучного інтелекту: академік Чжан Бо (один із засновників штучного інтелекту в Китаї) та академік Шень Сяньян (колишній виконавчий віце-президент Microsoft та колишній директор Microsoft Research Asia).

Але це не головна причина, чому ми шукали його.

Причина, чому ми шукали його, проста: у 2026 році, коли всі суперечили про те, що таке світова модель, Чжан Лей був одним із небагатьох, хто надав чітку, практичну та незалежну від будь-яких домінуючих поглядів відповідь.

Від головного дослідника лабораторії Microsoft до професора Інституту IDEA, а потім до підприємця — його кар’єрний шлях кілька разів змінював напрямок, але дослідницька задача ніколи не змінювалася: «Змусити ШІ розуміти об’єкти».

Модель світу — це ключова відповідь на цю проблему, над якою працювали понад двадцять років у фізичному світі.

Якщо ви стежите за напрямком світових моделей, хочете зрозуміти, чи є це справді пінна, хто виграє в боротьбі за стратегію та які команди найвартіші для слідування — ця розмова варта того, щоб її дочитали до кінця. Бо це справді варто вашого часу.

Нижче наведено транскрипт діалогу, який був скорочений AI Tech Review без зміни змісту.

Доктор Чжан Лей, член IEEE, засновник і генеральний директор ShiQi Weilai, поточний відомий науковець у Центрі досліджень комп’ютерного зору та робототехніки (CVR) Інституту IDEA, доцент-консультант Гонконзького науково-технічного університету (Гуанчжоу), колишній головний дослідник у Майкрософт Азіатському дослідницькому інституті та Дослідницькому інституті Майкрософт у штаб-квартирі, автор понад 200 наукових статей у галузі комп’ютерного зору, більше 77 000 цитувань у Google Scholar, H-індекс 107, володіє понад 60 патентами США. Обраний членом IEEE за видатний внесок у галузь масштабного розпізнавання зображень та мультимедійного пошуку інформації.

Найбільшим обмеженням ембодірованого інтелекту є не тіло, а мозок

Оцінка штучного інтелекту: З початку минулого року спостерігається вибух інтересу до ембодірованого інтелекту — компанії-розробники роботів все більше вражають своїми досягненнями в керуванні рухом: роботи з Yushu біжать марафон, а роботи з Zhìyuán виконують кульбити. Однак ми помічаємо, що на практиці ще не вистачає останнього штовхка. Які, на вашу думку, основні виклики залишаються неперебореними для реального впровадження ембодірованого інтелекту?

Чжан Лей: Основні задачі, які мають вирішити роботи — це успішність і універсальність. Успішність означає, наскільки надійно виконується певна дія; універсальність — це здатність надійно виконувати ту саму задачу в інших умовах або з іншими суб’єктами.

Є чотири конкретні виклики:

По-перше, недостатня універсальність для окремих сценаріїв. Зараз багато команд можуть досягти успішності 70% або навіть 80% у окремих сценаріях, що звучить як великий прорив. Але що означає 80% у реальних умовах? Це означає, що кожна п’ята операція закінчується невдачею, що все ще вимагає великої кількості людських ресурсів для покриття помилок і повністю виключає можливість незалежного розгортання.

Друге, недостатня універсальність сценаріїв поперечного розширення. Спочатку слід розгорнути здатності в одній точці до максимуму, а потім розширити застосування на ширший спектр сценаріїв, щоб вони могли виконувати більше та складніші завдання в більш складних умовах. Це найбільша пропасть, що перешкоджає переходу роботів від «лабораторних демонстрацій» до «реальних застосувань».

Третє — відсутність глибинних здібностей «мозку». Сучасне глибоке навчання більше зосереджене на вивченні «поведінки» інтелекту, а не його «механізму» (принципів роботи інтелекту). Тілесний мозок повинен володіти справжнім причинно-наслідковим мисленням щодо фізичного світу (не лише статистичними зв’язками, а розумінням логічних ланцюжків «через А виникає В»), загальними знаннями та здатністю до адаптації, і в цьому аспекті ми лише почали.

Четверте, ще далеко до застосунків «енд-у-енд». Наразі більшість роботів все ще залежать від величезних зовнішніх обчислювальних ресурсів і повинні вирішити фундаментальну проблему «не потребують підтримки людини», щоб бути масово застосовані в багатьох сценаріях та сформувати добросусідний цикл «застосунок-дані-ітерація».

Коментарі щодо штучного інтелекту: Щиро кажучи, думки в галузі щодо цього питання дуже розходяться. Команди, що займаються апаратним забезпеченням, вважають, що китайські ланцюги постачання мають очевидну перевагу і слід спочатку знизити вартість основного обладнання; команди, що працюють з алгоритмами, вважають, що справжнім обмеженням є саме «мозок». Як ви думаєте?

Чжан Лей: Мозг складніший, але важливіший.

Щодо апаратного забезпечення, Китайські інженерні розробки викликають пишність. Компанії, такі як Unitree та Zhìyuán, шляхом симуляційного підсиленого навчання (навчання алгоритмів керування у віртуальному середовищі з подальшим перенесенням на реальних роботів) постійно вдосконалюють системи руху, працюючи над ключовими компонентами, такими як двигуни та передавальні механізми, значно покращивши вартість та надійність — вони пройшли дуже міцний шлях. Однак здатності, продемонстровані апаратним забезпеченням під час марафонів та виступів, можна охарактеризувати лише як базову реалізацію фундаментальних здібностей тварин — вони ще не досягли інстинктивних реакцій, стрибків, уникнення перешкод та взаємодії з оточуючим середовищем.

Коментарі з AI: Ви кажете, що «мозок» складніший — у чому саме складність? Недостатньо даних чи наші уявлення про інтелект ще занадто поверхневі?

Чжан Лей: Складність полягає в тому, що ми насправді не розуміємо механізми, що лежать в основі. Людський мозок у порівнянні з іншими тваринами має найбільшу різницю та найвищий рівень інтелекту. Зараз всі прориви у глибокому навчанні базуються на спостереженні за тим, до якого рівня інтелекту досяг мозок, і використанні алгоритмів для їхньої реалізації. ШІ насправді вчиться людській поведінці, а не самому людському інтелекту. Як часто каже професор Чжан Бо: великі мовні моделі можуть говорити, як люди, але розуміють мову зовсім інакше.

Чому світові моделі 20 років були «забуті», і сьогодні раптово стали популярними?

Коментарі щодо штучного інтелекту: Разом із вибухом у сфері ембодімента раптово набуло популярності поняття «модель світу». Але всі в галузі знають, що це не нове слово — ще у 90-х роках про це згадували вчені. Нас цікавить, чому це поняття було непомітним протягом двадцяти років і раптово стало трендом саме зараз?

Чжан Лей: Це добра питання. Моделі світу — це не нове поняття. На початку 90-х років вчені намагалися моделювати середовище, необхідне для взаємодії агентів (AI-систем, які можуть сприймати середовище та виконувати дії для досягнення мети), щоб покращити алгоритми підсилювального навчання, але тоді глибоке навчання ще не розвивалося, і після запровадження цього поняття його було важко перевірити.

Ця концепція справді була підтверджена близько 2018–2019 років, коли з’явилися справжні статті під назвою «World Models» і їх застосували у ігрових сценаріях, оскільки ігри є найкращим середовищем для перевірки підсилювального навчання.

Через кілька років розвитку глибокого навчання штучний інтелект вже зміг перемогти людей у іграх. Тоді дослідники почали думати: чи можна змусити агенти ШІ самостійно «навчитися» світової моделі в процесі постійної взаємодії з ігровим середовищем, вмістивши процес еволюції середовища всередину моделі? Ця ідея була повністю підтверджена приблизно між 2018 і 2020 роками.

Коментарі щодо штучного інтелекту: А яка це має відношення до сьогоднішнього ембоді-інтелекту? Звучить так, ніби саме ембоді-інтелект став тим сірником, що запалив інтерес до світових моделей?

Чжан Лей: Цей зв’язок треба починати з мовних моделей. Спочатку галузь розробила VLA (Vision-Language-Action — модель «бачення-мова-дія», коли робот, дивлячись на зображення, передбачає наступну дію), використовуючи парадигму імітаційного навчання мовних моделей: мовна модель виконує передбачення наступного токена; у втіленій VLA робот, дивлячись на поточне зображення, передбачає, яким має бути наступна дія.

Але цей підхід швидко досяг межі. Межа полягає не лише в даних — я вважаю, що дані — це лише одна сторона, а інша — недостатнє застосування підсиленого навчання. У мене є метафора: імітаційне навчання навчає мовні моделі говорити, а підсилене навчання — говорити правильно.

Інтелект робота та успішність його дій також потребують підсиленого навчання.

Але застосування підсиленого навчання до роботів стикається з двома смертельними перешкодами: по-перше, ефективність збору даних надзвичайно низька, набагато нижча, ніж у мовних моделей; роботи повинні фактично виконувати кожну дію в реальному середовищі та чекати на фізичну відповідь; по-друге, вартість невдачі неприйнятно висока: якщо робот не навчиться мити посуд, він просто розбиває тарілки, а автономне керування може навчитися уникати аварій лише після великої кількості реальних аварій. Це абсолютно відрізняється від низьковитратного експериментування мовних моделей у цифровому світі.

Віртуальне середовище, надане світовою моделлю, є саме тим виходом, який потрібен для вирішення цих проблем. Якщо модель може передбачити «як зміниться середовище, якщо я зроблю цю дію», то робот може спочатку «уявляти» мільйони спроб і помилок у віртуальному світі, не розбиваючи справді десятки тисяч тарілок.

(Примітка автора: Просто розумійте логічний ланцюжок цього тексту. По-перше, роботу потрібно багато проб і помилок, щоб навчитися робити щось. По-друге, проби і помилки у реальному світі надто дорогі та небезпечні. По-третє, світова модель — це створення «віртуального тренувального майданчика» для робота, де він може уявно промоделювати наслідки всіх дій. По-четверте, достатньо застосувати найкращий варіант у реальному світі. Ось чому світові моделі саме зараз стали головною метою для всієї галузі.)

Якщо дія не є умовою введення, це не називається світовою моделлю

Коментарі з штучним інтелектом: Зараз у галузі досить плутанина з визначенням «світової моделі». Відеогенерацію називають світовою моделлю, 3D-моделювання простору — світовою моделлю, а JEPA (архітектура спільного вкладення з прогнозуванням) Лекуна теж називають світовою моделлю. Як ви вважаєте, які мінімальні умови повинна мати модель, щоб заслуговувати на ці чотири слова?

Чжан Лей: Я вважаю, що світова модель обов’язково повинна мати залежність від дій, тобто Action Conditioned (дія як вхідний параметр; модель повинна здатна відповісти на питання: «Якщо виконати певну дію, як зміниться середовище?»).

Агент може взаємодіяти з середовищем завдяки діям: дії агента викликають зміни в середовищі, після чого виникає новий стан, який повертається агенту як відгук, що повідомляє, чи наблизився його поточний дія до мети. Це замкнений цикл, де кожен перехід стану середовища залежить від конкретної дії, виконаної на попередньому кроці.

Люди часто кажуть, що світова модель — це заміна Next Token Prediction у мовній моделі на Next State Prediction, але я вважаю, що це визначення недостатньо строге і не включає ключову умову. Правильне формулювання має бути таким: Action Conditioned Next State Prediction. Лише з урахуванням дії як передумови, прогнозування стану має сенс і справді відповідає вимогам підсилювального навчання.

Коментарі з ІТ: Справді, багато людей, включаючи деяких інвесторів у BP, звикли називати такі моделі генерації відео, як Sora, моделями світу. Але згідно з вашими критеріями, вони явно не мають виміру дії. Ми хотіли б почути ваш розбір цього питання?

Чжан Лей: Модель світу, яку ми обговорюємо тут, походить з галузі підсилювального навчання та базується на model-based методах, щоб допомогти агентам ефективніше взаємодіяти з середовищем. Хоча модель світу має багато застосувань, найбільш чітким і найціннішим застосуванням наразі є ембодірований інтелект.

У цьому сенсі чисті моделі генерації відео, такі як ранній Sora, не можуть називатися моделями світу. Основна причина полягає в тому, що вони не моделюють «дії» — вони суттєво генерують самосумісний відеопослідовність, передбачаючи, як змінюються пікселі, але повністю не моделюють дії взаємодії робота з оточенням. Чи може вона непрямо допомогти роботу? Вона може вивчити деякі закономірності змін у світі, але важко допоможе роботу краще взаємодіяти з оточенням.

Коментарі щодо штучного інтелекту: а що з недавно популярною World Action Model (моделлю світових дій)? Ми чули, що й вона говорить про дії — це інший тип світової моделі?

Чжан Лей: WAM також не є світовою моделлю у сенсі підсиленого навчання. Вона використовує піксельну супервізію, отриману з прогнозованих майбутніх зображень, для покращення прогнозування дій і вже продемонструвала кращу продуктивність, ніж VLA, у деяких завданнях. Однак її моделювання є «від наслідку до причини»: спочатку генерується майбутнє зображення, а потім зворотно виводяться дії, тому її не можна використовувати в підсиленому навчанні, і вона не відповідає визначенню світової моделі, яке ми обговорюємо тут.

Піксель-партія проти простору-прихованої партії: обидві сторони насправді роблять одне й те саме

Коментарі з штучним інтелектом: Коли йдеться про боротьбу за напрямок, це зараз найгарячіша тема в галузі світових моделей. Лекун — лідер напрямку прихованого простору, а Sora представляє піксельний напрямок. Ці два напрямки здаються непримиренними. Як ви на це дивитеся?

Чжан Лей: Спочатку ми повинні зрозуміти, що обидва шляхи мають спільні риси.

Насправді зараз всі відчувають їхню сильну протилежність, можливо, тому що Лекун дуже чітко й впевнено підтримує свою позицію, і іноді вчений, щоб його позицію запам’ятали, має говорити досить чітко.

Але піксельний підхід також має використовувати латентний простір для обробки. Stable Diffusion, Sora спочатку стискають зображення або відео до低вимірного простору представлення, а потім обробляють. Тому простір представлення — це справжній суттєвий питання. Справжня різниця між двома підходами полягає не в тому, чи використовувати латентний простір, а в тому, що зберігати, а що викидати після входу в латентний простір.

Різниця полягає в тому, що латентний простір намагається виключити піксельні деталі, такі як світло, тінь і текстура, які не визначаються фізичними законами, що допомагає моделі вивчити більш фундаментальні закономірності зміни стану, але вона стикається з ризиком катастрофічного знищення представлення: якщо десять тисяч різних зображень відображаються на абсолютно однакове представлення, представлення руйнується, що означає втрату моделлю здатності розрізняти різні стани. Піксельний підхід прагне до максимальної деталізації, сутність якого — задовольнити людське око, оскільки люди дуже чутливі до візуальних деталей.

Коментарі з ІТ: Дійшовши до цього, у нас виникло інтуїтивне відчуття. Чи не здійснює людський мозок виведення також у прихованому просторі? Коли ти закриваєш очі й уявляєш наслідки дії, хто насправді відтворює кожен піксель у голові?

Чжан Лей: Так. Якщо людський мозок містить модель світу, то уявлення того, як дії змінюють середовище, насправді відбувається в латентному просторі, а не шляхом поетапного перегляду кожного пікселя зображення в голові. Тому використання оцінки якості зображення людським оком як критерію оцінки моделі світу є недостатнім. Якщо піксельний підхід має створювати модель світу, то справжнім цільовим показником має бути не ступінь реалізму пікселів, а фізична правдоподібність згенерованої відеосерії.

(Примітка автора: Цей діалог стосується суперечки між двома підходами до моделей штучного інтелекту. Підхід, представлений Sora, який базується на пікселях, зосереджується виключно на реалістичності зображення, але часто призводить до помилок, що суперечать фізичним законам — наприклад, чашка зависає в повітрі, об’єкти проходять крізь один одного, а свічка не гасне. Натомість Лекун і Чжан Лей пропонують підхід до прихованого простору, де зображення спочатку абстрагується до закономірностей, а потім моделюється, що дає краще розуміння фізичних причинно-наслідкових зв’язків. Ключовим інноваційним елементом Чжан Лея є додавання «структури об’єктів» до прихованого простору, що дозволяє ШІ спочатку розрізняти окремі об’єкти — чашку, стіл, людину — а потім вивчати закономірності їхньої взаємодії. Це виключає візуальні помилки, як у Sora, і робить підхід більш придатним для роботів у реальному світі, особливо для уникнення перешкод, захоплення об’єктів та планування рухів.

Коментарі з AI: Ви йдете тією ж самою таємною просторовою дорогою, що й LeCun. Але ми чули, що ваш підхід має ключову відмінність від нього — ви підкреслюєте необхідність «введення структури об’єктів». У чому суть цієї відмінності?

Чжан Лей: Наш підхід ділить ту саму першопричину з Лекуном: людський мозок здійснює контрфактичні міркування («Що станеться, якщо я зроблю це?») у формі діє-умовних висновків, проводячи міркування на рівні абстрактних представлень, а не відтворюючи пікселі.

Протягом останніх кількох років Лекун підтвердив цю аксіому за допомогою I-JEPA, V-JEPA та LeJEPA: прогнозування має відбуватися в просторі представлення. Однак складність фізичного простору в напрямку ембодімента надзвичайно висока, і, на нашу думку, для застосування цього методу в масштабних реальних середовищах необхідно ввести необхідну структуру в прихований простір.

Ця ідея базується на нашій підтвердженній компетентності. Наша основна команда розробила DINO-X, який вирішив проблему «бачення об’єктів» у відкритому світі. Тому зараз ми робимо об’єкти базовими одиницями для прогнозування та планування моделлю світу. Інтуїтивно, фізичні закони діють на об’єкти, і розуміння об’єктів у прихованому просторі дозволяє ефективніше вивчати фізичні закони.

Коментарі щодо штучного інтелекту: Зараз, ми хочемо задати ще одне питання. LeCun з AMI Labs отримав мільярди доларів фінансування і також наполегливо працює в цьому напрямку. На чому ґрунтується ваша впевненість, що ваше покращення «введення структури об’єктів» зможе досягти більших результатів у його загальній архітектурі?

Чжан Лей: Оскільки раніше ми розробляли DINO-X — це відкрита універсальна модель для виявлення об’єктів, яка досягла найкращих у світі результатів у розумінні об’єктів. Наше розуміння механізмів візуальних моделей, чому вони здатні досягати фізичної правдоподібності, дуже добре узгоджується з нашою попередньою роботою над універсальним розумінням об’єктів.

Просто кажучи, підхід Лекуна — це базова архітектура, а ми додаємо до неї структуру об’єктів і забезпечуємо замкнений цикл у реальному середовищі. Цю здатність до «замкненого циклу» ми розробили протягом останніх кількох років.

Чому серія DINO може перевершити Google та Meta?

Оцінка AI-технологій: Ваша команда досягла надзвичайно високих результатів на етапі візуальних великих моделей. Grounding DINO та наступний DINO-X обігнали Google та Meta, їх активно використовують як стандартні рішення такі провідні світові інститути, як команда Лі Фейфей, NVIDIA та Galaxy General. Ми це обговорювали всередині команди і вважаємо це трохи «ненормальним»: зазвичай китайські команди прагнуть наздогнати закордонні, але як вам вдалося змусити закордонні команди наздоганяти вас?

Чжан Лей: Дві виміри виокремлюються.

За парадигмою ми є першою командою у галузі комп’ютерного зору, якій вдалося досягти SOTA (State of the Art — найкращий рівень у галузі) у виявленні за допомогою Transformer (глибокої навчальної архітектури на основі механізму самовважання, яка є основою великих мовних моделей). Grounding DINO ввів парадигму мовних моделей і вперше розширив виявлення об’єктів до відкритої області: модель більше не обмежена лише «виявленням класів об’єктів, які були використані під час навчання», а може виявляти будь-які об’єкти, які раніше не бачила. На даний момент вона залишається найбільш цитованою та завантажуваною відкритою моделлю — це можна назвати парадигмальним проривом.

З точки зору даних та інженерної стратегії, після Grounding DINO ми перейшли на закритий шлях, розширюючи підтверджені ідеї у напрямку масштабування. Разом з тим, я вимагаю високого рівня якості роботи. Хоча тоді команда була молодою і не мала досвіду виконання таких потужних завдань, я все ж залишався непохитним у встановленні високих стандартів, підкреслюючи, що випускати можна лише тоді, коли досягнуто прориву рівня великої версії. Тому нам знадобилося близько року, щоб випустити Grounding DINO 1.5, а ще півроку — щоб запустити DINO-X. Виявилося, що версії, створені протягом цього більш ніж річного періоду, отримали високе визнання в галузі.

Коментарі з ІТ: Як пов’язані ваші візуальні великі моделі зі створенням світових моделей сьогодні?

Чжан Лей: Наша робота є логічним продовженням. Раніше, працюючи над виявленням об’єктів, наша основна мета полягала у наданні роботам бази для сприйняття, а згодом багато команд використовували наш Grounding DINO для вирішення проблем розуміння середовища.

З точки зору технічного підходу, світові моделі більш візуально-орієнтовані, ніж мовні, і майже всі роботи над світовими моделями не базуються на чисто мовній архітектурі, подібній до GPT.

Щодо накопичення досвіду командою, наше розуміння механізмів візуальних моделей дуже добре збігається з попередньою технічною дорогою, спрямованою на загальне розпізнавання об’єктів. Саме це надає нам впевненості у постійній ітерації світових моделей.

Команда складається зі 20+ осіб, які вийшли з IDEA, і дуже стабільна. Навіть під час розробки закритих моделей ми постійно приваблюємо зовнішніх фахівців з алгоритмів та інженерії. Ці 20+ осіб — це сьогодні «сім’я» Shiqi Future.

Шлях еволюції від моделей DINO до світових моделей

Як зробити так, щоб ШІ справді «бачив» об’єкти?

Коментарі з AI: Ви кажете, що існуючі схеми прихованого простору «насправді не розуміють об’єкти», вони не знають, які об’єкти є незалежними в сцені та які стосунки між ними. Нас цікавить: як це визначити? Як зрозуміти, чи справді модель «розуміє» об’єкти, чи лише «імітує» розуміння?

Чжан Лей: Саме розуміння важко перевірити безпосередньо. Хто зараз не може чітко пояснити, як мовні моделі розуміють мову — можна судити лише за поведінковими проявами: якщо вона неперервно генерує текст, і ви вважаєте, що він не відрізняється від того, що каже людина, — то вважайте, що вона розуміє.

Світові моделі стикаються з подібними труднощами. Важко прямо пояснити, чи розуміє модель фізичні закони чи справді виявила структуру об’єктів. Ми аналізуємо це за допомогою візуалізації проміжних етапів: якщо результати збігаються з людською інтуїцією, це свідчить про те, що модель, ймовірно, виявила структуру об’єктів.

Оцінка штучного інтелекту: Чи існують конкретні методи тестування? Чи можна провести експеримент, щоб перевірити?

Чжан Лей: Так, контрфактичні тести — це чудовий метод, який дозволяє моделі спробувати різні дії і подивитися, чи зможе вона надати фізично обґрунтовані результати. Якщо траєкторія трохи змінюється, але модель все ще впорується, це означає, що вона засвоїла закономірності; якщо ні — значить, вона, ймовірно, навчилася лише статистичним кореляціям.

Це вимагає глибокого розуміння. Як сказав професор Річард Саттон, люди, займаючись дослідженнями, завжди хочуть допомогти моделі та нав’язати їй власний досвід. Дослідники мовних моделей колись намагалися розібрати синтаксичну структуру, розбити текст на токени та фрази й надати їх моделі, але нарешті їх перемогла проста парадигма «передбачення наступного токена».

Я сам дуже вірю в силу ітерацій цієї простоти. Занадто багато штучного дизайну — ефективно в короткостроковій перспективі, але довгостроково заважає ітераціям.

Коментарі з AI: У фізичному світі є ще кілька складних об’єктів — рухомий пісок, вода, дим, тканина — у них немає чітких меж. Ми стурбовані тим, чи не обмежить ваша «об’єктно-орієнтована» рамка саме поняттям «об’єкт»?

Чжан Лей: Над цим питанням ми самі також думаємо. З технічної точки зору найпростішим підходом є Mask — відокремлення пікселів області об’єкта. За останні кілька років у галузі комп’ютерного зору дуже добре розвинулися методи розуміння семантики об’єктів та прогнозування масок, і вони можуть обробляти такі нежорсткі об’єкти, як пісок та водойми.

Тому початок із Mask — це практичний крок. А наш досвід у галузі загального виявлення об’єктів глибший, ніж у будь-якої іншої команди.

EgoTwin: навчити руку робота за допомогою людської руки

Оцінка штучного інтелекту: У вашій технічній рамці є дуже важливе поняття під назвою «вирівнювання дій», яке зіставляє дії різних конфігурацій — руки людини, двопальцювого захоплення, багатопальцювого маніпулятора — у одне й те саме приховане простір. Ми розуміємо це так: це схоже на переклад для роботів, щоб вони могли розуміти дії на різних «мовах», чи не так?

Чжан Лей: Основними вхідними даними для світової моделі є зображення (стан) і дія, тому розуміння дії є дуже важливим.

Вирівнювання дій є базовою вимогою для багатооб'єктних задач. Вирівнювання руки та роботизованої руки є складнішим: позиції суглобів роботизованої руки у фізичному просторі XYZ точно відомі, але дані про руку людини зазвичай є 2D-відео — люди знімають відео з приготування їжі, де є лише двовимірні зображення, але немає тривимірних координат. Пряме поєднання є дуже неефективним.

Наш підхід полягає у витягуванні 3D-ключових точок, перетворенні 2D-відео руки людини на послідовність операцій у 3D-просторі та зіставленні їх з даними роботизованої руки в одному фізичному просторі. Це й є збиранням та обробкою Ego-даних (даних про дії людини, зібраних з першої особи), про які зараз говорять у галузі.

Раніше ми випустили EgoTwin, який саме вирішує такі проблеми зі збором даних, і зараз співпрацюємо з командою збору даних Baidu Cloud.

Оцінка штучного інтелекту: EgoTwin вирішує проблему даних «як рухаються руки». Але ми хочемо задати додаткове питання: у людських відео містяться й інші, більш високорівневі дані — «чому руки рухаються саме так», тобто наміри. Що з цим робити?

Чжан Лей: Порозуміння намірів дій вищого рівня ми залишимо на розсуд моделей світу або VLA. Але передумовою є достатньо висока якість самих даних. Сировина даних дуже важлива. У галузі вкладено багато зусиль і витрат на збір даних, але в багатьох випадках ефективність їх використання не є ідеальною. Основний досвід, накопичений у роботах Grounding DINO та DINO-X, полягає в тому, щоб знайти фахівців з алгоритмів, які глибоко займатимуться даними — інакше зібрані дані можуть взагалі не підходити для навчання. Необхідно паралельно розвивати алгоритми та дані.

Чжан Бо та Шэнь Сяньян: два наставники, одна основа

Коментарі з індустрії штучного інтелекту: Ми помітили, що за Вами стоять дві людини, які суттєво вплинули на Вас — академік Чжан Бо (один із засновників штучного інтелекту в Китаї) та академік Шень Сяньян (колишній виконавчий віце-президент Microsoft та колишній директор Microsoft Research Asia). Одна з них більше орієнтована на академічну сферу, інша — на промисловість. Ми дуже цікавимося, що саме вони Вам дали?

Чжан Лей: Професор Чжан Бо завжди був моїм наставником і зразком. Я вперше познайомився з професором Чжаном, коли тільки прийшов до лабораторії Цінхуа на бакалавріаті — він був керівником лабораторії. Тоді я працював над AGV (автоматичними провідними транспортними засобами) і проводив велику кількість вільного часу в лабораторії, налаштовуючи обладнання та проводячи експерименти, і тоді я часто бачив, як професор Чжан керує докторантами у роботі з робототехнікою. Пізніше мені пощастило стати його докторантом. Найбільше запам’яталося те, як він був дуже чутливий до нових технологій і мав сильну допитливість. Коли я приходив до нього, щоб обговорити результати експерименту, він завжди захоплено сідав поруч і казав: «Зміни це трохи, подивись, що вийде». Він також глибше розумів тему саме таким чином. Ви можете побачити, як дослідник розуміє алгоритми та проблеми — це повністю підганяється допитливістю.

Ще один момент, який залишився зі мною досі, — це його наголос на тому, що «потрібно розуміти речі до кінця»; якщо ти не розумієш до кінця, тебе можуть обманути, а лише повністю зрозумівши, ти дізнаєшся, як працюють базові принципи. Пізніше це стало моїм принципом у роботі зі студентами: глибоке розуміння, прагнення до найкращого.

Вплив академіка Шэна Сяньяна на мене також був дуже великий. Під час роботи в Microsoft він завжди був моїм керівником вищого рівня і, можна сказати, вплинув на весь мій професійний шлях: саме він запросив мене з Китаю до США і саме він закликав мене повернутися до Шенчжень. Крім того, він мав надзвичайно гострий інсайт щодо промислових напрямків і надав мені багато конкретних порад та досвіду щодо формування команди та залучення інвестицій.

Коментарі зі світу штучного інтелекту: Чули, що професор Чжан Бо у віці 90 років все ще відвідує вашу команду для обміну досвідом? Нам це здається дуже вражливим.

Чжан Лей: Так. У листопаді минулого року аспірантура Цінхуа запросила його прочитати лекцію в Шенчженьі. Після того як він завершив лекцію вранці, він віддав увесь день нашій команді. Ми провели цілий день у спілкуванні, а ввечері разом вечеряли. Його горизонти дуже широкі, він надав нам багато порад щодо нашого напрямку загального розуміння візуальних даних та робототехніки. Хоча він вже похилий у віці, його мислення дуже чітке, логічність і глибина розуміння питань нічим не поступаються молодшим.

Кожна хвиля перевершує уяву, але хвиля прийде до тебе сама

Оцінка штучного інтелекту: Упродовж останніх років ви глибоко брали участь у кожній хвилі — від глибокого навчання до великих моделей, а потім до ембодімента та світових моделей. Ми хочемо знати: чи був якийсь момент, коли ви відчули: «Ось що я маю робити»?

Чжан Лей: Робота з виявлення об’єктів дуже близька до стану, який ви описали. Ця робота викликає у мене велике пишність, бо я бачу стрімкий прогрес у всій галузі.

Наступна модель світу — це також напрямок, який мене дуже захоплює і до якого я готовий повністю прикласти зусилля. Можна скористатися досвідом минулих десятиліть, коли підсилююче навчання та моделі світу розвивалися почергово, а також успішною парадигмою мовних моделей. Я вважаю, що цей напрямок значно вплине на весь індустрію ШІ.

Коментарі щодо штучного інтелекту: про високі точки дослідників часто згадують, але про низини майже ніколи. Ви переживали технологічні низини?

Чжан Лей: Так, приблизно 2018 року я намагався використовувати слабо позначені дані для виявлення об’єктів, здатні виявляти лише за мітками класів зображень, уникнувши позначення рамок для кожного об’єкта. Цей підхід здався дуже привабливим, і я присвятив йому довгий час, але не зміг розв’язати його достатньо повно.

Пізніше ми працювали над IDEA з Grounding DINO, поєднуючи мовне розуміння та здатність до виявлення, що вирішило проблему з іншого боку. Цей прорив по-перше, базувався на інноваціях у моделі детекції DINO, які заклали міцну основу, а по-друге, значною мірою був можливим завдяки розвитку мовних моделей. Прорив Grounding DINO стався наприкінці 2022 року, на початку 2023 року — саме в той час, коли з’явився ChatGPT. Існує вислів: «Коли даних достатньо, інтелект з’являється природньо» — чим більше даних, тим простішими можуть бути алгоритми.

Вважаю, що зіткнення з труднощами — це нормально, головне — мати наполегливість, щоб не здаватися перед складними питаннями. Якщо не вдається розв’язати це зараз — спробуйте підійти з іншого боку, думайте про це під час їжі та сну, постійно кружляйте навколо нього. Справді хороші питання тривалий час тримають вас у розумі, а потім у певний момент — іноді зовсім несподівано — призводять до якісного прориву.

Коментарі з індустрії штучного інтелекту: Зараз багато молодих людей також засновують стартапи у сфері світових моделей, наприклад, Чен Боюань та Цзі Цзямін з Nijuzhen, Бай Іньці з Baize Technology — вони навіть студенти. Нам здається це дуже цікавим. Як ви ставитеся до цих «хвиль»?

Чжан Лей: Це свідчить про те, що бар’єри для входу в дослідження справді знизилися. До піднесення глибокого навчання новачкам потрібно було роками будувати основу. Зараз відкриті технології спростили техніку — достатньо зрозуміти Transformer, щоб увійти в цю галузь. Перевага молоді полягає в тому, що вони не мають багажу і легше приймають нові парадигми, виходячи з перших принципів. Але справжні складні питання вимагають досвідчених дослідників, які мають проникливість, розуміння та здатність керувати напрямком.

Соціальні тренди постійно змінюються, але якщо ви просто прагнете наздогнати їх, ви їх не наздоженете. Суть у тому: незалежно від того, як змінюються напрямки, кожній команді завжди потрібні найкращі фахівці. Якщо ви будете залишатися допитливими та матимете міцну базу, найсучасніші напрямки самі знайдуть вас.

Одне відкриття

Найбільше нас зворушило в цьому інтерв’ю — не ті чудові технічні досягнення Чжан Лея, навіть не ті молоді таланти, яких він виховав — стажери Хуан Чжэн, Лі Сюйлун та члени команди проекту з першої генерації алгоритму виявлення обличчя в Microsoft: Чжу Лун, Сяо Рон, Янь Шуйчэн.

Найбільше нас вразило його повторне згадування одного слова: «повне розуміння».

Це слово Чжан Лей пам’ятав тридцять років.

На початку 1990-х років у Тсінхуа, штучний інтелект був нікому не цікавою, маргінальною дисципліною, а Чжан Лей був бакалавром комп’ютерного відділу, який експериментував з AGV-роботами в лабораторії. Тоді керівник лабораторії керував докторантами у роботах, пов’язаних з робототехнікою, що залишило глибоке враження на ньому, і пізніше він став його учнем.

Керівник лабораторії на ім’я Чжан Бо — один із засновників штучного інтелекту в Китаї. Коли Чжан Лей запрошує його подивитися на результати експерименту, він завжди з ентузіазмом сідає поруч із Чжан Леєм, дивиться на екран і витягує палець: «Зміни це, подивимося, що вийде». Це не перевірка домашнього завдання — він справді хоче знати, що відбудеться, коли ти зміниш параметри.

Речі, які Чжан Бо навчив Чжан Лея, пізніше були зведені до трьох слів: «Глибоко розуміти».

Якщо не розумієш — тебе обдурять, а якщо розумієш глибоко — тоді ти побачиш, як працюють основні принципи.

Дух китайського покоління дослідників передається саме через такі дрібні речі.

У 2018 році Чжан Лей працював над слабко підсиленим виявленням об’єктів у Microsoft, але не зміг досягти результату — він не змінив тему.

Якщо цей підхід не працює, спробуйте інший — думайте про це навіть під час їжі та сну, постійно кружляючи навколо нього.

Це не риторика, а його щоденний життєвий рівень.

Пізніше в IDEA він вирішив цю проблему з іншого боку, використовуючи Grounding DINO. Прорив відбувся наприкінці 2022 року — коли з’явився ChatGPT, здатності мовних моделей виросли, а даних стало достатньо.

Чжан Лей використав опис: «природно виникає».

Від зміни параметрів AGV-роботів до розробки світової моделі минуло тридцять років. Упродовж цих тридцяти років він від масштабного пошуку зображень до загального розуміння візуальних даних прагнув глибоко зрозуміти кожну проблему та зробити все найкраще, поки знову не повернувся до напрямку «створення світової моделі для роботів». Як сказав Джобс: «з’єднай крапки» — кожна справа, виконана щиро, не була витрачена даремно.

Наприкінці 2025 року 90-річний Чжан Боч поїхав до Шенчжень читати лекції. Після того як він закінчив лекцію вранці, після обіду він відразу приїхав до офісу ShiQi Weilai. Сім або вісім молодих людей оточили його, і він розповідав їм увесь день, а ввечері разом вечеряли, розповідаючи про свої студентські роки та свої міркування щодо цього напрямку. Його мислення було чітким, логіка — дуже тонкою, він не поступався молодшим. Чжан Лей також розповів своєму вчителю про те, чим він зараз займається.

Професор Чжан Бо на «Бачення майбутнього»; Чжан Лей розповідає вчителю про прогрес досліджень

Тридцять років тому, у дворі Цінхуа, вчитель сидів поруч із студентом і сказав: «Зміни це, подивися, як буде».

Тридцять років потому, у офісі Шенчжень, студент розповідає своєму 90-річному вчителю про свою модель світу.

Який ж це захоплюючий сценарій відтворення.

Люди старіють, приплив відступає, гарячі теми остигають, але впевненість китайських науковців розуміти до кінця кожну світову проблему ніколи не змінювалася. Leifeng.com