Pada separuh pertama tahun 2026, jumlah pembiayaan dalam laluan model dunia bidang AI China adalah sekitar 90 bilion yuan, dengan kadar pertumbuhan melebihi lima kali ganda.

Penulis artikel, sumber: Leifengwang

Pada separuh pertama tahun 2026, wang dan tenaga ahli dalam kalangan dunia AI China mengalir ke arah yang sama: model dunia.

Dalam enam bulan pertama sahaja, jumlah pembiayaan yang diumumkan dalam laluan model dunia domestik kira-kira 30 bilion yuan; jika laluan integrasi “kecerdasan badani + model dunia” dimasukkan, nombor ini meningkat kepada lebih 90 bilion yuan.

Bandingkan dengan tahun yang sama tahun lepas, kadar pertumbuhan pembiayaan melebihi 5 kali.

Pendanaan bernilai sepuluh miliar, ribuan bakat, mengalir seperti pasang.

Satu soalan yang tidak boleh dielakkan: Dengan begitu banyak orang yang masuk, berapa ramai yang benar-benar memahami apa sebenarnya perkara ini?

Pemain industri mencari arah, pelabur mencari individu, pencari bakat menggali organisasi, dan jabatan strategi syarikat besar mengkaji siapa yang akan bertahan.

Perkara yang aneh ialah semua orang bertanya soalan yang sama: Adakah siapa pun yang boleh menjelaskan perkara model dunia ini?

Ada.

Hari ini, kami melakukan wawancara mendalam dengan Profesor Zhang Lei dari Institut IDEA dan pendiri ShiQi Weilai, untuk membincangkan perkara ini secara jelas.

Beliau adalah IEEE Fellow dengan lebih dari 77,000 petikan di Google Scholar. Siri DINO-nya mendominasi COCO selama lima bulan, dengan Grounding DINO dan DINO-X seterusnya mengalahkan Google dan Meta, serta menjadi rujukan "standard" oleh pelbagai institusi terkemuka dunia seperti pasukan Li Fei-Fei, NVIDIA, dan Galaxy General.

Pada tahun 2025, dia bersama pasukannya membina ShiQi Future daripada IDEA, dan dana putaran malaikat mencapai hampir seratus juta yuan dalam sebulan.

Di belakangnya berdiri dua tokoh AI besar: guru akademik Profesor Zhang Bo (salah seorang perintis kecerdasan buatan China), dan guru industri Profesor Shen Xiangyang (bekas Presiden Eksekutif Global Microsoft dan bekas Ketua Microsoft Research Asia).

Tetapi bukan itulah sebab utama kami mencarinya.

Sebab kami mencarinya sangat mudah: pada tahun 2026, ketika semua orang sedang berdebat "apa itu model dunia", Zhang Lei adalah salah satu daripada sedikit orang yang memberikan jawapan yang jelas, boleh dilaksanakan, dan tidak berkompromi dengan mana-mana arus utama.

Dari penyelidik utama di Microsoft Research, kepada saintis kehormat di IDEA Research, hingga usahawan—jalan kerjayanya telah berubah beberapa kali, tetapi topik penyelidikannya tidak pernah berubah: “Membuat AI memahami objek.”

Model dunia adalah jawapan utama bagi persoalan yang telah diperjuangkan selama dua puluh tahun lebih dalam dunia fizikal.

Jika anda sedang memantau litar model dunia, ingin memahami sama ada ia benar-benar merupakan gelembung, ingin tahu siapa yang akan menang dalam pertandingan jalan, dan ingin menilai pasukan jenis mana yang paling patut diikuti—percakapan orang ini layak anda baca hingga selesai. Kerana, It's totally worth your time.

Berikut adalah transkrip perbincangan, yang telah disunting oleh AI Tech Review tanpa mengubah maksud asal.

Dr. Zhang Lei, IEEE Fellow, pendiri dan CEO Vision Future, kini merupakan Ilmuwan Utama di Pusat Penyelidikan Penglihatan Komputer dan Robotik (CVR), Institut IDEA, profesor sampingan di Universiti Sains dan Teknologi Hong Kong (Guangzhou), serta penyelidik utama sebelumnya di Microsoft Research Asia dan Microsoft Headquarters Research. Beliau telah menerbitkan lebih daripada 200 kertas kerja dalam bidang penglihatan komputer, dengan rujukan lebih daripada 77,000 kali di Google Scholar, H-Index sebanyak 107, dan memegang lebih daripada 60 paten yang diluluskan di Amerika Syarikat. Beliau dipilih sebagai IEEE Fellow atas sumbangan luar biasa dalam pengenalan imej berskala besar dan pencarian maklumat multimedia.

Penghalang terbesar dalam kecerdasan badani bukanlah badan, tetapi otak

Ulasan Teknologi AI: Sejak tahun lalu, kecerdasan tubuh telah meledak, dengan syarikat-syarikat robotik semakin memukau dalam kawalan pergerakan—robot Unitree berlari di trek maraton, sementara robot Zhiyuan mampu melakukan lentingan. Namun, kami memperhatikan bahawa aplikasi praktikal kelihatan masih kekurangan satu tarikan nafas. Menurut anda, apakah cabaran-cabaran penting yang masih perlu ditangani sebelum kecerdasan tubuh benar-benar menjadi kenyataan?

Zhang Lei: Inti yang perlu diselesaikan oleh robot hanyalah dua perkara: kejayaan dan kemampuan generalisasi. Kejayaan merujuk kepada sama ada suatu tugas dapat diselesaikan dengan cukup boleh dipercayai; kemampuan generalisasi ialah kemampuan untuk menyelesaikan tugas yang sama walaupun persekitaran atau badan berubah.

Terdapat empat cabaran spesifik:

Pertama, keupayaan penggeneralisasian dalam satu senario sahaja tidak mencukupi. Kini, banyak pasukan mampu mencapai kejayaan sehingga 70% atau bahkan 80% dalam satu senario sahaja, yang kedengaran seperti terobosan besar. Tetapi, apa maksud 80% dalam aplikasi sebenar? Ia bermaksud sekali dalam setiap lima operasi akan gagal, masih memerlukan banyak tenaga manusia untuk menangani kesalahan, dan sama sekali tidak boleh dideploy secara berdiri sendiri.

Kedua, keupayaan generik skenario melintang tidak mencukupi. Seharusnya, daya titik tunggal didorong hingga ke hadapannya terlebih dahulu, baru kemudian diperluaskan ke pelbagai skenario aplikasi, membolehkannya menjalankan lebih banyak dan tugas yang lebih kompleks dalam persekitaran yang lebih rumit. Ini merupakan jurang terbesar yang menghalang robot daripada berpindah dari “paparan makmal” kepada “aplikasi sebenar”.

Ketiga, kekurangan kemampuan mendalam dari "otak". Pembelajaran mendalam semasa ini lebih banyak mempelajari "perilaku" kecerdasan, bukan "mekanisme" (prinsip kerja di sebalik kecerdasan). Otak badani memerlukan kemampuan penarikan kesimpulan sebab-akibat yang sebenar terhadap dunia fizikal (bukan hanya korelasi statistik, tetapi memahami rantai logik "kerana A, maka B"), pemahaman akal sehat, dan kemampuan beradaptasi, dan dalam aspek ini, kita baru sahaja memulakan.

Keempat, jauh daripada mencapai peringkat "terminal". Kebanyakan bot semasa ini masih bergantung kepada kuasa pengiraan luaran yang besar, dan perlu menyelesaikan masalah asas "tidak memerlukan orang untuk menanggung risiko" sebelum boleh dipromosikan dalam pelbagai skenario dan membentuk putaran positif "aplikasi-data-iterasi".

Ulasan Teknologi AI: Secara jujur, pandangan industri mengenai isu ini agak terpecah. Pasukan yang fokus pada peranti keras percaya bahawa kelebihan rantaian bekalan China jelas, dan sepatutnya fokus pada mengurangkan kos asas terlebih dahulu; sementara pasukan algoritma berpendapat bahawa otak adalah titik lemah sebenar. Apa pandangan anda?

Zhang Lei: Otak lebih sukar, tetapi lebih penting.

Dari segi badan, iterasi peranti keras China patut disanjung. Syarikat-syarikat seperti Unitree dan Zhiyuan mengiterasi pengendalian melalui pembelajaran penguatan simulasi (melatih algoritma pengawalan dalam persekitaran maya sebelum dipindahkan ke robot sebenar), terus menyempurnakan komponen-komponen utama seperti motor dan mekanisme pemindahan, serta secara besar-besaran mengoptimumkan kos dan kebolehpercayaan, serta menempuh jalan yang sangat kukuh. Namun, kemampuan badan yang ditunjukkan dalam maraton dan persembahan hanya boleh dikatakan telah mencapai kemampuan asas haiwan—reaksi insting, lompatan, elakan, dan interaksi dengan persekitaran haiwan masih belum dicapai oleh badan tersebut.

Ulasan Teknologi AI: Anda mengatakan bahawa "otak" lebih sukar, di manakah kesukarannya? Adakah kerana data tidak mencukupi, atau kerana pemahaman kita terhadap kecerdasan itu sendiri masih terlalu cetek?

Zhang Lei: Masalahnya ialah mekanisme di sebaliknya belum benar-benar kita fahami. Otak manusia mempunyai perbezaan paling besar dan tahap kecerdasan paling tinggi berbanding haiwan lain. Semua terobosan dalam pembelajaran mendalam sekarang ini hanya melihat dari segi zahir kecerdasan otak, kemudian menggunakan algoritma untuk merealisasikannya. AI sebenarnya sedang belajar tingkah laku manusia, bukan belajar kecerdasan manusia itu sendiri. Seperti yang sering dikatakan oleh Profesor Zhang Bo, model bahasa besar boleh berbicara seperti manusia, tetapi cara ia memahami bahasa sama sekali berbeza dengan manusia.

Mengapa model dunia "ditinggalkan" selama dua puluh tahun, tetapi tiba-tiba menjadi popular hari ini?

Ulasan Teknologi AI: Bersamaan dengan ledakan agen badani, konsep "model dunia" tiba-tiba menjadi popular. Tetapi semua orang dalam industri tahu ini bukan perkataan baru, kerana ia telah dicadangkan oleh akademik pada tahun 1990-an. Kami agak penasaran, mengapa konsep ini terpendam selama dua dekad dan tiba-tiba menjadi tren hari ini?

Zhang Lei: Soalan ini bagus. Model dunia bukanlah konsep baharu. Pada awal 1990-an, para akademik telah mencuba memodelkan persekitaran yang diperlukan untuk interaksi agen (sistem AI yang mampu mengesan persekitaran dan mengambil tindakan untuk mencapai matlamat) untuk membantu memperbaiki algoritma pembelajaran penguatan, tetapi pada masa itu pembelajaran mendalam belum bangkit, sehingga sukar untuk mengesahkan konsep tersebut selepas ia dicadangkan.

Konsep ini benar-benar diuji pada sekitar tahun 2018-2019, apabila kertas kerja yang benar-benar bernama “World Models” muncul dan diterapkan dalam skenario permainan, kerana permainan merupakan persekitaran terbaik untuk menguji pembelajaran penguatan.

Beberapa tahun selepas perkembangan pembelajaran penguatan, AI sudah mampu mengalahkan pemain manusia dalam permainan. Pada masa ini, penyelidik mula memikirkan: adakah mungkin untuk agen AI secara swakelola "mempelajari" satu model dunia semasa berinteraksi secara berterusan dengan persekitaran permainan, serta memasukkan proses evolusi persekitaran ke dalam model tersebut? Gagasan ini telah disahkan sepenuhnya pada sekitar tahun 2018 hingga 2020.

Ulasan Teknologi AI: Lalu, apa hubungannya ini dengan kecerdasan tubuh hari ini? Dari yang kami dengar, tampaknya tubuh sebenarnya adalah korek api yang membawa model dunia ke popularitas?

Zhang Lei: Hubungan ini perlu dimulai daripada model bahasa. Industri terlebih dahulu mengembangkan VLA (Vision-Language-Action, iaitu model penglihatan-bahasa-tindakan, di mana robot memerhati gambar untuk meramal tindakan seterusnya), menggunakan paradigma pembelajaran meniru dari model bahasa: model bahasa melakukan Next Token Prediction; VLA berbadan pula adalah robot yang memerhati gambar semasa dan meramal tindakan seterusnya yang perlu diambil.

Namun, pendekatan ini dengan cepat mencapai batas. Batas ini tidak hanya terletak pada data; saya percaya data hanyalah satu aspek, sementara aspek lain ialah penerapan pembelajaran penguatan yang masih belum mencukupi. Saya mempunyai satu perbandingan: pembelajaran peniruan membuat model bahasa belajar berbicara, manakala pembelajaran penguatan membuat model bahasa mampu berbicara dengan betul.

Kecerdasan robot dan kadar kejayaan tindakan juga memerlukan pembelajaran penguatan.

Namun, pembelajaran penguatan apabila digunakan dalam sistem berbadan menghadapi dua halangan mematikan: pertama, kecekapan pengumpulan data sangat rendah, jauh lebih rendah daripada model bahasa; robot mesti melaksanakan setiap tindakan secara nyata dalam persekitaran sebenar dan menunggu maklum balas fizikal; kedua, kos kegagalan tidak boleh diterima—jika belajar mencuci pinggan mangkuk gagal, pinggan mangkuk akan pecah; kereta auto-pilot yang belajar mengelakkan kemalangan mungkin perlu mengalami banyak kemalangan sebenar sebelum belajar. Ini berbeza jauh daripada model bahasa yang boleh mencuba dan membuat kesilapan dengan kos rendah di dunia digital.

Lingkungan maya yang disediakan oleh model dunia adalah jalan keluar untuk menyelesaikan masalah-masalah ini. Jika suatu model dapat meramalkan “Jika saya melakukan tindakan ini, lingkungan akan berubah menjadi apa?”, maka robot boleh terlebih dahulu “membayangkan” ribuan kali percubaan dan kesilapan di dunia maya, tanpa perlu benar-benar memecahkan sepuluh ribu mangkuk.

(Catatan penulis: Fahami secara ringkas rantai logik ini. Pertama, robot memerlukan banyak percubaan dan kesilapan untuk belajar melakukan sesuatu. Kedua, percubaan dan kesilapan di dunia nyata terlalu mahal dan berbahaya. Ketiga, model dunia adalah mencipta "latihan maya" untuk robot, membolehkannya menggambarkan kesan setiap tindakan dalam fikirannya. Keempat, hanya perlu melaksanakan penyelesaian terbaik di dunia nyata. Inilah sebabnya model dunia tiba-tiba menjadi fokus utama seluruh industri pada masa ini.)

Tanpa tindakan sebagai syarat input, ia tidak dipanggil model dunia

Ulasan Teknologi AI: Definisi "model dunia" dalam industri kini agak kabur. Model yang menghasilkan video dipanggil model dunia, model yang memodelkan ruang 3D juga dipanggil model dunia, dan JEPA (arsitektur penghimpunan ramalan bersama) milik LeCun juga dipanggil model dunia. Menurut anda, apakah syarat minimum yang perlu dimiliki oleh suatu model agar layak disebut empat perkataan ini?

Zhang Lei: Saya percaya model dunia mesti mempunyai ketergantungan tindakan, iaitu Action Conditioned (tindakan sebagai input, model mesti mampu menjawab "Jika tindakan tertentu dilaksanakan, persekitaran akan menjadi macam mana").

Agen mampu berinteraksi dengan persekitaran kerana tindakan: tindakan agen menyebabkan perubahan dalam persekitaran, selepas perubahan persekitaran, keadaan baharu dihasilkan dan dipulangkan kepada agen, memberitahunya sama ada tindakan tersebut membawanya lebih dekat kepada matlamat. Ini adalah gelung tertutup penuh, di mana setiap peralihan keadaan persekitaran bergantung kepada tindakan spesifik yang dilaksanakan pada langkah sebelumnya.

Orang sering mengatakan bahawa model dunia ialah menukar Next Token Prediction pada model bahasa kepada Next State Prediction, tetapi saya rasa definisi ini tidak ketat dan kurang satu syarat penting. Pernyataan yang betul ialah: Action Conditioned Next State Prediction. Hanya apabila unsur tindakan dimasukkan sebagai syarat, ramalan keadaan menjadi bermakna dan benar-benar memenuhi keperluan model dunia dalam pembelajaran penguatan.

Ulasan Teknologi AI: Sejujurnya, banyak orang, termasuk beberapa pelabur dalam BP, biasa memanggil model generasi video seperti Sora sebagai model dunia. Tetapi berdasarkan standard yang anda berikan tadi, model-model ini jelas kekurangan dimensi tindakan. Kami ingin mendengar bagaimana anda menguraikan masalah ini?

Zhang Lei: Model dunia yang kita perbincangkan di sini berasal dari kaedah berbentuk model-based dalam pembelajaran penguatan, yang bertujuan untuk membantu agen berinteraksi dengan persekitaran dengan lebih berkesan. Walaupun model dunia mempunyai banyak aplikasi, kecerdasan berbadan adalah aplikasi yang paling jelas dan paling bernilai pada masa ini.

Dalam konteks ini, model generasi video murni seperti Sora awal tidak boleh dipanggil model dunia. Sebab utamanya ialah ia tidak memodelkan “tindakan”; ia pada dasarnya menghasilkan urutan video yang konsisten, meramalkan bagaimana piksel berubah, tetapi sama sekali tidak memodelkan tindakan interaksi antara robot dan persekitaran. Bolehkah ia membantu robot secara tidak langsung? Ia boleh mempelajari beberapa pola perubahan dunia, tetapi sukar membantu robot berinteraksi lebih baik dengan persekitaran.

Ulasan Teknologi AI: Bagaimana dengan World Action Model yang baru-baru ini popular? Kami mendengar ia juga membincangkan tindakan, adakah ia model dunia yang lain?

Zhang Lei: WAM juga bukan model dunia dalam konteks pembelajaran penguatan. Ia menggunakan pengawasan tingkat piksel dari gambar masa depan yang diramalkan untuk membantu meningkatkan ramalan tindakan, dan telah menunjukkan prestasi lebih baik daripada VLA pada beberapa tugas. Namun, pemodelannya bersifat sebab-akibat terbalik—ia menghasilkan gambar masa depan terlebih dahulu, kemudian mengembalikan tindakan, sehingga tidak dapat digunakan dalam pembelajaran penguatan, dan dengan demikian tidak memenuhi definisi model dunia yang kita bahas di sini.

PixelPals vs. ImplicitSpace: Kedua-dua pihak sebenarnya sedang melakukan perkara yang sama

Ulasan Teknologi AI: Berbicara tentang perbezaan jalan, ini adalah topik paling hangat dalam bidang model dunia sekarang. LeCun adalah tokoh utama aliran ruang tersembunyi, sementara Sora mewakili aliran piksel. Dua jalan ini kelihatan bertentangan, apa pandangan anda?

Zhang Lei: Pertama-tama, kita harus melihat bahawa dua jalan ini mempunyai persamaan.

Sebenarnya, kini kebanyakan orang merasa bahawa mereka sangat bertentangan, mungkin kerana LeCun sangat jelas dan teguh dalam pendiriannya; terkadang seorang akademik perlu menjelaskan pendirian mereka dengan sangat jelas supaya orang luar ingat.

Namun, jalan pixel sebenarnya juga bergantung pada ruang tersembunyi untuk beroperasi. Stable Diffusion, Sora semuanya terlebih dahulu memampatkan gambar atau video ke ruang representasi berdimensi rendah sebelum diproses. Oleh itu, ruang representasi adalah masalah yang lebih mendasar. Perbezaan sebenar antara dua jalan ini tidak terletak pada sama ada menggunakan ruang tersembunyi atau tidak, tetapi pada apa yang perlu dikekalkan dan apa yang perlu dibuang setelah memasuki ruang tersembunyi.

Perbezaannya ialah: jalan ruang tersembunyi ingin menyingkirkan butiran pixel seperti cahaya, bayangan, dan tekstur yang tidak didorong oleh hukum fizikal, membantu model mempelajari hukum yang lebih asas di sebalik perubahan keadaan, tetapi ia menghadapi risiko keruntuhan representasi—jika sepuluh ribu gambar berbeza dipetakan menjadi representasi yang sama persis, representasi itu runtuh, bermakna model kehilangan kemampuan untuk membezakan keadaan yang berbeza. Jalan pixel mengejar ketepatan hingga ke butiran terkecil, pada dasarnya berusaha memuaskan mata manusia, kerana manusia sangat peka terhadap butiran visual.

Ulasan Teknologi AI: Sampai di sini, kami memiliki intuisi. Bukankah otak manusia juga melakukan penalaran di ruang tersembunyi? Ketika Anda menutup mata dan membayangkan akibat suatu tindakan, siapa yang benar-benar merender setiap piksel di dalam pikiran?

Zhang Lei: Betul. Jika otak manusia memiliki model dunia, ketika manusia membayangkan bagaimana tindakan mengubah persekitaran, sebenarnya ia beroperasi dalam ruang tersembunyi, bukan dengan memproses setiap piksel gambar secara terperinci di dalam otak. Oleh itu, menggunakan penilaian kualiti gambar oleh mata manusia sebagai ukuran penilaian model dunia adalah tidak mencukupi. Jika pendekatan piksel ingin digunakan untuk model dunia, yang seharusnya dikejar bukanlah seberapa realistik pikselnya, tetapi urutan video yang dihasilkan harus mematuhi kepatuhan fizikal.

(Catatan penulis: Perbincangan ini membahas perbezaan antara dua pendekatan model AI dunia. Pendekatan pixel, diwakili oleh Sora, hanya fokus pada realisme visual, sering menghasilkan kecacatan yang bertentangan dengan pemahaman fizikal seperti cawan mengambang, objek tembus, atau lilin yang tidak boleh dipadamkan; manakala pendekatan ruang tersembunyi yang dicadangkan oleh LeCun dan Zhang Lei mengabstrakkan gambar menjadi pola terlebih dahulu sebelum membuat inferens, sehingga lebih memahami sebab-akibat fizikal. Inovasi utama Zhang Lei ialah memasukkan "struktur objek" ke dalam ruang tersembunyi, membolehkan AI mengenal pasti objek-objek berasingan seperti cawan, meja, dan manusia terlebih dahulu, kemudian mempelajari pola interaksi antara mereka—mengelakkan kecacatan visual seperti Sora, serta lebih sesuai untuk robot dalam dunia nyata untuk mengelak halangan, mengambil objek, dan merancang tindakan.)

Ulasan Teknologi AI: Anda mengikuti jalan ruang tersembunyi yang sama dengan LeCun. Tetapi kami mendengar bahawa pendekatan anda mempunyai perbezaan utama dengannya, iaitu anda menekankan perlunya "memperkenalkan struktur objek". Apakah perbezaan utamanya?

Zhang Lei: Laluan kami berkongsi prinsip pertama yang sama dengan LeCun: otak manusia melakukan penalaran kontrafaktual ("bagaimana jika saya melakukan ini?") secara bersyarat tindakan, berlaku dalam representasi abstrak, bukan mengulangi semula dalam piksel.

LeCun telah membuktikan aksiom ini dalam beberapa tahun terakhir dengan I-JEPA, V-JEPA, dan LeJEPA: ramalan harus berlaku di ruang representasi. Namun, kerumitan ruang fizikal dalam pendekatan berbadan sangat tinggi, dan kami percaya bahawa untuk menerapkan kaedah ini dalam persekitaran nyata berskala besar, struktur yang diperlukan perlu diperkenalkan ke dalam ruang tersembunyi.

Pandangan ini berasal dari kemampuan yang telah kami sahkan. DINO-X, yang dipimpin oleh pasukan inti kami dalam pembangunan, telah menyelesaikan masalah “melihat objek” di dunia terbuka. Oleh itu, sekarang kami menjadikan objek sebagai unit asas untuk ramalan dan perancangan model dunia. Secara intuitif, hukum fizikal bertindak ke atas objek; dengan memahami objek melalui perwakilan ruang tersembunyi, kita boleh mempelajari hukum fizikal dengan lebih berkesan.

Ulasan Teknologi AI: Tunggu sebentar, kami ingin menanyakan satu perkara lagi. AMI Labs milik LeCun yang telah memperoleh pendanaan berbilion dolar AS juga sedang berjuang keras di arah ini. Apa yang membuat anda percaya bahawa peningkatan “memperkenalkan struktur objek” anda boleh berjalan lebih jauh dalam kerangka besarnya?

Zhang Lei: Kerana sebelum ini kami membuat DINO-X, iaitu model persepsi objek terbuka yang serba guna, dan telah mencapai pencapaian terbaik di dunia dalam "memahami objek". Pemahaman kami terhadap mekanisme model visual, serta mengapa model visual mampu menghasilkan kepatutan fizikal, sangat sejajar dengan garis pemahaman objek serba guna yang kami lakukan sebelum ini.

Secara ringkas, pendekatan LeCun adalah kerangka asas, dan kami memperkenalkan struktur objek ke dalam kerangka ini serta membuatnya berfungsi secara tertutup dalam persekitaran sebenar. Kemampuan “tertutup” ini adalah hasil usaha kami dalam beberapa tahun terakhir.

Mengapa siri DINO mampu mengatasi Google dan Meta?

Ulasan Teknologi AI: Prestasi pasukan anda pada peringkat model visual terlalu menonjol. Grounding DINO dan DINO-X yang kemudiannya dilancarkan mengalahkan Google dan Meta, dan menjadi rujukan standard oleh institusi terkemuka dunia seperti pasukan Li Fei-Fei, NVIDIA, dan Galaxy General. Kami telah membincangkan ini secara dalaman, dan semua berpendapat ia agak “tidak biasa”: biasanya pasukan China mengejar pasukan luar negara, bagaimana anda berjaya membuat pasukan luar negara mengejar anda?

Zhang Lei: Dua dimensi yang menonjol.

Dari segi paradigma, kami adalah pasukan pertama di bidang penglihatan yang mencapai SOTA (State of the Art, tahap terbaik dalam bidang) dalam pengesanan Transformer (arsitektur pembelajaran mendalam berdasarkan mekanisme perhatian diri, yang menjadi dasar model bahasa besar). Grounding DINO memperkenalkan paradigma model bahasa, pertama kali memperluas pengesanan objek ke domain terbuka, di mana model tidak lagi terbatas pada "hanya mengenali kelas objek yang telah dilatih", tetapi mampu mengesan objek apa sahaja yang belum pernah dilihat sebelumnya. Hingga kini, ia tetap menjadi model sumber terbuka dengan jumlah rujukan dan muat turun tertinggi, yang boleh dianggap sebagai lompatan paradigma.

Dari segi data dan strategi kejuruteraan, selepas Grounding DINO, kami beralih ke jalan tertutup dan memperluaskan idea yang telah disahkan ke arah penskalaan. Sementara itu, saya menuntut tahap kerja yang tinggi. Walaupun pasukan ketika itu muda dan belum pernah melakukan kerja sekuat ini, saya tetap menetapkan sempadan yang ketat dan menekankan bahawa hanya terobosan setaraf versi besar yang boleh dilancarkan. Oleh itu, kami mengambil masa sekitar satu tahun untuk melancarkan Grounding DINO 1.5, kemudian mengambil masa enam bulan lagi untuk melancarkan DINO-X. Fakta membuktikan bahawa versi-versi yang dihasilkan melalui proses selama lebih daripada setahun ini mendapat pengiktirafan yang tinggi dalam industri.

Ulasan Teknologi AI: Model visual yang anda hasilkan berkaitan dengan apa dengan model dunia yang dibuat hari ini?

Zhang Lei: Pekerjaan kami saling terkait. Sebelum ini, kami fokus pada pengenalan objek, dengan tujuan utama memberikan asas pengenalan kepada robot, dan kemudian banyak pasukan menggunakan Grounding DINO kami untuk menyelesaikan masalah pemahaman persekitaran berbadan.

Dari segi jalan teknikal, model dunia lebih bersifat visual asli berbanding bahasa, dan hampir semua kerja model dunia bukan berdasarkan arsitektur bahasa tulen seperti GPT.

Dari segi pengalaman pasukan, pemahaman kami terhadap mekanisme model visual sangat sejajar dengan jalur teknologi asal yang berfokus pada pemahaman objek umum. Ini juga menjadi sebab kami yakin untuk terus mengembangkan model dunia secara berterusan.

Pasukan yang terdiri daripada lebih 20 orang berasal daripada IDEA dan sangat stabil. Semasa kami mengembangkan model sumber tertutup, kami terus menarik individu luaran yang mahir dalam algoritma dan kejuruteraan untuk menyertai. Lebih 20 orang ini adalah “benih” VisionFuture hari ini.

Jalur evolusi dari model DINO ke model dunia

Bagaimana untuk membuat AI benar-benar “melihat” objek?

Ulasan Teknologi AI: Anda mengatakan bahawa skema ruang tersembunyi yang ada "tidak benar-benar memahami objek", mereka tidak tahu mana objek-objek yang berdiri sendiri dalam adegan atau apa hubungan antara objek-objek tersebut. Kami agak penasaran, bagaimana cara menilai ini? Bagaimana kita tahu sama ada model benar-benar "memahami" objek, atau hanya "berpura-pura" memahami?

Zhang Lei: Pemahaman itu sendiri sukar untuk disahkan secara langsung. Bagaimana model bahasa memahami bahasa sebenarnya, sehingga ini masih tidak dapat dijelaskan dengan jelas oleh siapa pun; kita hanya boleh menilai melalui tingkah laku lahiriah—jika ia menghasilkan teks secara berterusan dan anda merasakan ia tidak berbeza dengan ucapan manusia, maka anda mengatakan ia memahami.

Model dunia menghadapi kesukaran yang serupa. Adakah model benar-benar memahami hukum fizikal, dan adakah ia benar-benar menangkap struktur objek, sukar untuk dijelaskan secara langsung. Kami akan menganalisis melalui visualisasi langkah-langkah pertengahan; jika hasilnya sejalan dengan intuisi manusia, ia menunjukkan bahawa ia mungkin telah menangkap struktur objek.

Ulasan Teknologi AI: Adakah kaedah ujian spesifik? Bolehkah kita membuat eksperimen untuk melihatnya?

Zhang Lei: Ada. Ujian kontrafaktual adalah kaedah yang baik, di mana model mencuba tindakan berbeza untuk melihat sama ada ia boleh menghasilkan hasil yang fizikalnya munasabah. Jika trajektori sedikit berbeza tetapi masih boleh dilakukan dengan betul, ia menunjukkan bahawa pola telah dipelajari; jika tidak boleh dilakukan dengan betul, ia bermakna yang dipelajari mungkin hanyalah korelasi statistik.

Ini menguji ketajaman wawasan. Seperti yang dikatakan Profesor Richard Sutton, ketika manusia melakukan penelitian, mereka selalu tergoda untuk membantu model dan memasukkan pengalaman mereka sendiri. Para peneliti model bahasa pernah sangat ingin menguraikan struktur sintaksis, membagi kata, dan memberikan frasa-frasa kepadanya, tetapi akhirnya tetap kalah oleh paradigma sederhana "memprediksi Token berikutnya".

Saya sangat percaya pada kekuatan iterasi berterusan dari paradigma yang ringkas ini. Terlalu banyak rekaan manusia, walaupun berkesan dalam jangka pendek, akan menghalang iterasi dalam jangka panjang.

Ulasan teknologi AI: Terdapat beberapa objek yang sangat rumit di dunia fizikal, seperti pasir bergerak, aliran air, asap, dan kain, yang tidak mempunyai sempadan yang jelas. Kami risau, kerangka "berpusat pada objek" anda mungkin justru terperangkap oleh konsep "objek" itu sendiri?

Zhang Lei: Kami sendiri juga sedang memikirkan masalah ini. Dari sudut pandang teknis, cara paling sederhana untuk memulainya adalah Mask, yang memisahkan piksel kawasan objek. Dalam beberapa tahun terakhir, bidang visual telah sangat matang dalam memahami semantik objek dan ramalan Mask, sehingga mampu menangani objek non-kekakuan seperti pasir bergerak dan perairan.

Oleh itu, bermula dengan Mask adalah permulaan yang praktikal. Kami memiliki pengalaman yang lebih mendalam dalam persepsi objek umum berbanding mana-mana pasukan lain.

EgoTwin: Mengajar tangan robot melalui tangan manusia

Ulasan Teknologi AI: Dalam kerangka teknologi anda, terdapat satu konsep penting bernama "penyelarasan tindakan", yang memetakan tindakan dari pelbagai konfigurasi seperti tangan manusia, cengkaman dua jari, dan tangan cekap berbilang jari ke dalam ruang tersembunyi yang sama. Kami memahaminya seperti ini, ia kelihatan sedikit seperti menterjemahkan untuk robot, supaya mereka boleh memahami tindakan dalam pelbagai "bahasa", betul?

Zhang Lei: Input utama model dunia terdiri daripada dua perkara: gambar (keadaan) dan tindakan, jadi pemahaman terhadap tindakan sangat penting.

Penyelarasan tindakan adalah keperluan asas kepada masalah pelbagai ontologi. Penyelarasan tangan manusia dengan lengan robot lebih sukar: kedudukan sendi lengan robot dalam koordinat XYZ ruang fizikal adalah diketahui dengan tepat, tetapi data tangan manusia biasanya adalah video 2D, di mana orang merekam video memasak yang hanya menunjukkan gambar dua dimensi, tanpa koordinat tiga dimensi. Penggabungan terus sangat tidak cekap.

Pendekatan kami adalah mengekstrak titik kunci 3D, mengubah video tangan manusia 2D menjadi urutan operasi dalam ruang 3D, dan menyelaraskan data lengan mekanik ke ruang fizikal yang sama. Ini adalah pengumpulan dan pemprosesan data Ego (data operasi manusia yang dikumpulkan dari perspektif orang pertama) yang sedang dibincangkan dalam industri sekarang.

EgoTwin yang kami sebarkan sebelum ini secara utama menyelesaikan masalah pengumpulan data ini, dan kini sedang bekerjasama dengan pasukan pengumpulan data Baidu Cloud.

Ulasan teknologi AI: EgoTwin menyelesaikan masalah data "bagaimana tangan bergerak". Tetapi kami ingin menanyakan satu lagi, video manusia juga mengandungi maklumat tingkat lebih tinggi, iaitu "mengapa tangan bergerak seperti ini"—bagaimana dengan bahagian ini?

Zhang Lei: Pemahaman niat tindakan tingkat lebih tinggi, kami akan menyerahkannya kepada model dunia atau model VLA untuk diselesaikan. Tetapi syaratnya, kualiti data itu sendiri perlu mencukupi. Bahan mentah data sangat penting. Dalam industri ini, banyak sumber daya dan kos telah dikeluarkan untuk pengumpulan data, tetapi dalam banyak kes, kecekapan penggunaan data tidak ideal. Pengalaman utama yang kami kumpulkan dalam kerja Grounding DINO dan DINO-X ialah mencari orang yang memahami algoritma untuk melakukan pengumpulan data secara mendalam; jika tidak, data yang dikumpulkan mungkin tidak boleh digunakan semasa pelatihan. Perlu ada iterasi selari antara algoritma dan data.

Zhang Bo dan Shen Xiangyang: Dua mentor, satu warna dasar

Ulasan Teknologi AI: Kami memperhatikan bahawa terdapat dua orang yang sangat mempengaruhi anda berdiri di belakang anda, Profesor Zhang Bo (salah seorang perintis kecerdasan buatan China) dan Profesor Shen Xiangyang (bekas Presiden Eksekutif Global Microsoft dan bekas Ketua Institut Penyelidikan Microsoft Asia). Satu berfokus pada akademik, satu lagi berfokus pada industri—kami sangat ingin tahu, apakah yang masing-masing daripada mereka berikan kepada anda?

Zhang Lei: Prof. Zhang Bo selalu menjadi mentor dan contoh saya. Saya pertama kali mengenal Prof. Zhang ketika saya baru masuk ke ruang penyelidikan Tsinghua sebagai sarjana; beliau adalah ketua makmal. Pada masa itu, saya sedang mengerjakan AGV (kereta pengarah automatik), dan banyak masa senggang saya dihabiskan di makmal untuk menguji peranti keras dan menjalankan eksperimen, di mana saya sering melihat Prof. Zhang membimbing pelajar doktoral dalam kerja berkaitan robotik. Kemudian, saya beruntung menjadi pelajar doktoral beliau. Yang paling saya ingat ialah kepekaan beliau terhadap teknologi baharu dan rasa ingin tahu yang kuat. Setiap kali saya menemui beliau untuk membincangkan keputusan eksperimen, beliau akan duduk dengan bersemangat di samping saya dan berkata, “Cuba ubah ini, lihat apa yang berlaku.” Beliau juga menggunakan cara ini untuk memperdalam pemahaman beliau sendiri. Anda dapat melihat bagaimana seorang akademik memahami algoritma dan masalah sepenuhnya didorong oleh rasa ingin tahu.

Satu lagi perkara yang masih berguna hingga kini ialah penekanannya bahawa “untuk memahami sesuatu, anda harus memahaminya sepenuhnya”; jika tidak memahami sepenuhnya, anda akan ditipu, dan hanya apabila memahami sepenuhnya anda akan tahu bagaimana prinsip asasnya berfungsi. Perkataan ini kemudian menjadi prinsip saya dalam membimbing pelajar: pahami secara mendalam, usahakan yang terbaik.

Profesor Shen Xiangyang juga memberi kesan yang sangat besar kepada saya. Semasa saya di Microsoft, beliau selalu menjadi atasan saya dan boleh dikatakan mempengaruhi seluruh jalan kerjaya saya: beliaulah yang mengajak saya pergi dari China ke Amerika Syarikat, dan beliau jugalah yang mendorong saya pulang ke Shenzhen. Selain itu, beliau mempunyai keupayaan penilaian yang sangat tajam dalam arah industri, dan memberi saya banyak nasihat serta perkongsian pengalaman yang spesifik, mulai dari pembinaan pasukan sehingga pembiayaan.

Ulasan Teknologi AI: Mendengar bahawa Profesor Zhang Bo yang berusia 90 tahun masih datang berbincang dengan pasukan anda? Kami merasa sangat terkesan mendengar perkara ini.

Zhang Lei: Ya. Pada November tahun lalu, Sekolah Pascasarjana Tsinghua mengundangnya untuk memberi kuliah di Shenzhen. Selepas memberi kuliah pada pagi hari, beliau meluangkan seluruh waktu petang kepada tim kami. Kami berbincang sepanjang petang dan makan malam bersama pada malam harinya. Beliau mempunyai pandangan yang sangat luas dan memberikan banyak cadangan mengenai arah kami dalam pemahaman visual umum dan robotik. Walaupun sudah berusia, pemikiran beliau sangat jelas, dengan kejelasan logik dan kedalaman pemahaman terhadap masalah yang tidak kalah dengan generasi muda.

Setiap gelombang melampaui bayangan, tetapi gelombang akan datang sendiri mencari kamu

Ulasan Teknologi AI: Dalam beberapa tahun terakhir, anda telah terlibat secara mendalam dalam setiap gelombang, mulai daripada pembelajaran mendalam hingga model besar, kemudian kepada model tubuh dan model dunia. Kami ingin tahu, adakah ada satu momen yang membuat anda merasa "Inilah yang ingin saya lakukan"?

Zhang Lei: Pekerjaan pengesanan objek sangat dekat dengan keadaan yang anda sebutkan. Pekerjaan ini membuat saya sangat bangga, kerana saya dapat melihat kemajuan revolusioner dalam seluruh bidang ini.

Model dunia seterusnya juga merupakan arah yang saya sangat bersemangat dan bersedia untuk memberikan sepenuhnya. Proses perkembangan bergilir antara pembelajaran penguatan dan model dunia selama beberapa dekad, serta paradigma berjaya model bahasa, semuanya boleh dijadikan contoh. Saya percaya arah ini akan memberi kesan besar kepada seluruh industri AI.

Ulasan Teknologi AI: Momen cemerlang penyelidik sering disebut, tetapi masa suram jarang dibincangkan. Adakah anda pernah mengalami masa suram teknologi?

Zhang Lei: Ada. Sekitar tahun 2018, saya mencuba menggunakan data pengawasan lemah untuk pengesanan objek, hanya dengan label kategori gambar sahaja untuk melakukan pengesanan, mengelakkan keperluan menandai kotak untuk setiap objek. Kaedah ini kedengaran sangat menarik, saya menghabiskan masa yang agak lama, tetapi tidak dapat menyelesaikannya sepenuhnya.

Kemudian, kami menggunakan IDEA untuk Grounding DINO, menggabungkan pemahaman bahasa dan kemampuan pengesanan, yang menyelesaikan masalah dari sudut pandang yang berbeza. Terobosan ini sebahagiannya berasal dari inovasi kami dalam model pengesanan DINO yang membina asas yang kukuh, dan sebahagiannya besar-besaran mendapat manfaat daripada perkembangan model bahasa. Terobosan Grounding DINO berlaku pada akhir 2022 dan awal 2023, tepat ketika ChatGPT dilancarkan. Terdapat satu pernyataan yang menyatakan: “Apabila data cukup besar, kecerdasan akan muncul secara semula jadi.” Apabila data cukup besar, algoritma boleh menjadi cukup ringkas.

Saya percaya menghadapi kegagalan adalah perkara biasa; yang penting ialah memiliki keteguhan untuk terus memecahkan masalah yang sukar. Jika satu pendekatan tidak berjaya, cuba sudut pandang lain—fikirkan ia semasa makan, tidur, dan terus memutar-mutarkannya dalam fikiran. Masalah yang benar-benar baik akan terus dipikirkan selama bertahun-tahun, dan pada suatu ketika, terobosan kualitatif akan muncul secara semula jadi.

Ulasan Teknologi AI: Kini ramai generasi muda juga mula memulakan perniagaan model dunia, seperti Chen Boyuan dan Ji Jiaming daripada Inverse Matrix, serta Bai Yinqi daripada Baize Technology, yang semuanya masih pelajar sarjana muda. Kami rasa perkara ini menarik—apakah pandangan anda terhadap “gelombang selepas” ini?

Zhang Lei: Ini menunjukkan bahawa rintangan untuk memasuki bidang penyelidikan memang telah berkurang. Sebelum kemunculan pembelajaran mendalam, penyerta baru perlu menghabiskan bertahun-tahun untuk membina asas. Kini, teknologi sumber terbuka telah menyederhanakan teknologi tersebut—memahami Transformer sahaja sudah cukup untuk memasuki bidang ini. Kelebihan generasi muda ialah mereka tidak memikul beban, sehingga lebih mudah menerima paradigma baharu dari prinsip pertama. Namun, masalah yang sebenarnya sukar juga memerlukan penyelidik berpengalaman yang memiliki wawasan, kefahaman, dan kemampuan mengawal arah.

Tema sosial sentiasa berubah, tetapi jika anda hanya mengejarnya semata-mata untuk mengikuti arus, anda malah tidak akan dapat mengejarnya. Intinya adalah: tidak kira arah mana pun berubah, setiap pasukan sentiasa memerlukan orang yang paling cekap. Selama anda terus rajin belajar dan mempunyai asas yang kukuh, arah paling mutakhir akan datang mencari anda.

Sebuah ilham

Yang paling menyentuh kami dalam temu bual ini bukanlah pencapaian teknikal cemerlang Zhang Lei, bahkan bukan juga murid-murid bawahannya yang cemerlang—perantara Huang Zheng, Li Xuelong, serta anggota pasukan dalam projek algoritma pengesanan muka generasi pertama Microsoft, Zhu Long, Xiao Rong, dan Yan Shuicheng.

Yang paling menyentuh kami ialah perkataan yang kerap dia sebut: “memahami dengan mendalam”.

Kata ini, Zhang Lei telah mencatatnya selama tiga puluh tahun.

Pada awal tahun 1990-an, di kampus Tsinghua, kecerdasan buatan masih merupakan bidang yang tidak popular dan diabaikan oleh semua orang; Zhang Lei masih merupakan pelajar sarjana muda di jabatan komputer yang bermain-main dengan kereta AGV di ruang pengajian. Pada masa itu, ketua makmal membimbing pelajar doktor dalam kerja berkaitan robot, yang meninggalkan kesan mendalam kepadanya, dan kemudian dia pun menjadi muridnya.

Ketua makmal itu ialah Zhang Bo, salah seorang perintis kecerdasan buatan China. Setiap kali Zhang Lei mengajaknya melihat keputusan eksperimen, dia akan dengan bersemangat duduk di samping Zhang Lei, memerhatikan skrin seketika, lalu mengeluarkan jarinya: "Ubah ini sedikit, lihat apa yang berlaku." Bukan semata-mata memeriksa tugasan, tetapi benar-benar ingin tahu apa yang akan berlaku selepas parameter diubah.

Apa yang Zhang Bo ajarkan kepada Zhang Lei kemudian diringkaskan menjadi tiga perkataan: "faham sepenuhnya".

Jika tidak memahami dengan jelas, anda akan ditipu; hanya apabila memahami dengan mendalam, anda akan tahu bagaimana prinsip asasnya berfungsi.

Semangat generasi pertama ilmuwan China diwariskan melalui perkara-perkara kecil seperti ini.

Pada tahun 2018, Zhang Lei bekerja pada pengesanan objek dengan pengawasan lemah di Microsoft, tetapi gagal, dan dia tidak menukar topiknya.

Jika tidak berjaya pada putaran ini, cuba dari sudut lain, fikirkan ia terus-menerus, bahkan ketika makan dan tidur, berputar-putar di sekelilingnya.

Ini bukan retorika, ini harian dia.

Kemudian, IDEA membuat Grounding DINO, yang menyelesaikan masalah dari sudut pandang yang berbeza. Momen terobosan berlaku pada akhir 2022 apabila ChatGPT dilancarkan—keupayaan model bahasa meningkat, dan data cukup besar.

Zhang Lei menggunakan satu perihalan: "muncul secara semula jadi".

Dari mengubah parameter kereta AGV hingga memecahkan model dunia, terdapat tiga dekad di antaranya. Dalam tiga dekad itu, dia berpindah dari pencarian gambar berskala besar hingga pemahaman visual umum, mengejar pemahaman menyeluruh dan kecemerlangan dalam setiap masalah, sehingga akhirnya kembali kepada arah “membina model dunia untuk robot”. Seperti yang dikatakan Jobs, “connect the dots”—setiap perkara yang dilakukan dengan serius tidak akan sia-sia.

Pada akhir 2025, Zhang Bo, yang berusia 90 tahun, terbang ke Shenzhen untuk memberi kuliah. Selepas mengajar pagi hari, beliau terus pergi ke pejabat ShiQi Weilai. Delapan belas orang muda berkumpul mengelilinginya; beliau berbicara sepanjang petang, lalu makan malam bersama mereka, menceritakan pengalaman semasa belajar, serta pandangannya terhadap arah ini. Pemikirannya jelas, logiknya ketat, tidak kalah dengan generasi muda. Zhang Lei juga menceritakan kepada gurunya tentang perkara yang sedang dilakukannya.

Profesor Zhang Bo membentangkan masa depan, Zhang Lei memberitahu guru mengenai kemajuan penyelidikan

Tiga puluh tahun lalu, di kampus Tsinghua, guru duduk di samping pelajar dan berkata: "Kau ubah ini sedikit, lihat bagaimana hasilnya."

Tiga puluh tahun kemudian, di pejabat Shenzhen, seorang pelajar menerangkan model dunia yang sedang dibuatnya kepada guru yang berusia 90 tahun.

Ini adalah adegan yang begitu mengharukan.

Manusia akan tua, air pasang akan surut, topik akan menjadi dingin, tetapi tekad para ilmuwan China untuk memahami secara mendalam setiap masalah dunia belum pernah berubah. Leifeng.com