Pada paruh pertama tahun 2026, total pendanaan di lintasan model dunia bidang AI Tiongkok mencapai sekitar 90 miliar yuan, dengan pertumbuhan lebih dari lima kali lipat.

Penulis artikel, sumber: Leifeng.com

Pada paruh pertama tahun 2026, uang dan orang-orang di dunia AI Tiongkok mengalir ke arah yang sama: model dunia.

Hanya dalam enam bulan pertama, total pendanaan yang diungkapkan di lintasan model dunia domestik mencapai sekitar 30 miliar yuan; jika lintasan integrasi "kecerdasan tubuh + model dunia" dimasukkan, angka ini melonjak menjadi lebih dari 90 miliar yuan.

Pertumbuhan pembiayaan lebih dari 5 kali dibandingkan periode yang sama tahun lalu.

Dana puluhan miliar, sumber daya manusia dalam jumlah besar, membanjir seperti gelombang.

Masalah yang tak bisa dihindari adalah: begitu banyak orang masuk, seberapa banyak dari mereka yang benar-benar memahami apa sebenarnya hal ini?

Praktisi mencari arah, investor mencari orang, headhunter memetakan organisasi, dan tim strategi perusahaan besar sedang meneliti siapa yang akan bertahan.

Hal yang aneh adalah semua orang bertanya pertanyaan yang sama: Apakah ada yang bisa menjelaskan tentang model dunia ini?

Ada.

Kami melakukan wawancara mendalam hari ini dengan ilmuwan kursi di IDEA Research Institute dan pendiri ShiQi Future, Zhang Lei, untuk membahas hal ini secara jelas.

Dia adalah IEEE Fellow dengan lebih dari 77.000 kutipan di Google Scholar. Seri DINO-nya mendominasi COCO selama lima bulan, Grounding DINO dan DINO-X selanjutnya mengungguli Google dan Meta, serta menjadi referensi standar oleh berbagai lembaga terkemuka global seperti tim Li Fei-Fei, NVIDIA, dan Galaxy General.

Pada tahun 2025, ia bersama timnya mendirikan ShiQi Future dari IDEA, dan dana putaran malaikat mencapai hampir seratus juta yuan dalam satu bulan.

Di belakangnya berdiri dua raksasa AI: mentor akademik Profesor Zhang Bo (salah satu perintis kecerdasan buatan Tiongkok), dan mentor industri Profesor Shen Xiangyang (mantan Wakil Presiden Eksekutif Global Microsoft dan mantan Direktur Microsoft Research Asia).

Tetapi itu bukan alasan utama kami mencarinya.

Alasan kami mencarinya sangat sederhana: di tahun 2026, ketika semua orang berdebat tentang "apa itu world model", Zhang Lei adalah salah satu dari sedikit orang yang memberikan jawaban yang jelas, dapat dijalankan, dan tidak berkompromi dengan arus utama.

Dari peneliti utama di Microsoft Research, hingga ilmuwan terkemuka di IDEA Research, lalu menjadi pengusaha—jalur karier nya beberapa kali berubah arah, tetapi topik penelitiannya tidak pernah berubah: “Membuat AI memahami objek.”

World model adalah jawaban kunci dalam proposisi yang telah dikerjakan selama lebih dari dua puluh tahun di dunia fisik.

Jika Anda sedang mengikuti lintasan model dunia, ingin memahami apakah itu benar-benar gelembung, ingin tahu siapa yang akan menang dalam persaingan rute, dan ingin menilai tim jenis apa yang paling layak diikuti—percakapan orang ini layak Anda baca sampai selesai. Karena, It's totally worth your time.

Berikut adalah transkrip percakapan, yang telah diedit oleh AI Tech Review tanpa mengubah makna aslinya.

Dr. Zhang Lei, IEEE Fellow, pendiri dan CEO VisionNext, saat ini menjabat sebagai Ilmuwan Utama di Pusat Riset Visual Komputer dan Robotika (CVR), IDEA Research Institute, serta profesor tamu di Hong Kong University of Science and Technology (Guangzhou). Sebelumnya, ia menjabat sebagai Peneliti Utama di Microsoft Research Asia dan Microsoft Headquarters Research, telah menerbitkan lebih dari 200 paper di bidang computer vision, dengan lebih dari 77.000 kutipan di Google Scholar, H-Index sebesar 107, dan memiliki lebih dari 60 paten AS yang telah disahkan. Ia dipilih menjadi IEEE Fellow karena kontribusi luar biasanya dalam bidang pengenalan gambar skala besar dan pencarian informasi multimedia.

Hambatan terbesar dalam kecerdasan tubuh bukanlah tubuhnya, melainkan otaknya

Ulasan Teknologi AI: Sejak tahun lalu, kecerdasan tubuh telah meledak, perusahaan robotika berbagai pihak semakin memukau dalam pengendalian gerak, robot Unitree berlari di lintasan maraton, sementara robot Agi dapat melakukan guling. Namun, kami perhatikan bahwa dalam penerapan nyata tampaknya masih kurang satu tarikan napas. Menurut Anda, tantangan apa lagi yang harus diatasi agar kecerdasan tubuh benar-benar menuju kenyataan?

Zhang Lei: Inti yang harus dipecahkan oleh robot hanyalah dua hal: tingkat keberhasilan dan kemampuan generalisasi. Tingkat keberhasilan merujuk pada seberapa andal suatu tugas dapat diselesaikan; kemampuan generalisasi berarti tugas yang sama tetap dapat diselesaikan secara andal meskipun lingkungan atau badan pelaksananya berubah.

Ada empat tantangan spesifik:

Pertama, generalisasi pada satu skenario tidak memadai. Saat ini, banyak tim mampu mencapai tingkat keberhasilan 70% bahkan 80% dalam satu skenario, yang terdengar seperti terobosan besar. Namun, apa artinya 80% dalam penerapan nyata? Artinya, satu dari lima operasi akan gagal, tetap memerlukan banyak tenaga manusia untuk menangani kesalahan, dan sama sekali tidak dapat di-deploy secara mandiri.

Kedua, skalabilitas konteks horizontal tidak cukup luas. Sebaiknya dorong kemampuan titik tunggal hingga batas maksimalnya terlebih dahulu, baru kemudian perluas penerapan konteks secara horizontal, sehingga ia dapat melakukan lebih banyak dan tugas yang lebih kompleks dalam lingkungan yang lebih rumit. Ini adalah kesenjangan terbesar yang menghambat robot dari "demonstrasi laboratorium" menuju "aplikasi nyata".

Ketiga, kurangnya kemampuan mendalam dari "otak". Saat ini, pembelajaran mendalam lebih banyak belajar tentang "perilaku" kecerdasan, bukan "mekanisme" (prinsip kerja di balik kecerdasan). Otak tubuh memerlukan kemampuan inferensi kausal yang sejati terhadap dunia fisik (bukan hanya korelasi statistik, tetapi memahami rantai logika "karena A maka B"), pemahaman umum, dan kemampuan beradaptasi, dan di bidang ini, kita baru saja memulai.

Keempat, jauh dari mencapai tingkat aplikasi "end-user". Saat ini, sebagian besar robot masih bergantung pada daya komputasi eksternal yang besar, dan perlu menyelesaikan masalah mendasar "tidak memerlukan penanggung jawab manusia" agar dapat diterapkan secara luas di berbagai skenario, membentuk siklus positif "aplikasi-data-iterasi".

Ulasan Teknologi AI: Sejujurnya, pandangan industri terhadap masalah ini cukup terpecah. Tim yang fokus pada perangkat keras percaya bahwa keunggulan rantai pasok Tiongkok jelas, dan sebaiknya fokus pada penurunan biaya dasar; sementara tim yang fokus pada algoritma berpendapat bahwa otak adalah titik paling kritis yang menghambat. Bagaimana pendapat Anda?

Zhang Lei: Otak lebih sulit, tetapi juga lebih penting.

Dari segi hardware, China bangga dengan iterasi perangkat kerasnya. Perusahaan-perusahaan seperti Unitree dan Zhiyuan mengiterasi kontrol gerak melalui pembelajaran penguatan simulasi (melatih algoritma kontrol di lingkungan virtual sebelum diterapkan ke robot nyata), terus menyempurnakan komponen-komponen kunci seperti motor dan mekanisme transmisi, sehingga biaya dan keandalan secara signifikan dioptimalkan, menempuh jalan yang sangat solid. Namun, kemampuan hardware yang ditunjukkan dalam maraton atau pertunjukan baru bisa dikatakan memiliki dasar-dasar kemampuan hewan—reaksi insting hewan, lompatan, penghindaran, dan interaksi dengan lingkungan—masih belum dicapai oleh hardware ini.

Ulasan Teknologi AI: Anda mengatakan "otak" lebih sulit, sulit di mana? Apakah karena data yang tidak cukup, atau karena pemahaman kita terhadap kecerdasan itu sendiri masih terlalu dangkal?

Zhang Lei: Sulitnya terletak pada mekanisme di baliknya yang belum kita pahami secara mendalam. Otak manusia memiliki tingkat diferensiasi dan kecerdasan tertinggi dibandingkan hewan lainnya. Saat ini, semua terobosan dalam pembelajaran mendalam hanya melihat sejauh mana kecerdasan otak manusia dapat direplikasi secara tampak luar, lalu menggunakan algoritma untuk merealisasikannya. AI sebenarnya sedang belajar perilaku manusia, bukan belajar kecerdasan manusia itu sendiri. Seperti yang sering dikatakan Profesor Zhang Bo, model bahasa besar dapat berbicara seperti manusia, tetapi cara mereka memahami bahasa sama sekali berbeda dari cara manusia memahaminya.

Mengapa model dunia "diabaikan" selama dua puluh tahun, dan tiba-tiba menjadi populer hari ini?

Ulasan Teknologi AI: Seiring ledakan embodied AI, konsep "world model" tiba-tiba menjadi populer. Namun, semua orang di industri tahu ini bukan istilah baru—para akademisi sudah membahasnya sejak tahun 90-an. Kami penasaran, mengapa konsep ini menghilang selama dua dekade, lalu tiba-tiba menjadi tren hari ini?

Zhang Lei: Pertanyaan yang bagus. Model dunia memang bukan konsep baru. Pada awal tahun 90-an, para akademisi sudah mencoba memodelkan lingkungan yang diperlukan untuk interaksi agen (sistem AI yang mampu merasakan lingkungan dan mengambil tindakan untuk mencapai tujuan), guna membantu meningkatkan algoritma pembelajaran penguatan, tetapi pada saat itu pembelajaran mendalam belum muncul, sehingga sulit untuk menguji konsep tersebut setelah diusulkan.

Konsep ini benar-benar teruji sekitar tahun 2018-2019, ketika muncul paper yang benar-benar disebut "World Models" dan diterapkan dalam skenario game, karena game merupakan lingkungan terbaik untuk menguji reinforcement learning.

Beberapa tahun setelah perkembangan reinforcement learning, AI sudah mampu mengalahkan pemain manusia dalam game. Pada saat itu, para peneliti mulai mempertimbangkan: apakah agen AI dapat secara mandiri "mempelajari" sebuah model dunia melalui interaksi berulang dengan lingkungan game, dan memasukkan proses evolusi lingkungan ke dalam model tersebut? Gagasan ini secara lengkap diverifikasi sekitar tahun 2018 hingga 2020.

Komentar teknologi AI: Lalu, apa hubungannya ini dengan kecerdasan tubuh hari ini? Dari yang kami dengar, sepertinya tubuh sebenarnya adalah pemicu yang membuat model dunia menjadi populer?

Zhang Lei: Hubungan ini harus dimulai dari model bahasa. Industri sebelumnya mengembangkan VLA (Vision-Language-Action, yaitu model visual-bahasa-aksi, di mana robot melihat gambar dan memprediksi tindakan selanjutnya), dengan menggunakan paradigma pembelajaran imitasi dari model bahasa: model bahasa melakukan Next Token Prediction; VLA berwujud adalah robot yang melihat gambar saat ini dan memprediksi tindakan selanjutnya yang harus dilakukan.

Namun, metode ini segera mencapai batas. Batasnya tidak hanya pada data, menurut saya data hanyalah satu sisi, sisi lainnya adalah penerapan reinforcement learning yang belum cukup. Saya punya sebuah analogi: imitation learning membuat model bahasa belajar berbicara, sedangkan reinforcement learning membuat model bahasa bisa berbicara dengan benar.

Kecerdasan robot dan tingkat keberhasilan tindakannya juga memerlukan pembelajaran penguatan.

Namun, pembelajaran penguatan yang diterapkan pada sistem fisik menghadapi dua hambatan mematikan: pertama, efisiensi pengumpulan data sangat rendah, jauh lebih rendah daripada model bahasa; robot harus secara nyata menjalankan setiap tindakan di lingkungan nyata dan menunggu umpan balik fisik; kedua, biaya kegagalan tidak dapat ditoleransi—belajar mencuci piring bisa berakibat memecahkan piring, dan mobil otonom yang belajar menghindari kecelakaan mungkin harus mengalami banyak kecelakaan nyata sebelum belajar. Ini sangat berbeda dengan model bahasa yang dapat melakukan percobaan dan kesalahan dengan biaya rendah di dunia digital.

Lingkungan virtual yang disediakan oleh model dunia adalah jalan keluar untuk menyelesaikan masalah-masalah ini. Jika sebuah model dapat memprediksi "Jika saya melakukan tindakan ini, lingkungan akan berubah menjadi seperti apa?", maka robot dapat terlebih dahulu "membayangkan" ribuan kali percobaan dan kesalahan di dunia virtual, tanpa perlu benar-benar menjatuhkan sepuluh ribu mangkuk.

(Catatan penulis: Pahami logika kalimat ini secara sederhana. Pertama, robot membutuhkan banyak percobaan dan kesalahan untuk belajar melakukan suatu hal. Kedua, melakukan percobaan dan kesalahan di dunia nyata terlalu mahal dan berbahaya. Ketiga, model dunia adalah menciptakan “lapangan latihan virtual” bagi robot, sehingga ia dapat memprediksi konsekuensi dari berbagai tindakan di dalam pikirannya. Keempat, hanya perlu menerapkan solusi terbaik ke dunia nyata. Inilah mengapa model dunia tiba-tiba menjadi fokus utama seluruh industri pada titik waktu ini.)

Tanpa tindakan sebagai syarat input, itu tidak disebut model dunia

Ulasan Teknologi AI: Saat ini, definisi industri terhadap "Model Dunia" cukup membingungkan. Generasi video disebut model dunia, pemodelan ruang 3D disebut model dunia, dan JEPA (Arsitektur Prediksi Embedding Bersama) milik LeCun juga disebut model dunia. Menurut Anda, agar sebuah model layak disebut empat kata ini, setidaknya harus memiliki kondisi apa?

Zhang Lei: Saya percaya model dunia harus memiliki ketergantungan tindakan, yaitu Action Conditioned (tindakan sebagai input, model harus mampu menjawab "jika suatu tindakan dilakukan, lingkungan akan menjadi seperti apa").

Agen dapat berinteraksi dengan lingkungan karena tindakan: tindakan agen menyebabkan perubahan lingkungan, setelah perubahan lingkungan terjadi, status baru dihasilkan dan dikembalikan ke agen, memberi tahu apakah tindakan tersebut telah mendekatkannya satu langkah lagi ke tujuan. Ini adalah siklus tertutup lengkap, di mana setiap perpindahan status lingkungan bergantung pada tindakan spesifik yang dilakukan pada langkah sebelumnya.

Orang sering mengatakan bahwa model dunia adalah mengubah Next Token Prediction pada model bahasa menjadi Next State Prediction, tetapi menurut saya definisi ini tidak cukup ketat dan kurang satu syarat kunci. Pernyataan yang benar adalah: Next State Prediction yang Bersyarat Aksi. Hanya dengan memasukkan aksi sebagai prasyarat, prediksi status menjadi bermakna dan benar-benar sesuai dengan kebutuhan reinforcement learning.

Ulasan Teknologi AI: Sejujurnya, banyak orang, termasuk beberapa investor dalam BP, terbiasa menyebut model generasi video seperti Sora sebagai world model. Namun, berdasarkan standar yang Anda berikan tadi, model-model ini jelas kekurangan dimensi gerakan. Kami ingin mendengar bagaimana Anda menganalisis masalah ini?

Zhang Lei: Model dunia yang kita bahas di sini berasal dari pendekatan model-based dalam bidang reinforcement learning, yang bertujuan membantu agen berinteraksi lebih efektif dengan lingkungan. Meskipun model dunia memiliki banyak aplikasi, embodied intelligence adalah aplikasi yang paling jelas dan paling berharga saat ini.

Dalam pengertian ini, model generasi video murni seperti Sora versi awal tidak dapat disebut sebagai model dunia. Alasan utamanya adalah karena model ini tidak memodelkan “tindakan”; pada dasarnya, ia hanya menghasilkan urutan video yang konsisten, memprediksi bagaimana piksel berubah, tetapi sama sekali tidak memodelkan tindakan interaksi antara robot dan lingkungan. Apakah model ini dapat secara tidak langsung membantu robot? Ya, ia dapat mempelajari beberapa pola perubahan dunia, tetapi sulit membantu robot berinteraksi lebih baik dengan lingkungan.

Ulasan Teknologi AI: Bagaimana dengan World Action Model yang baru-baru ini populer? Kami mendengar bahwa ia juga membahas tindakan, apakah ini model dunia lain?

Zhang Lei: WAM juga bukan model dunia dalam arti reinforcement learning. Ia memanfaatkan supervisi tingkat piksel dari prediksi gambar masa depan untuk membantu meningkatkan prediksi tindakan, dan telah menunjukkan kinerja lebih baik daripada VLA pada beberapa tugas. Namun, pemodelannya bersifat sebab-akibat terbalik—menghasilkan gambar masa depan terlebih dahulu, lalu mengembalikan tindakan—sehingga tidak dapat digunakan dalam reinforcement learning, dan oleh karena itu tidak memenuhi definisi model dunia yang kita bahas di sini.

PixelPals vs. LatentSpace: Keduanya sebenarnya sedang melakukan hal yang sama

Ulasan Teknologi AI: Saat membahas perdebatan jalur, ini adalah topik paling panas di bidang model dunia saat ini. LeCun adalah tokoh utama aliran ruang tersembunyi, sementara Sora mewakili aliran piksel. Kedua jalur tampaknya saling bertentangan, bagaimana pendapat Anda?

Zhang Lei: Pertama, kita harus melihat bahwa kedua jalur ini memiliki kesamaan.

Saat ini, sebenarnya banyak orang merasa bahwa keduanya sangat bertentangan, mungkin juga karena LeCun sangat tegas dan jelas dalam mempertahankan pendapatnya; terkadang seorang akademisi harus menyampaikan pendapatnya dengan sangat jelas agar dikenal oleh publik.

Namun, jalur pixel sebenarnya juga memanfaatkan ruang laten untuk operasi. Stable Diffusion, Sora semuanya terlebih dahulu mengompres gambar atau video ke ruang representasi berdimensi rendah sebelum diproses. Jadi, ruang representasi adalah masalah yang lebih mendasar. Perbedaan sejati antara dua jalur ini sama sekali bukan tentang apakah akan menggunakan ruang laten atau tidak, tetapi tentang apa yang harus dipertahankan dan apa yang harus dibuang setelah memasuki ruang laten.

Perbedaannya terletak pada: jalur latent space berusaha menghilangkan detail piksel seperti cahaya, bayangan, dan tekstur yang tidak didorong oleh hukum fisika, sehingga membantu model mempelajari pola yang lebih mendasar di balik perubahan status, tetapi ia menghadapi risiko kolaps representasi—jika sepuluh ribu gambar berbeda dipetakan menjadi representasi yang identik, maka representasi tersebut kolaps, yang berarti model kehilangan kemampuan untuk membedakan status yang berbeda. Jalur piksel mengejar keakuratan hingga detail terkecil, pada dasarnya berusaha memuaskan mata manusia, karena manusia sangat peka terhadap detail visual.

Ulasan Teknologi AI: Sampai di sini, kami memiliki intuisi. Apakah inferensi otak manusia juga tidak terjadi di ruang tersembunyi? Ketika Anda menutup mata membayangkan konsekuensi suatu tindakan, siapa yang benar-benar merender setiap piksel di dalam pikiran?

Zhang Lei: Benar. Jika otak manusia memiliki model dunia, ketika manusia membayangkan bagaimana tindakan mengubah lingkungan, sebenarnya itu adalah operasi di ruang tersembunyi, bukan memproses seluruh gambar piksel demi piksel di dalam otak. Oleh karena itu, menggunakan penilaian kualitas gambar mata manusia sebagai standar evaluasi model dunia tidak cukup. Jika pendekatan piksel ingin membuat model dunia, yang seharusnya dikejar bukanlah seberapa realistis pikselnya, tetapi urutan video yang dihasilkan harus sesuai dengan kepatuhan fisik.

(Catatan penulis: Dialog ini membahas perdebatan antara dua pendekatan dalam model AI dunia. Pendekatan piksel yang diwakili oleh Sora hanya fokus pada realisme visual, sering menghasilkan bug yang melanggar hukum fisika seperti cangkir mengambang, objek menembus, atau lilin yang tidak bisa dipadamkan; sementara pendekatan ruang laten yang diusulkan oleh LeCun dan Zhang Lei mengabstraksikan gambar menjadi pola terlebih dahulu sebelum melakukan inferensi, sehingga lebih memahami sebab-akibat fisika. Inovasi kunci Zhang Lei adalah menambahkan "struktur objek" ke dalam ruang laten, memungkinkan AI untuk membedakan objek-objek independen seperti cangkir, meja, dan manusia terlebih dahulu, lalu mempelajari pola interaksi di antara mereka—menghindari kesalahan visual seperti pada Sora, sekaligus lebih cocok bagi robot dalam menghindari rintangan, mengambil objek, dan merencanakan gerakan di dunia nyata.)

Ulasan Teknologi AI: Anda mengikuti jalur ruang tersembunyi yang sama dengan LeCun. Namun, kami mendengar bahwa pendekatan Anda memiliki perbedaan kunci dengannya, yaitu menekankan untuk "memasukkan struktur objek." Perbedaan intinya di mana?

Zhang Lei: Rute kami berbagi prinsip dasar yang sama dengan LeCun: otak manusia melakukan penalaran counterfactual ("bagaimana jika saya melakukan ini?") bersifat bersyarat tindakan, ber推理 dalam representasi abstrak, bukan mereplikasi dalam piksel.

LeCun selama beberapa tahun terakhir telah menguji aksioma ini dengan I-JEPA, V-JEPA, dan LeJEPA: prediksi harus terjadi di ruang representasi. Namun, kompleksitas ruang fisik dalam pendekatan tubuh sangat tinggi, dan menurut kami, untuk menerapkan metode ini secara luas di lingkungan nyata, diperlukan penambahan struktur yang diperlukan di ruang tersembunyi.

Pandangan ini berasal dari kemampuan yang telah kami verifikasi. DINO-X, yang dikembangkan oleh tim inti kami, telah menyelesaikan masalah "melihat objek" di dunia terbuka. Oleh karena itu, sekarang kami menjadikan objek sebagai unit dasar dalam prediksi dan perencanaan model dunia. Secara intuitif, hukum fisika bekerja pada objek; dengan memahami objek dalam representasi ruang tersembunyi, kita dapat mempelajari hukum fisika secara lebih efektif.

Ulasan Teknologi AI: Tunggu sebentar, kami ingin menanyakan satu hal lagi. LeCun dengan AMI Labs telah mengumpulkan dana miliaran dolar AS dan juga berjuang keras di arah ini. Apa dasar Anda berpikir bahwa perbaikan Anda berupa "memasukkan struktur objek" bisa melangkah lebih jauh di dalam kerangka besarnya?

Zhang Lei: Karena sebelumnya kami mengembangkan DINO-X, sebuah model persepsi objek terbuka yang telah mencapai yang terbaik di dunia dalam hal "memahami objek". Pemahaman kami terhadap mekanisme model visual, mengapa model visual dapat menghasilkan kepatuhan fisik, sangat selaras dengan jalur pemahaman objek umum yang sebelumnya kami tekuni.

Secara sederhana, pendekatan LeCun adalah kerangka dasar, dan kami memperkenalkan struktur objek ke dalam kerangka ini serta membuatnya berjalan dalam lingkungan nyata secara tertutup. Kemampuan “tertutup” ini adalah hasil dari upaya kami selama beberapa tahun terakhir.

Mengapa seri DINO mampu mengungguli Google dan Meta?

Ulasan Teknologi AI: Tim Anda mencapai prestasi yang luar biasa di tahap model visual besar. Grounding DINO dan DINO-X yang diluncurkan setelahnya mengungguli Google dan Meta, dan menjadi referensi standar oleh lembaga terkemuka global seperti tim Li Fei-Fei, NVIDIA, dan Galaxy General. Kami telah membahas hal ini di internal, dan semua orang merasa ini agak "tidak wajar": biasanya tim Tiongkok mengejar tim luar negeri, bagaimana Anda bisa sebaliknya membuat tim luar negeri mengejar Anda?

Zhang Lei: Dua dimensi yang menonjol.

Secara paradigmatik, kami adalah tim pertama di bidang visual yang mencapai SOTA (State of the Art, tingkat terbaik di bidangnya) dalam deteksi Transformer (arsitektur pembelajaran mendalam berbasis mekanisme perhatian diri, yang juga menjadi dasar model bahasa besar). Grounding DINO memperkenalkan paradigma model bahasa, pertama kalinya memperluas deteksi objek ke domain terbuka, sehingga model tidak lagi terbatas pada "hanya mengenali kelas objek yang telah dilatih", tetapi dapat mendeteksi objek apa pun yang belum pernah dilihat sebelumnya. Hingga kini, ia tetap menjadi model open-source dengan jumlah kutipan dan unduhan tertinggi, yang dapat disebut sebagai terobosan paradigmatik.

Dalam hal strategi data dan teknik, setelah Grounding DINO, kami beralih ke jalur tertutup untuk mengembangkan ide-ide yang telah diverifikasi ke arah scaling. Sementara itu, saya menetapkan standar kerja yang sangat tinggi. Meskipun tim saat itu masih muda dan belum pernah melakukan pekerjaan sekuat ini, saya tetap mempertahankan ambang batas yang ketat, menekankan bahwa rilis hanya boleh dilakukan jika mencapai terobosan tingkat versi besar. Oleh karena itu, kami membutuhkan waktu sekitar satu tahun untuk meluncurkan Grounding DINO 1.5, dan kemudian enam bulan lagi untuk meluncurkan DINO-X. Faktanya, versi-versi yang kami sempurnakan selama lebih dari satu tahun ini mendapat pengakuan yang sangat tinggi dari industri.

Ulasan Teknologi AI: Apa hubungan antara model visual besar yang kalian buat dengan pembuatan model dunia hari ini?

Zhang Lei: Pekerjaan kami saling terkait. Sebelumnya, ketika kami bekerja pada persepsi objek, tujuan utamanya adalah memberikan dasar persepsi kepada robot, dan kemudian banyak tim menggunakan Grounding DINO kami untuk menyelesaikan masalah pemahaman lingkungan tubuh.

Dalam hal arsitektur teknis, model dunia lebih bersifat visual-natif dibandingkan bahasa; hampir semua pekerjaan model dunia tidak didasarkan pada arsitektur murni bahasa seperti GPT.

Dalam hal akumulasi tim, pemahaman kami terhadap mekanisme model visual sangat selaras dengan jalur teknis semula dalam pemahaman objek umum. Ini juga menjadi alasan mengapa kami percaya diri untuk terus mengembangkan model dunia.

Tim terdiri dari lebih dari 20 orang yang berasal dari IDEA, sangat stabil. Saat kami mengembangkan model tertutup, kami terus menarik orang-orang eksternal yang sangat ahli dalam algoritma dan teknik untuk bergabung. Lebih dari 20 orang ini adalah “benih” dari ShiQi Future hari ini.

Rute evolusi dari model DINO ke model dunia

Bagaimana cara membuat AI benar-benar "melihat" objek?

Ulasan Teknologi AI: Anda mengatakan bahwa solusi ruang tersembunyi yang ada "tidak benar-benar memahami objek", mereka tidak tahu mana objek-objek independen dalam adegan atau apa hubungan antar objek tersebut. Kami cukup penasaran, bagaimana cara menilai hal ini? Bagaimana kita tahu apakah model benar-benar "memahami" objek, atau hanya "berpura-pura" memahami?

Zhang Lei: Pemahaman itu sendiri sulit diverifikasi secara langsung. Bagaimana model bahasa benar-benar memahami bahasa, sampai sekarang belum ada yang bisa menjelaskan dengan jelas; kita hanya bisa menilai berdasarkan perilaku tampaknya. Jika model terus menghasilkan teks dan menurutmu tidak berbeda dengan yang diucapkan manusia, maka kamu mengatakan bahwa ia memahami.

Model dunia menghadapi masalah serupa. Sulit untuk secara langsung menjelaskan apakah model benar-benar memahami hukum fisika atau benar-benar menangkap struktur objek. Kami akan menganalisis melalui visualisasi langkah-langkah menengah; jika hasilnya konsisten dengan intuisi manusia, maka kemungkinan besar model telah menangkap struktur objek.

Ulasan Teknologi AI: Apakah ada metode pengujian spesifik? Bisakah kita melakukan eksperimen untuk melihatnya?

Zhang Lei: Ya. Uji kontrafaktual adalah metode yang baik untuk meminta model mencoba tindakan berbeda dan melihat apakah dapat menghasilkan hasil yang secara fisik masuk akal. Jika trajektori sedikit berubah tetapi tetap bisa benar, berarti model telah mempelajari pola; jika gagal, berarti yang dipelajari mungkin hanya korelasi statistik.

Ini sangat menguji wawasan. Seperti yang dikatakan Profesor Richard Sutton, saat melakukan penelitian, manusia selalu tergoda untuk membantu model dan memasukkan pengalaman mereka sendiri. Para peneliti model bahasa pernah ingin sekali menguraikan struktur sintaksis, membagi kata, dan memberikan frasa-frasa ke dalamnya, tetapi akhirnya tetap kalah oleh paradigma sederhana "memprediksi Token berikutnya".

Saya sendiri sangat percaya pada kekuatan iterasi berkelanjutan dari paradigma yang sederhana ini. Terlalu banyak desain buatan manusia, efektif dalam jangka pendek, tetapi akan menghambat iterasi dalam jangka panjang.

Ulasan Teknologi AI: Masih ada beberapa objek sulit di dunia fisik, seperti pasir bergerak, aliran air, asap, dan kain, yang tidak memiliki batas yang jelas. Kami khawatir apakah kerangka "berpusat pada objek" Anda justru akan terjebak dalam konsep "objek" itu sendiri?

Zhang Lei: Kami sendiri juga sedang memikirkan masalah ini. Dari sudut pandang teknis, cara paling sederhana untuk memulainya adalah Mask, yang memisahkan piksel area objek. Dalam beberapa tahun terakhir, bidang visual telah sangat matang dalam memahami semantik objek dan prediksi Mask, sehingga mampu menangani objek non-rigid seperti pasir bergerak dan perairan.

Oleh karena itu, memulai dari Mask adalah langkah praktis. Dan akumulasi kami dalam persepsi objek umum lebih dalam daripada tim mana pun di luar sana.

EgoTwin: Mengajari tangan robot dengan tangan manusia

Ulasan Teknologi AI: Dalam kerangka teknis Anda, ada konsep kunci yang disebut "action alignment", yang memetakan gerakan dari berbagai konfigurasi seperti tangan manusia, cakaran dua jari, dan tangan lincah multi-jari ke dalam ruang tersembunyi yang sama. Kami memahaminya seperti ini, ini terdengar sedikit seperti menerjemahkan untuk robot agar mereka bisa memahami gerakan dalam berbagai "bahasa", benarkan?

Zhang Lei: Input utama model dunia terdiri dari dua hal: gambar (status) dan tindakan, sehingga pemahaman terhadap tindakan sangat penting.

Aligning actions is a fundamental requirement for multi-ontology problems. Aligning human hands with robotic arms is even more challenging: the joint positions of robotic arms in physical space have precise XYZ coordinates, but human hand data is typically from 2D video—when people record a cooking video, it only contains two-dimensional visuals without three-dimensional coordinates. Directly mixing them is highly inefficient.

Pendekatan kami adalah mengekstrak titik kunci 3D, mengubah video tangan manusia 2D menjadi urutan operasi dalam ruang 3D, lalu menyelaraskan data lengan mekanis ke dalam ruang fisik yang sama. Ini adalah pengumpulan dan pemrosesan data Ego (data operasi manusia yang dikumpulkan dari perspektif orang pertama) yang saat ini dibahas di industri.

Kami sebelumnya meluncurkan EgoTwin, yang terutama menyelesaikan masalah pengumpulan data semacam ini, dan saat ini sedang bekerja sama dengan tim pengumpulan data Baidu Cloud.

Ulasan teknologi AI: EgoTwin menyelesaikan masalah data "bagaimana tangan bergerak". Namun, kami ingin menanyakan lebih lanjut, video manusia juga menyiratkan informasi tingkat lebih tinggi, yaitu "mengapa tangan bergerak seperti itu"—bagaimana dengan bagian ini?

Zhang Lei: Pemahaman niat tindakan tingkat lebih tinggi akan kami serahkan kepada model dunia atau model VLA untuk diselesaikan. Namun, syaratnya adalah kualitas data itu sendiri harus cukup tinggi. Bahan baku data sangat penting. Di industri ini, banyak sumber daya dan biaya diinvestasikan dalam pengumpulan data, tetapi dalam banyak kasus, efisiensi pemanfaatan data tidak ideal. Pengalaman inti yang kami kumpulkan dalam pekerjaan Grounding DINO dan DINO-X adalah menemukan orang yang memahami algoritma untuk secara mendalam mengelola data; jika tidak, data yang dikumpulkan mungkin sama sekali tidak dapat digunakan saat pelatihan. Diperlukan iterasi paralel antara algoritma dan data.

Zhang Bo dan Shen Xiangyang: Dua mentor, satu warna dasar

Ulasan Teknologi AI: Kami memperhatikan bahwa di belakang Anda berdiri dua sosok yang sangat berpengaruh, Profesor Zhang Bo (salah satu perintis kecerdasan buatan Tiongkok) dan Profesor Shen Xiangyang (mantan Wakil Presiden Eksekutif Global Microsoft dan mantan Direktur Microsoft Research Asia). Satu berlatar belakang akademis, satu lagi berlatar belakang industri—kami sangat ingin tahu, masing-masing dari mereka memberi Anda apa?

Zhang Lei: Prof. Zhang Bo selalu menjadi mentor dan teladan saya. Saya pertama kali mengenal Prof. Zhang saat saya baru masuk laboratorium di Tsinghua sebagai mahasiswa sarjana; beliau adalah kepala laboratorium. Saat itu saya sedang mengerjakan AGV (automated guided vehicle), dan sebagian besar waktu luang saya dihabiskan di laboratorium untuk menguji perangkat keras dan melakukan eksperimen. Pada masa itu, saya sering melihat Prof. Zhang membimbing mahasiswa doktoral dalam pekerjaan terkait robotika. Kemudian, saya sangat beruntung menjadi mahasiswa doktoral beliau. Yang paling saya ingat adalah kepekaan beliau terhadap teknologi baru dan rasa ingin tahu yang kuat. Setiap kali saya menemui beliau untuk membahas hasil eksperimen, beliau selalu dengan antusias duduk di samping saya dan berkata, “Coba ubah ini, lihat bagaimana hasilnya.” Beliau juga menggunakan cara ini untuk memperdalam pemahamannya sendiri. Anda bisa melihat bagaimana seorang akademisi memahami algoritma dan masalah sepenuhnya didorong oleh rasa ingin tahu.

Hal lain yang masih bermanfaat hingga kini adalah penekanannya pada “memahami sesuatu harus sampai tuntas”; jika tidak memahami secara mendalam, Anda akan tertipu, dan hanya dengan memahami secara mendalam Anda akan tahu bagaimana prinsip dasarnya. Kalimat ini kemudian menjadi prinsip saya dalam membimbing siswa: pahami secara mendalam, berusahalah yang terbaik.

Profesor Shen Xiangyang juga memiliki dampak besar pada saya. Selama saya di Microsoft, ia selalu menjadi atasan saya dan dapat dikatakan memengaruhi seluruh jalur karier saya: dari Tiongkok ke Amerika Serikat, ia yang merekrut saya, dan dari Amerika Serikat kembali ke Shenzhen, ia juga yang mendorong saya untuk kembali. Selain itu, ia memiliki kepekaan yang sangat tajam dalam arah industri, dan memberikan banyak saran serta berbagi pengalaman konkret kepada saya terkait pembangunan tim hingga pendanaan.

Ulasan Teknologi AI: Dikatakan bahwa Profesor Zhang Bo yang berusia 90 tahun masih berkunjung ke tim Anda? Mendengar hal ini, kami merasa sangat terharu.

Zhang Lei: Ya. Pada November tahun lalu, Sekolah Pascasarjana Tsinghua mengundangnya untuk memberikan kuliah di Shenzhen. Setelah menyelesaikan kuliah pagi hari, ia menyisihkan seluruh waktu sore hari untuk tim kami. Kami berdiskusi sepanjang sore, lalu makan malam bersama. Wawasannya sangat luas, dan ia memberikan banyak saran mengenai arah pemahaman visual umum serta robotika kami. Meskipun sudah berusia lanjut, cara berpikirnya sangat jelas, logisitasnya, serta kedalaman pemahamannya terhadap masalah sama sekali tidak kalah dengan generasi muda.

Setiap gelombang melampaui bayangan, tetapi gelombang akan datang sendiri mencarimu

Ulasan Teknologi AI: Dalam beberapa tahun terakhir, Anda secara mendalam terlibat dalam setiap gelombang, mulai dari deep learning, model besar, hingga embodied dan world models. Kami ingin tahu, apakah ada momen tertentu yang membuat Anda merasa, "Inilah yang harus saya lakukan"?

Zhang Lei: Pekerjaan deteksi objek sangat dekat dengan keadaan yang Anda sebutkan. Pekerjaan ini membuat saya sangat bangga, karena saya bisa melihat kemajuan revolusioner di seluruh bidang ini.

Model dunia berikutnya juga merupakan arah yang sangat saya sukai dan ingin saya fokuskan sepenuhnya. Proses perkembangan bergantian antara pembelajaran penguatan dan model dunia selama beberapa dekade terakhir, serta paradigma sukses dari model bahasa, semuanya dapat diadopsi. Saya percaya arah ini akan memberikan dampak besar pada seluruh industri AI.

Ulasan Teknologi AI: Momen-momen cemerlang peneliti sering disebutkan, tetapi masa-masa sulit tampaknya jarang dibahas. Apakah Anda pernah mengalami masa sulit teknis?

Zhang Lei: Ya. Sekitar tahun 2018, saya mencoba menggunakan data weakly supervised untuk deteksi objek, hanya dengan label kategori gambar saja sudah bisa melakukan deteksi, sehingga menghindari kebutuhan untuk menandai kotak pada setiap objek. Metode ini terdengar sangat menarik, saya menghabiskan waktu cukup lama, tetapi belum bisa menyelesaikannya secara menyeluruh.

Kemudian, kami menggunakan IDEA untuk Grounding DINO, menggabungkan pemahaman bahasa dan kemampuan deteksi, sehingga menyelesaikan masalah dari sudut pandang lain. Terobosan ini sebagian besar berasal dari inovasi kami pada model deteksi DINO yang membentuk dasar yang kuat, dan sebagian besar juga mendapat manfaat dari perkembangan model bahasa. Terobosan Grounding DINO terjadi pada akhir 2022 dan awal 2023, tepat saat ChatGPT muncul. Ada sebuah pernyataan yang mengatakan, "Ketika data cukup besar, kecerdasan akan muncul secara alami"; semakin besar data, semakin sederhana algoritmanya.

Saya percaya menghadapi kegagalan itu wajar, yang penting adalah memiliki tekad kuat untuk terus memecahkan masalah yang sangat sulit. Jika satu pendekatan tidak berhasil, coba sudut pandang lain, pikirkan terus-menerus bahkan saat makan dan tidur, putar-putar terus masalahnya. Masalah yang benar-benar baik akan terus dipikirkan selama bertahun-tahun, lalu pada suatu saat, mungkin secara alami muncul terobosan kualitatif.

Ulasan Teknologi AI: Saat ini, banyak generasi muda juga memulai startup model dunia, seperti Chen Boyuan dan Ji Jiaming dari Inverse Matrix, serta Bai Yinqi dari Baize Technology—mereka bahkan masih mahasiswa. Kami merasa hal ini cukup menarik, bagaimana pendapat Anda tentang “gelombang pasca” ini?

Zhang Lei: Ini menunjukkan bahwa ambang masuk ke bidang penelitian memang telah turun. Sebelum munculnya deep learning, pendatang baru perlu bertahun-tahun membangun dasar. Sekarang, teknologi open-source telah menyederhanakan teknologi tersebut—memahami Transformer saja sudah cukup untuk memasuki bidang ini. Keunggulan generasi muda terletak pada tidak adanya beban, sehingga lebih mudah menerima paradigma baru dari prinsip dasar. Namun, masalah-masalah nyata yang sulit tetap memerlukan para peneliti senior yang memiliki wawasan, pemahaman, dan kemampuan mengendalikan arah.

Tren sosial selalu berubah, tetapi jika Anda hanya mengejarnya demi mengejar tren, Anda justru tidak akan bisa menangkapnya. Intinya adalah: tidak peduli arahnya berubah bagaimana pun, setiap tim selalu membutuhkan orang-orang paling mampu. Selama Anda tetap haus belajar dan memiliki dasar yang kuat, arah paling mutakhir akan datang mencari Anda.

Sebuah ilham

Yang paling menyentuh kami dalam wawancara ini bukanlah pencapaian teknis gemilang Zhang Lei, bahkan bukan pula para generasi muda cemerlang yang pernah ia bimbing—intern Huang Zheng, Li Xuelong, serta anggota tim dalam proyek algoritma deteksi wajah generasi pertama Microsoft, Zhu Long, Xiao Rong, dan Yan Shuicheng.

Yang paling menyentuh kami adalah kata yang ia ulangi berkali-kali: "memahami secara mendalam".

Kata ini, Zhang Lei catat selama tiga puluh tahun.

Pada awal tahun 1990-an, di kampus Tsinghua, kecerdasan buatan masih menjadi disiplin yang sangat tidak populer dan diabaikan orang, sementara Zhang Lei masih menjadi mahasiswa sarjana di jurusan komputer yang sibuk mengutak-atik mobil AGV di ruang laboratorium. Pada waktu itu, kepala laboratorium membimbing mahasiswa doktoral dalam pekerjaan terkait robotika, yang meninggalkan kesan mendalam padanya, dan kemudian ia pun menjadi muridnya.

Kepala laboratorium itu bernama Zhang Bo, salah satu perintis kecerdasan buatan Tiongkok. Setiap kali Zhang Lei mengajaknya melihat hasil eksperimen, ia selalu dengan antusias duduk di samping Zhang Lei, memperhatikan layar sejenak, lalu mengulurkan jari: “Ubah ini sedikit, lihat bagaimana hasilnya.” Bukan memeriksa tugas, tapi benar-benar ingin tahu, apa yang akan terjadi setelah Anda mengubah parameter.

Apa yang diajarkan Zhang Bo kepada Zhang Lei kemudian diringkas menjadi tiga kata: "pahami secara mendalam".

Jika tidak memahami dengan baik, Anda akan tertipu; baru setelah memahami dengan mendalam, Anda akan tahu bagaimana prinsip dasarnya bekerja.

Semangat generasi pertama peneliti Tiongkok diturunkan melalui hal-hal kecil semacam ini.

Pada tahun 2018, Zhang Lei bekerja pada deteksi objek dengan pengawasan lemah di Microsoft, tetapi tidak berhasil, ia tidak mengganti topiknya.

Jika putaran ini tidak berhasil, coba sudut pandang lain, pikirkan terus bahkan saat makan dan tidur, putar-putar terus di sekitarnya.

Ini bukan retoris, ini rutinitasnya.

Kemudian, di IDEA, ia menyelesaikan masalah tersebut dari sudut pandang lain. Momen terobosan terjadi pada akhir 2022 ketika ChatGPT dirilis—kemampuan model bahasa meningkat, dan data cukup besar.

Zhang Lei menggunakan deskripsi: "muncul secara alami".

Dari mengubah parameter mobil AGV hingga memecahkan model dunia, terdapat jarak tiga puluh tahun. Selama tiga puluh tahun itu, ia berpindah dari pencarian gambar skala besar hingga pemahaman visual umum, selalu mengejar pemahaman mendalam dan hasil terbaik untuk setiap masalah, hingga akhirnya kembali ke arah “membangun model dunia untuk robot”. Seperti yang dikatakan Jobs, “connect the dots”—setiap hal yang dikerjakan dengan serius tidak akan sia-sia.

Pada akhir 2025, Zhang Bo, yang berusia 90 tahun, terbang ke Shenzhen untuk memberikan kuliah. Setelah selesai mengajar di pagi hari, ia langsung pergi ke kantor Shi Qi Weilai. Delapan belas pemuda berkumpul mengelilinginya; ia berbicara sepanjang siang, makan malam bersama mereka, dan bercerita tentang pengalaman kuliahnya serta pandangannya terhadap arah ini. Pemikirannya jelas, logikanya ketat, sama sekali tidak kalah dengan para pemuda. Zhang Lei juga menceritakan kepada gurunya tentang hal-hal yang sedang ia kerjakan.

Akademisi Zhang Bo di Shi Qi Wei Lai, Zhang Lei memberi tahu gurunya tentang perkembangan penelitian

Tiga puluh tahun lalu, di kampus Tsinghua, seorang guru duduk di samping siswa dan berkata: "Kamu ubah ini sedikit, lihat bagaimana hasilnya."

Tiga puluh tahun kemudian, di kantor Shenzhen, seorang siswa menceritakan kepada gurunya yang berusia 90 tahun tentang model dunia yang sedang ia kerjakan.

Ini adalah adegan yang sangat mengharukan.

Manusia akan menua, pasang akan surut, tren akan memudar, tetapi tekad para peneliti Tiongkok untuk benar-benar memahami setiap tantangan dunia belum pernah berubah. Leifeng.com