Skild AI Meluncurkan Model Robot S1 dengan Pembelajaran Konteks 10 Menit

Hasil besar dari embodied intelligence akan segera datang!!!

Sejak Generalist merilis otak tubuh Gen 1.5 yang dapat belajar gerakan 3 hingga 12 detik minggu lalu~

Baru saja, startup kecerdasan tubuh Nord Amerika, Skild AI, meluncurkan model dasar robot baru S1, yang secara langsung memperpanjang panjang tugas pembelajaran konteks robot menjadi lebih dari 10 menit.

S1 kali ini menonjolkan context learning (in-context learning, ICL):

Tidak perlu secara khusus belajar data operasi baru selama tahap pelatihan lanjutan, cukup dengan menonton video demonstrasi manusia, ia bisa “meniru”, langsung menyelesaikan seluruh proses operasi kompleks yang belum pernah dilihat sebelumnya.

Dalam demonstrasi resmi, robot berhasil menyelesaikan tugas jangka panjang seperti membuat pancake, menyeduh kopi, merepoting tanaman, dan perakitan peralatan. Selain itu, pada tugas yang belum pernah dilihat sebelumnya, robot mencapai tingkat keberhasilan sebesar 66%, jauh melampaui VLA berbasis petunjuk bahasa (hanya 9%).

Selain itu, bahkan jika mengikuti pendekatan pelatihan lanjutan tradisional, untuk mengejar efek S1 yang hanya melihat satu demonstrasi, diperlukan sekitar 380 demonstrasi tugas.

Sangat amazing!

Dapat dikatakan bahwa gelombang terbaru pekerjaan yang berfokus pada context learning kembali menyalakan harapan banyak orang terhadap embodied AI.

Seorang pengguna Twitter menyatakan bahwa robot umum mungkin akan muncul dalam dua tahun, bukan tujuh.

Masih ada netizen yang menyatakan bahwa momen GPT sejati dari robot tampaknya sedang muncul, mulai dari Rhoda, hingga Generalist minggu lalu, dan sekarang tugas 10 menit Skild S1.

Karena begitu kemampuan ini benar-benar digeneralisasi, mengembangkan keterampilan robot di masa depan mungkin akan menjadi semudah menulis Prompt untuk ChatGPT.

Apakah benar-benar sehebat itu? Mari kita lihat bersama.

Untuk memahami bagaimana S1 kali ini belajar dalam konteks, kita perlu melihat terlebih dahulu bagaimana robot tradisional mempelajari keterampilan baru.

Dalam pipeline tradisional, pembelajaran robot sebenarnya hampir sama dengan model besar:

Lakukan pra-pelatihan terlebih dahulu pada data dalam jumlah besar untuk mempelajari kemampuan dasar; kemudian, di konteks spesifik, kumpulkan data untuk tugas tertentu dan lakukan pelatihan lanjutan agar robot dapat mempelajari keterampilan khusus.

Hanya saja masalahnya adalah bahwa meskipun robot dan model besar memiliki proses yang hampir sama, biaya data sama sekali tidak sama.

Data pra-pelatihan model besar sebagian besar berasal dari internet; bahkan dalam skenario khusus seperti pemrograman dan Agent, banyak data pasca-pelatihan dapat dengan cepat diperoleh secara daring, bahkan dihasilkan secara otomatis.

Tetapi robot lebih parah. Data pra-pelatihan harus diambil dari dunia nyata, dan data pasca-pelatihan juga harus diambil dari dunia nyata.

Jadi, di blog teknis, Skild AI langsung membuka mic:

Jika sebuah model dasar robot memerlukan puluhan hingga ratusan jam data nyata untuk setiap tugas baru yang dipelajari, lalu harus dilatih ulang, maka saya ingin bertanya, di mana dasar dari "model dasar" ini?

Mereka bahkan mengutip penelitian yang sudah ada yang menyatakan bahwa jika data untuk tugas baru sudah cukup banyak, model yang dilatih dari nol bahkan bisa menyamai model dasar yang telah dilatih sebelumnya dan disesuaikan lebih lanjut.

Jadi, apa sebenarnya makna dari pretraining berwujud?

Untuk ini, jawaban yang diberikan Skild adalah: context learning.

Sebagai acuan, Skild mengambil jalur perkembangan model besar sebagai perbandingan.

BERT awal sudah sangat kuat, tetapi setiap menghadapi tugas baru, seringkali masih perlu menyiapkan ulang data dan melakukan fine-tuning lagi.

Yang benar-benar mengubah permainan adalah kemampuan pembelajaran kontekstual yang secara bertahap muncul setelah GPT-3:

Tidak perlu mengubah bobot model, cukup berikan beberapa contoh dalam Prompt, model bisa secara sementara "belajar" tugas baru.

Berdasarkan hal ini, Skild percaya bahwa robot saat ini sebenarnya masih terjebak dalam era BERT serupa, yang mereka benar-benar inginkan adalah memungkinkan robot juga mengalami transformasi paradigma yang sama.

Artinya, nilai sebenarnya dari pre-training bukan hanya mengurangi jumlah data yang dibutuhkan untuk post-training, tetapi memungkinkan robot akhirnya memperoleh kemampuan "belajar langsung dari konteks".

Jadi, apa yang sebenarnya dipelajari S1 dari konteks ini?

Skild percaya bahwa sebenarnya ada dua dimensi yang dapat menguji kemampuan pembelajaran konteks robot:

Satu pertanyaannya adalah, apakah bisa mempelajari keterampilan baru yang sama sekali tidak pernah dilihat saat pelatihan; yang lainnya adalah, apakah bisa menggabungkan kembali keterampilan yang sudah ada untuk menyelesaikan tugas baru yang panjang dan sangat kompleks.

Misalnya, robot hanya perlu menonton video membalik panekuk, lalu bisa belajar cara membuat panekuk—

Meskipun keterampilan ini sebelumnya tidak pernah muncul dalam data pelatihannya.

Sementara itu, dibandingkan dengan video detik-an yang ditampilkan oleh Gen-1.5 minggu lalu, S1 kali ini langsung memperpanjang pembelajaran konteks hingga 10 menit.

Dalam tugas-tugas seperti repotting tanaman, setiap tugas memerlukan penyelesaian berturut-turut dari puluhan langkah operasi. Dalam demonstrasi tugas jangka panjang ini, robot tidak hanya perlu meniru, tetapi juga harus tahu:

Saya sudah sampai tahap mana sekarang, langkah selanjutnya harus apa, bagaimana cara menggabungkan keterampilan-keterampilan tersebut, dan bagaimana melanjutkan jika saya gagal di tengah jalan.

Artinya, robot perlu benar-benar memahami niat tindakan-tindakan dalam demonstrasi video, menyesuaikan diri secara dinamis, bukan sekadar meniru perilaku.

Selain itu, dalam tugas repotting tanaman, hanya memakan waktu 11 menit dari mulai merekam demonstrasi hingga robot dapat melakukannya sendiri, langsung mengungguli metode pelatihan tradisional dari segi efisiensi.

Terakhir, selama seluruh proses ini, S1 tidak menggunakan fine-tuning maupun post-training, bobot model tetap tidak berubah, dan dengan satu set bobot yang sama, semua tugas yang ditampilkan di blog berhasil diselesaikan.

Telah selaras dengan pergeseran besar model dari kebutuhan fine-tuning khusus konteks pada BERT hingga GPT-3 yang hanya perlu melihat contoh untuk menyelesaikan tugas OOD.

Satu-satunya perbedaan adalah, prompt yang digunakan bukan lagi berupa bahasa, tetapi video aksi yang lebih sesuai dengan tugas turunan.

Pada bagian eksperimen, Skild membandingkan ICL video Prompt dengan traditional language Prompt VLA pada tugas yang telah dilihat (data pelatihan) dan tugas yang belum pernah dilihat.

Hasil pengujian menunjukkan bahwa ketika data pelatihan hanya 1.000 jam, prompt bahasa lebih efektif, namun seiring peningkatan skala data, ICL mulai melebihi.

Pada 100.000 jam, akurasi tugas yang dilihat selama pelatihan: ICL 96%, Language Prompt 89%.

Pada tugas OOD yang benar-benar kritis: ICL 66%, prompt bahasa hanya 9%, membuka jarak lebih dari 7 kali lipat.

Untuk menguji generalisasi S1, Skild kembali melakukan pengujian dalam berbagai kondisi eksperimen.

Hasil menunjukkan bahwa penurunan kinerja Prompt VLA bahasa dapat mencapai tiga kali lipat dibandingkan ICL.

Artinya, ICL tidak belajar mengulangi tindakan dalam skenario tetap, tetapi lebih mampu merencanakan ulang tindakan sesuai dengan lingkungan saat ini.

Terakhir, dalam hal one-shot learning.

S1 sama sekali tidak melakukan post-training pada tugas baru, hanya dengan melihat satu demonstrasi video, tingkat keberhasilan mencapai 66%.

Sebaliknya, VLA tradisional memerlukan sekitar 380 sesi pelatihan setelah pelatihan awal untuk mencapai tingkat yang sama.

Tentu, setelah terus ditumpuk hingga 2000 kali demonstrasi, post-training tradisional akhirnya bisa mencapai 86%.

Jadi kesimpulannya mungkin bukan "robot tidak perlu dilatih lagi di masa depan", melainkan:

Dulu, satu keterampilan baru mungkin perlu diajarkan ratusan kali, sekarang cukup lihat sekali, langsung bisa mencapai nilai enam atau tujuh puluh.

Ini juga merupakan hukum penskalaan ICL menurut Skild:

Semakin banyak data, model tidak hanya akan memiliki lebih banyak keterampilan, tetapi semakin mampu "belajar keterampilan dari demonstrasi".

Skild didirikan pada tahun 2023, didukung oleh dua tokoh lama komunitas robotik CMU: Deepak Pathak dan Abhinav Gupta.

Keduanya adalah profesor di Institut Robotika Carnegie Mellon, Deepak terutama meneliti pembelajaran robot, pembelajaran penguatan, dan penglihatan komputer, sementara Abhinav adalah ahli di bidang penglihatan komputer dan pembelajaran tanpa pengawasan.

Pada tahun 2022, keduanya telah bekerja sama dalam WHIRL, memungkinkan robot untuk melakukan one-shot imitation dengan menonton video manusia; dapat dikatakan bahwa jalur S1 ini bukan muncul tiba-tiba dari celah batu.

Sebagai perusahaan bintang di komunitas embodier Amerika Utara, pada tahun 2024, Skild baru saja keluar dari mode tersembunyi dan berhasil meraih putaran Seri A senilai $300 juta dengan valuasi $1,5 miliar;

Pada Januari tahun ini, mereka menyelesaikan putaran pendanaan Seri C senilai $1,4 miliar, dengan valuasi langsung melonjak menjadi lebih dari $14 miliar, dipimpin oleh SoftBank, dengan NVIDIA, Bezos, dan lainnya tetap berpartisipasi. Dalam waktu lebih dari dua tahun, valuasi hampir meningkat sepuluh kali lipat.

Dibandingkan secara horizontal, posisi Skild di kalangan komunitas embodiment di Amerika Utara juga cukup unik.

Dibandingkan PI yang lebih terlihat seperti "robot GPT", Generalist baru-baru ini menekankan one-shot learner, serta momentum penuh stack dari Genesis AI dan Sunday, sementara Skild selalu menekankan satu kalimat: Any robot, any task, one brain.

Ini lebih menekankan pada lintas embodiment, dengan harapan bahwa Skild Brain yang sama dapat berjalan di berbagai tubuh seperti lengan mekanis, empat kaki, dan manusia.

Dengan kata sederhana, ingin menjadi Android di era robot: sebuah lapisan cerdas yang bisa dimasukkan ke dalam berbagai jenis tubuh.

Ini juga menentukan strategi data Skild: semuanya.

Skild memandang data robot dalam tiga dimensi: hardware proximity, diversity, dan scalability:

Operasi jarak jauh perangkat asli paling mendekati perangkat keras, tetapi mahal; video manusia sudut pandang pertama paling mudah diskalakan, tetapi sangat berbeda dari tubuh robot; simulasi murah dan bisa diproduksi massal, namun masih ada kesenjangan sim-to-real.

Jadi mereka pada dasarnya mengadopsi pendekatan untuk menggunakan semuanya dalam Robot Teleop, UMI, Video Egocentric, dan Simulasi.

Sedangkan ICL S1 sebenarnya juga merupakan kelanjutan alami dari jalur ini:

September 2025 LocoFormer → February 2026 First In-Domain ICL → May First flip pancake → August S1 release, directly pushing context learning to OOD long-range tasks up to 10 minutes.

Jadi, pertanyaan yang benar-benar patut diperhatikan sekarang mungkin bukan lagi apakah robot masih bisa mempelajari lebih banyak keterampilan, tetapi:

Biaya pelatihan robot untuk mempelajari keterampilan baru, bisakah benar-benar berubah dari “ajarkan ratusan kali” menjadi “kamu lakukan sekali, ia lihat sekali”?

Jika hukum penskalaan ini masih dapat berlaku, maka apa yang disebut sebagai momen GPT untuk robot mungkin benar-benar bukan sekadar slogan pemasaran lagi.

Tautan referensi: [1] https://www.skild.ai/blogs/s1

Artikel ini berasal dari akun WeChat "Quantum Bit", penulis: henry