Saya sangat gembira mengumumkan bahawa saya memenangi Hackathon Global @OpenAIDevs Codex x Mollie di Paris. Lebih daripada 60 pembina, setiap orang bekerja secara individu, dalam satu hari sahaja untuk melancarkan produk.
Saya membina produk saya berdasarkan satu soalan tunggal: siapakah yang berhak memiliki kecerdasan?
Jawapan lalai adalah menakutkan. Anda memberikan data anda kepada beberapa makmal sahaja, mereka melatih model tersebut, mereka memiliki ia, dan anda menyewa semula sebahagian kecil daripada apa yang data anda sendiri hasilkan. Itulah perjanjian yang ada hari ini. Saya tidak menerimanya.
Oleh itu, saya membina Lensemble: platform pelatihan terdistribusi seperti Tapestry untuk Model Dunia berdasarkan JEPA.
Apa yang ia benarkan: Model Dunia yang diperbaiki, dikekalkan kedaulatannya, dan dimiliki bersama oleh komuniti.
Dua anggapan mendasarinya.
Pertama, paradigma.
Model bahasa meramal token seterusnya. Berkuasa untuk teks, tetapi merupakan jalan buntu untuk dunia fizikal. Robot tidak perlu melengkapkan ayat, ia perlu meramal apa yang akan berlaku seterusnya di dunia. Itulah yang JEPA lakukan: ia belajar dengan meramal representasi, bukan piksel atau token.
Saya yakin model dunia adalah paradigma yang paling diabaikan dalam AI semasa ini, dan perkara paling hampir kepada momen ChatGPT untuk robotik.
Kedua, politiknya.
Trajektori mentah anda tidak pernah meninggalkan mesin anda. Setiap peserta melatih secara tempatan berdasarkan protokol bersama dan hanya menghantar kemas kini, bukan data. Satu putaran federasi menggabungkan kemas kini tersebut menjadi satu model dunia bersama, model berdasarkan LeWorldModel, dan keuntungannya diukur, bukan diklaim: sebuah penyesuai 12 ribu parameter pada tulang belakang yang dibekukan, ralat ramalan yang dikeluarkan turun sekitar 12 peratus, model tersebut secara terukur kurang terkejut oleh dunia.
Kemudian keuntungan dibahagikan mengikut berat sumbangan, jadi orang-orang yang memperbaiki model memiliki sebahagian daripada pendapatan yang dihasilkannya.
Inilah tesis di sebalik Project Tapestry, AI Alliance, dan usaha Yann LeCun untuk AI hadapan yang federated dan berdaulat, yang dibawa ke dalam model dunia dan robotik. Panggil ia Tapestry untuk dunia fizikal.
Semuanya dibina secara individu, dalam satu hari sahaja, dengan Codex sebagai rakan kerja saya sepanjang masa.
Terima kasih kepada OpenAI Codex dan Mollie kerana menyokong pembina yang melancarkan perkara nyata, dan kepada @borvibe serta pasukan pengorganisasi kerana ruangan dan standard yang anda tetapkan.
Kecerdasan yang diperbaiki oleh dunia, dan dimiliki oleh dunia.
Itulah masa depan yang saya inginkan untuk anak-anak saya, dan yang akan terus saya bina.