Paris'te düzenlenen @OpenAIDevs Codex x Mollie Hacka Küresel Hackathon'u kazandığını duyurmak için heyecanlıyım. 60'tan fazla geliştirici, her birimiz tek başına, bir günde ürün çıkarttık.
Benim projem, tek bir soruya dayanıyor: Kimin zekâyı sahipleneceği?
Varsayılan cevap korkutucu. Verilerinizi birkaç laboratuvara veriyorsunuz, onlar modeli eğitiyor, sahibi oluyor ve siz, kendi verilerinizle mümkün kılan şeyin ince bir dilimini kiralamaya zorlanıyorsunuz. Bugün masada olan bu anlaşma. Ben bunu kabul etmiyorum.
Bu yüzden Lensemble'yi oluşturdum: JEPA tabanlı Dünya Modelleri için bir Tapestry benzeri dağıtılmış eğitim platformu.
Ne sağlıyor: Topluluk tarafından birlikte geliştirilen, egemen tutulan ve ortak olarak sahiplenilen Dünya Modelleri.
Onun altında iki varsayım yatıyor.
İlki: Paradigma.
Dil modelleri bir sonraki belirteci tahmin eder. Metin için güçlü, fiziksel dünya için bir son nokta. Bir robot cümleleri tamamlamak değil, dünyada sonraki ne olacağını tahmin etmek istiyor. İşte JEPA bunu yapıyor: Pikseller veya belirteçler yerine temsilleri tahmin ederek öğreniyor.
Dünya modellerinin şu anda AI'da en az değer verilen paradigma olduğunu ve robotik için ChatGPT anına en yakın şey olduğunu inanıyorum.
İkincisi: Politika.
Ham trajektorileriniz asla makinenizden ayrılmıyor. Her katılımcı, paylaşılan bir protokole karşı yerel olarak eğitiliyor ve veriyi değil yalnızca bir güncelleme gönderiyor. Bir federasyon turu, bu güncellemeleri tek bir paylaşılan dünya modeline, bir LeWorldModel tabanlı modele dönüştürüyor ve kazanç, iddia edilmiyor, ölçülen bir şey: Donmuş bir temel üzerinde 12 bin parametrelik bir adaptör, dışarıda bırakılan tahmin hatası yaklaşık %12 azalıyor, model dünyaya karşı ölçülebilir şekilde daha az şaşkın.
Sonra kazanç, katkı ağırlığına göre bölünüyor; böylece modeli geliştirenler, onun kazandığı şeyin bir payına sahip oluyor.
Bu, Project Tapestry, AI Alliance ve Yann LeCun’un federasyonlu, egemen ön plan AI’sı için yaptığı çabanın, dünya modellerine ve robotikte devam eden tezidir. Bunu fiziksel dünya için Tapestry olarak adlandırabilirsiniz.
Tümünü tek başıma, sadece bir günde, Codex’i tam sürede eş olarak kullanarak inşa ettim.
Gerçek şeyleri çıkartan geliştiricilere destek olan OpenAI Codex ve Mollie’ye, ayrıca @borvibe ve organizasyon ekibine odak ve koydukları standart için teşekkür ederim.
Dünya geliştirdiği ve dünyanın sahip olduğu zeka.
Bu, çocuklarımda istediğim gelecek ve inşa etmeye devam edeceğim gelecek.
