
パリで開催された@OpenAIDevs Codex x Mollie Hackathon Worldwideで優勝したことを発表できることを光栄に思います。60人以上の開発者がそれぞれ単独で参加し、たった1日で製品を完成させました。 私が構築したのは、1つの問いに基づいています:誰が知性を所有するべきか? 従来の答えは恐ろしいものです。あなたは自分のデータを数社の研究室に渡し、それらがモデルを訓練し、所有し、あなたは自分が生み出した可能性のほんの一部を借りて使うしかありません。これが今日の現実です。私はこれを受け入れません。 そこで私は「Lensemble」を構築しました。JEPAベースのワールドモデル用の、Tapestryのような分散学習プラットフォームです。 これは何を可能にするのか?コミュニティが共同で改善し、主権を保ち、共同所有するワールドモデルです。 その背後には2つの仮説があります。 まず、パラダイムについて。 言語モデルは次のトークンを予測します。テキストには強力ですが、物理世界には行き止まりです。ロボットは文の自動補完が必要ではなく、世界で次に何が起こるかを予測する必要があります。それがJEPAが行うことです:ピクセルやトークンではなく、表現を予測することで学習します。 私は、ワールドモデルが現在のAIで最も過小評価されているパラダイムであり、ロボティクスにおけるChatGPT級の転換点であると確信しています。 次に、政治的側面について。 あなたの生のトラジェクトリは、あなたのマシンから一切出ません。各参加者は共有プロトコルに対してローカルで学習し、データそのものを送信するのではなく、更新情報のみを送信します。フェデレーテッドラウンドでは、これらの更新を1つの共有ワールドモデル、すなわちLeWorldModelに統合します。その成果は測定され、主張されません:凍結されたバックボーンに適用される12kパラメータのアダプターで、ホールドアウト予測エラーが約12%低下し、モデルは世界に対する驚きを明確に減らしています。 そして、貢献度に応じてその利益が分配されるため、モデルを改善した人々がその収益の一部を所有します。 これは、Project Tapestry、AI Alliance、そしてYann LeCunが推進するフェデレーテッドで主権を持つフロンティアAIの思想を、ワールドモデルとロボティクスに適用したものです。これを「物理世界のTapestry」と呼んでください。 すべてを単独で、たった1日で、Codexをパートナーとして構築しました。 実際の製品を生み出す開発者を支援してくれるOpenAI CodexとMollie、そして会場と基準を設けてくれた@borvibeおよび運営チームに感謝します。 世界が改善し、世界が所有する知性。 これが私が子供たちのために望む未来であり、私がこれからも作り続ける未来です。
