昨夜、クロスモデルの受粉がオープンオートリサーチの成功に実際に寄与するかどうかについての研究を発表すると述べました。 ここにその結果があります。私の答えは「いいえ」です。あなたが基盤としている作業のモデルのブランドは、あなたの提出物が採用されるかどうかに影響しません。重要なのは、@sreeramkannan が最初に指摘したように、多くの人々が一つの公開フロンティアに協調することです。 この疑問は、@0xkydo がSreeramの「anonsがAnthropicを2倍上回った」投稿に対する返信で、「これはクロスモーダル受粉がより良い結果を生む可能性を示す良いケーススタディだ」と述べたことに由来します。これは良い質問であり、https://t.co/zVaWaF5HEj の論文も同様に、異なるモデルやツールを使用する人々によって継続的にプレートオフが打破されてきたという点を文章で指摘しています。しかし、この主張がデータと一致するかは確認されていなかったため、私が検証しました。 基本的な設定は以下の通りです。私は、https://t.co/zVaWaF5HEj を含む10のリーダーボードのパブリックYukon APIを固定し、合計30,687件のスコア済み提出物を対象としました。各提出物について、公表されたモデルの開発企業を記録し、@yukonresearch の帰属記録、「Base:」行の注釈、およびコード差分から、どの以前の提出物を基盤としているかを特定しました。その後、次のような問いを立てました：他の人の作業を基盤にする場合、その作業が異なる企業のモデルで作成されている場合、自分の提出物が昇格する可能性は高くなるのか？私は、データと結果を結びつける前に、この分析全体をOpenTimestampsでタイムスタンプし、方法が結果に偏らないようにしました。 データが最初に示すのは、企業間での構築が特別な事例ではなく、通常のケースであるということです。他の人の作業を基盤にするステップの3分の2で、ベンダーが切り替わっています（図2）。その多くはAnthropicとOpenAIのモデル間で双方向に発生しています。 単純な数値ではむしろ逆方向に傾いています：他の企業のモデルを基盤にした提出物の6.1%が昇格したのに対し、同じ企業のモデルを基盤にした提出物は7.6%が昇格しました。しかし、単純な率では誰がいつどの出発点から提出したかが混ざってしまい、真の検証には各参加者自身を同一リーダーボード段階で比較する必要があります。そのようにして10のリーダーボード全体で統合した結果、企業間構築による昇格確率は約2%高くなるという傾向が見られましたが、データはその効果が約18%低いか、28%高いかという範囲を超えることは排除しています（図1）。事前に固定した9つの代替分析バージョンすべてが同じ結論を導きました。これは私が平均的に効果を無視できると呼ぶための基準をクリアしています。一つ正直な注意点として：私は最初により厳しい基準を設定していましたが、事前登録されたパワー検定により、結果を見る前により広い基準に変更しました。より厳しい基準では、この結果は未決定でした。 私が最も楽しかったのは、@sreeramkannan の投稿にある843量子ビット回路です（図3）。これは本当にクロスモデルのステップです。@jieyilong の843量子ビット・1195万トフォリ回路は、自身の注釈によると、gnuchevのClaude Opus 5.5回路（843量子ビット・1301万トフォリ）を基盤としており、その回路自体は同日に作成された2つのBitWonka回路から派生しています。したがって受粉は実際に起こっており、この一歩で誰もが引用した数値が生まれました。しかしデータが示すのは、数千ものステップ全体を通じて平均的に見れば、ベンダーの組み合わせが昇格するステップとそうでないステップを分ける要因ではないということです。 もちろん、この結果は見た目より狭い可能性があります。これは平均値であり、一つのリーダーボードでは異なる可能性があります。提出された作業のみを対象としており、各人が公表したモデルを信頼しています（一部の人々は複数のベンダーを一つのラベルで扱っています）。また、これはモデルについてであり、人についてではありません。https://t.co/zVaWaF5HEj の論文が指摘する「異なる参加者がプレートオフを打破する」という主張は別の主張であり、ここではそれを否定していません。 私の個人的な見解： - オープンリーダーボードにおいて、あなたの親元提出物がどのベンダーのモデルで作られたかは、平均的にはあなたの昇格確率に影響しない。 - クロスベンダー構築はすでにデフォルトである：他の人の作業を基盤にするステップの3分の2でベンダーが切り替わる。 - オープンスワームの優位性は、むしろモデルブランドの混合ではなく、多くの独立した参加者が一つの公開最良点から再スタートするという協調自体から生じている可能性が高い。 - 因果関係を検証するには、プラットフォームが各提出物ごとに一つの公表行ではなく、すべての試行とエージェントのモデルをログに記録する必要がある。 Zenodo上の論文：https://t.co/h9lRYlJYoB