昨晚我說我會發布一份研究，探討跨模型授粉是否真的有助於打開自動研究。 這份研究就在這兒，我的答案是否定的：你所依賴的工作背後的模型品牌，並不會影響你的提交是否能獲勝。真正重要的，似乎更像 @sreeramkannan 最初指出的那點——許多人協調於同一個公開前沿。 這個問題源自 @0xkydo 對 Sreeram 的「匿名者以兩倍優勢擊敗 Anthropic」貼文的回覆，他認為這是一個「跨模態授粉可能產生更好結果」的絕佳案例研究。這確實是個好問題，而 https://t.co/zVaWaF5HEj 論文也以文字形式提出了類似觀察：平台的 plateau 不斷被使用不同模型與工具的人打破。但從未有人用數據驗證過這一點，因此我做了。 基本設定如下：我凍結了 Yukon 公共 API 上的 10 個排行榜，包括 https://t.co/zVaWaF5HEj，共計 30,687 筆已評分提交。針對每筆提交，我記錄了其聲明模型背後的公司，並根據 @yukonresearch 的歸因記錄、「Notes」中的「Base:」行以及程式碼差異，判斷它基於哪一筆先前提交。接著我問：當你基於他人的工作時，若對方使用的是不同公司的模型，你是否更有可能獲得晉升？我在將任何結果與數據結合之前，已完整記錄分析方法並使用 OpenTimestamps 時間戳記，以確保方法不會因結果而偏移。 數據顯示的第一件事是：跨公司建構是常態，而非特殊事件。三分之二的建構步驟（圖 2）會切換供應商，主要在 Anthropic 與 OpenAI 模型之間雙向切換。 原始數字甚至略微偏向相反方向：基於其他公司模型的提交有 6.1% 獲得晉升，而基於同一家公司模型的則有 7.6%。但原始比率混淆了誰提交、何時提交以及從何處開始。因此真正的測試是將每位參與者與自己在排行榜同一階段進行比較。將此方法應用於全部 10 個排行榜後，跨公司建構的晉升機率約高出 2%，而數據排除了低於約 18% 或高於約 28% 的可能性（圖 1）。我事先預先設定的九種替代分析版本都得出相同結論。這足以讓我認定該效應在平均上可忽略不計。一個誠實的保留意見是：我原本設定了更嚴格的標準，且在看到任何結果前，預註冊的統計功效檢驗已促使我放寬標準；若採用原較嚴格標準，結果將仍屬未定。 我覺得最有趣的部分是 @sreeramkannan 貼文中提到的 843-qubit 電路（圖 3）。這確實是一次跨模型的進展。@jieyilong 的 GPT-5 提交在 843 qubits 和 11.95M Toffolis 上，根據其自身註記，是基於 gnuchev 的 Claude Opus 5.5 電路（843 qubits 和 13.01M），而該電路本身又建立在同一天的兩個 BitWonka 電路上。因此授粉確實發生了，在這一單一步驟中產生了所有人引用的數字。但數據顯示：在成千上萬個步驟中平均來看，供應商組合並非決定哪些步驟能勝出、哪些不能的關鍵因素。 當然，這可能比看起來更狹窄。這是一個平均值，單一排行榜仍可能不同；它僅涵蓋已提交的工作；它信任每個人所聲明的模型（有些人會在一個標籤下運行多個供應商）；而且它關注的是模型而非人：https://t.co/zVaWaF5HEj 論文所提出的「不同參與者打破 plateau」是另一個主張，而本文並未反對此觀點。 我的個人觀點： - 在開放排行榜上，平均而言，你父級提交所使用的供應商模型並不會影響你獲得晉升的機率。 - 跨供應商建構已是常態：三分之二基於他人工作的建構都會切換供應商。 - 開放群體的優勢更可能來自協調本身——許多獨立參與者從同一個公開最佳成果重新出發——而非混合模型品牌。 - 若要測試因果版本，平台需記錄每一次嘗試與每個代理的模型，而不僅僅是每筆提交的一行聲明。 Zenodo 上的論文：https://t.co/h9lRYlJYoB