OpenAI研究者が、トップのAIラボはもはや論文を読まないと主張

フロントラインラボの人はほとんど論文を読まなくなった？

OpenAIの研究者が一言で三大トップ会議を批判：過剰な誇張と不正が多すぎる！

きっかけは、その効果が信じられないほど優れていたICLRの論文であり、ネットユーザーが調査したところ、その「秘訣」が判明した。

トップカンファレンスで論文を発表するのも、ここまで「進化」したのか？

まずコードがオープンソースかどうかを確認し、次に実験手法に「歪な手口」が隠れていないかを検証し、最後に得られた結果が核心的な結論を支えられるかどうかを評価する——このように段階的に問い詰めると、トップカンファレンスの論文のうち、本当に検証に耐える論文が何本あるのだろうか？

実際にそんなことをした人がいる。

105件中、8件のみが「合格」

今年7月、シカゴ大学コンピュータ科学・データサイエンスの准教授であるタン・チェンハオが共同設立したSAIは、大規模な「実験的査読」を発表した。

彼らが選んだのは、ICML 2026 の全168本のOral論文です。

今年のICMLでは合計23,918件の投稿があり、そのうち168件のみがオーラル発表の資格を得ました。割合は約0.7%です。

言い換えれば、SAIがチェックするのは、2万以上の投稿の中から選り抜かれた最上位のものです。

SAI Review は、従来の査読者と同じく論文の内容、実験設計、結果を読み込むだけでなく、コード、モデル、データをダウンロードし、環境を構成して実験を実行した後、得られた結果を論文の原文と項目ごとに照合します。

SAIはすべての168件のOralを審査し、そのうち104件の論文コードがオープンソース化されており、最終的に105件の完全な再現を完了した。

そのうち、主張の40％以上を再現できたのは34本のみであり、再現率が80％を超えたのはわずか8本である。

論文ごとに少なくとも1つ、3つ、または5つの検証可能な主張を含むかにかかわらず、再現スコアの中央値は常に28%—30%の範囲にとどまり、全体の分布は大きく変化しなかった。

実行されていない、事前に中止された、またはハードウェアの能力を超えた実験を除外した後でも、再現スコアの中央値は依然として42%～50%にとどまる。論文ごとに少なくとも3つの検証可能な主張を含む場合、中央値は42%に安定する。

再現時に最もよくある問題すべてに遭遇しました：コードが実行できない、ファイルが欠落している、説明が不十分である、依存関係が破損している、またはコードの出力結果が論文と一致しない。

さらに4本の論文がすでに廃止されたモデルに依存している。後続の研究者は、費用や時間をかけても、同じ結果を再現することは不可能である。

SAIはさらに2つの具体的な例を挙げました。

ある論文では、「基礎モデルの0.77%のパラメータのみを訓練」という点を主な売りとしているが、実際に公開されたチェックポイントは6.31%のパラメータを訓練しており、宣言された数値の約8倍である。

別の論文では、裁判モデルによるスコアリングに基づく信頼性テーブルが示されているが、オープンソースコードにはその裁判モデルが見つからず、テーブル内の数値を計算するためのスクリプトも存在しない。

質の低い論文、収益が高くリスクが低い

SAIの再現結果は非常に悪かったです。

さらに悪いことに、ここで発見された問題は「条件付きで発見される」問題にすぎない。

コードのない論文は、そのまま「完璧」だ。

たとえコードが完全に公開されていても、論文を検証するのに要する時間、労力、費用は莫大であり、結果は満足いくものにならず、どれほど絶望的になることか。

SAIがGoogle Cloudのオンデマンド価格に基づいて推定したところ、ICMLオーラル論文1本を完全に再実行するコストの中央値は約8,900ドルである。105本の論文のうち、17本は10万ドルを超え、最も高額な論文は220万ドルに近い。

論文ほど大規模な計算リソースに依存するほど、独立して再現することが難しくなる。

コードがなければ、誰も検証できない。コードがあっても、そのコストを負担できる人はほとんどいない。

したがって、問題のある論文が審査を通過し、引用され、履歴書に記載され、合格や教職、大規模な研究室の職位を得る可能性がある。

偶然に結果が一致しないことが発見されても、会議で再検討されることも少なく、論文が撤回されるとは限らない。

これがコメント欄で言われている「悪質な調査をしても収益があるが、ほとんど代償がない」ということだ。

論文を読まないが、採用には論文を確認する

大規模モデルの分野では、本当に重要な進展の多くが論文の形で現れなくなっています。

OpenAIのエンジニアとして、産業の最前線に立っているため、このような感覚を抱くのは理解しやすい。十分な計算リソース、迅速な実験フィードバック、そして多数の非公開の内部結果があるからこそ、「論文を読まない」余裕があるのだ。

しかし、そう言うと、少し微妙です。

あるコメントは、テクノロジー企業の従業員がこのような行動を取ることを「上岸後に梯子を引き抜く」と皮肉った：大学から研究者を引き抜き、学術界で公開されて蓄積された成果の上に構築し、より高い報酬で人材やGPUを奪い取り、自らは次第に同僚による査読を受けなくなる一方で、最後には学術研究を「主に詐欺だ」と宣言するのだ。