チューリング賞受賞者で強化学習の父であるリチャード・サットンは、現在の生成AIには内在的な限界があると批判している：良い部分は新しくなく、新しい部分は良くない。
記事執筆者、出典：新智元
良い部分は新しくない、新しい部分は良くない
学術界で最も辛辣な評価の一つは：
この仕事は新しく、とても良いです。
残念ながら、良い部分は新しくなく、新しい部分は良くない。
強化学習分野の創始者の一人であり、『強化学習』の教科書の著者でもあり、チューリング賞受賞者であるリチャード・サットンは、このジョークを生成AI全体に向けた。
彼は言いました：この評価は、今日私たちが知るほとんどのAIに適用されます。
良い部分は新しくない、新しい部分は良くない
サットンの核心的な主張は極めて簡潔で、残酷なほど簡潔である。
生成的AIは本質的に教師あり学習です。
監督学習のロジックは、モデルに人間が作成した多数のサンプルを提示し、それらを模倣できるように学習させることです。
似ていれば似ているほど、得点は高くなります。
問題がきました。
モデルが訓練データに厳密に従ってコンテンツを生成するとき、出力の品質は非常に高いです。なぜなら、それは人間がすでに検証した良いものを再現しているからです。しかし、これは新規性に欠けます。単に異なる組み合わせで、人間がすでに知っていることを再パッケージしているだけです。
モデルが訓練データから逸脱し、真正に新規なコンテンツを生成しようとすると、品質が崩れます。なぜなら、モデルには「この新しいものがあまりにも良いかどうか」を判断する内部メカニズムが一切ないからです。モデルは生成することはできても、評価することはできません。
これがその構造的矛盾です：
新規性と品質は、純粋な教師あり学習のフレームワーク下で天秤の両端である。
片方を押すと、反対側が上がります。
これはエンジニアリングの問題ではありません。データを積み上げたり、モデルを拡大したり、より多くのGPUを追加したりすることで解決できる問題ではありません。
サットンは、極めて目立つ比喩を使用した：「幻覚」——大規模モデルが最も批判される欠点——は本質的に、モデルが「新規性」を追求しようとする副産物である。
私たちは幻覚を嫌うことで、一つのことを明確に示している：私たちは新規性など必要ない。高品質な模倣だけで十分だ。
良いものは新しくない、新しいものは良くない。
そのジョークにおける査読者の辛辣なコメントは、生成AIの内在的な限界を的確に描写していた。
本当の「発見」には、3つのツールが必要です
サットンは第一原理から、創造力の「三位一体の式」を分解した：
真の発見（Discovery）＝変異（Variation）＋評価（Evaluation）＋選択的保持（Retention）。
真の創造性と発見には、欠かせない三つのステップがあります：
1. 変異（Variation）は多様性の可能性を生み出す。ランダムであっても、既存の知識に基づいていてもよいが、真の不確実性がなければならない——そうでなければ、探索ではなく、テーブル検索である。
2. 評価（Evaluation）：どの変異が価値があるかを判断する。これは明確な目標、または「良し悪し」を識別する基準が必要である。
3. 選択的保持（Selective Retention）：価値のある変異を残し、それが将来的な行動や学習に影響を与えるようにする。
この3つのステップは、サットンの発明ではない。それは自然選択の論理であり、科学的方法の論理であり、人間の学習の論理である。
進化論：ランダムな遺伝子変異（変異）→環境による選択（評価）→適者生存（選択的保存）。
科学的方法：仮説を立てる（変異）→ 実験で検証する（評価）→ 論文を発表する（選択的保存）。
人間の学習：異なる解法（変異）を試す→正誤を検証（評価）→有効な方法を記憶（選択的保持）
現在、生成型AIは三位一体の第一段階のみを完了している：評価はほとんど行われず、選択的保存など論外である。
それは、無作為に矢を放つ弓手のように、目を隠されたまま、射った後に的を確認せず、結果に応じて姿勢を調整することもない。
あなたはそれを一万本の矢を射ると呼び、たまに的を外すが、なぜ当たったのかを決して知らない。
それでは、科学者はまだ役に立つのでしょうか？
ここで、あなたは少し不安になるかもしれません：もし将来AIが「発見」の三位一体を自ら完了できるようになったら、科学者は職を失ってしまうのでしょうか？
サットン自身の回答は：置き換えられないが、役割は根本的に転換されるべきだ。
彼は講演で、たとえ数学の定理を独立して証明できるAIであっても、現在でもどの問題が重要かを人間が教える必要があると述べた。
これは謙虚さではなく、実際の認知の境界です。
ライス大学の最適化分野の数学者、馬詩謙は、ChatGPTを使って、自身が6年間取り組んできたアルゴリズムの収束性の問題を証明した。
要約に1文あります：
ChatGPT 5.5によって生成され、著者によって検証されました。
このアルゴリズムはBDRS（Bregman Douglas-Rachford Splitting）と呼ばれ、最適輸送（Optimal Transport）問題を解決するために使用されます。
論文タイトル：Bregman Douglas-Rachford 分裂法
プレプリントのアドレス：
これは彼と共著者たちが自ら設計したものであり、彼を六年間悩ませたのは、その収束性の証明、つまり数学的に最も厳密な意味での「なぜこれが正しいのか」であった。
プレプリントプラットフォームarXivは投稿を受け付けた後、現在も保留中の状態です。
彼はその理由を推測した：要約に「ChatGPT」という三文字が含まれているため、プラットフォームがこのような論文をどのように処理すべきかわからなかった。
しかし、人間はAIに置き換えられるのか？
彼の回答は：できません。彼は率直に言いました：
AIはこのようなアルゴリズムを創造的に提案し、「これは最適輸送のための効率的なアルゴリズムです。では、その収束性を証明してみましょう」と主張することはできないと思います。
人間の指導がなければ、AIはどの問題を解決すべきかわからない。
この文はSuttonと正確に対応します：問題自体は、人間が定義しなければなりません。
彼は六年をかけてやっと「正しい質問」をした：
どのような質問を提出するかには、そのテーマについて非常に深い理解が必要です。
この事例において、私はこの問題に6年間取り組んできたので、その難点をよく理解しています。
この六年は無駄ではなかった。それは前提条件だった。
この六年間で、彼はこの証明がどこで詰まっているのか、これまでのすべての道が失敗した理由、ChatGPTが示したどの方向を追う価値があり、どの方向が幻覚であるかを理解した。
そして、それは一度のヒントではなく、5か月間です。これは最も誤解されやすい点であり、彼自身も誤解したことがあります：
1月から5月まで、整整五ヶ月、無数の会話があり、毎回のヒントがその証明に近づいていた。
彼は極めて清醒にまとめた：
研究の本質は変わらず、繰り返しの試行錯誤である。変わったのは、それぞれの試行錯誤の速度だ。過去には一つの方向を検証するのに数週間かかっていたが、今では数分でその道が通じるかどうかがわかる。
しかし、AIの貢献は消すことができない：
そして、最後に直接神格化：
BDRSの収束性に関する私の論文について、証明は正しいと強く確信しています。
しかし、もし何か誤りを見つけた場合は、その責任はすべて私が負います——ChatGPTを責めないでください、彼女はまだ3.5歳です。
この文の妙味は、その二重性にあります：これは誠実な責任の表明であり、同時に正確な比喩でもあります。
「3.5歳」は、AIが現在直面している実際の状況を表しています：能力は驚異的ですが、判断力は未熟です。
結局のところ、人間は3.5歳の子供に何の貢献も期待していませんでした。
あなたは証明の最終署名権をAIに委ねることはできませんが、AIが一切貢献していないかのように振る舞うこともできません。
そのため、真の科学的発見は人間の手の中で消えることはありません。
逆に、それは人間をより厳しく選別する：良い質問をできる者だけが強力なAIを所有する資格がある。
今後、科学者がAIを用いないことは、天文学家がコンピューターを使わないように時代遅れになるだろう。
最後に、サットンの宣言的な言葉を振り返りましょう：
AI科学者の力を最大限に発揮させたい場合、彼らと目標を共有し、創造・評価・発見を可能にすることで、これらの目標の達成に全面的に参加させなければなりません。
もう少し大胆にいきましょう！創造力と発見を完全に自動化しましょう！