ジェフ・ディーンが語るAIの次段階：TPUから自己進化エージェントへ

2026年のYCスタートアップスクールで、ジェフ・ディーンの声はかすれていた。

インタビューが始まった瞬間、彼は声を失ったことを説明し、今日は普段と違う声になっていると述べた。しかし、これは観客の注意を削ぐことはなかった。彼の前に座るYCのパートナー、Diana Huは、コンピュータ史に刻まれるような一連の名前を次々と挙げた：MapReduce、BigTable、TensorFlow、TPU、Gemini。

どのプロジェクトも、エンジニアのキャリアを代表する作品となるに十分である。それらはすべて、ジェフ・ディーンとその周囲のGoogleエンジニアたちの経歴に集中して存在している。

ディアナはインタビューを功績の振り返りにしなかった。彼女がより関心を寄せたのは、生成AIがソフトウェア業界を席巻している今、システムの下層を再構築するのに最も長けたジェフ・ディーンが何を見ているのかという問題である。

答えはより大きなモデルではありません。

約1時間にわたるこの対話で、ジェフ・ディーンは推論ハードウェア、エネルギー、データの移動、コンテキストエンジニアリング、長時間実行エージェント、自動化実験システム、そしてスタートアップが汎用モデルの正面からの圧力を回避する方法について繰り返し言及した。彼の話は一見散らばっているように見えるが、その背後には非常に明確な主线が存在する。次世代のAIは、モデルをより賢く訓練することではなく、長期的に動作し、継続的に試行錯誤し、自動的に検証し、能力を蓄積し続けるシステムの中にモデルを組み込むことである。

これはまた、AI競争が「誰がより大きなモデルを持つのか」から「誰がより良く知能を組織できるのか」へと移行していることを意味する。

2025年5月、ジェフ・ディーンは、AIの能力がジュニアエンジニアに近づいているという広く議論を呼ぶ判断をした。

一年後、Dianaは彼に、この予測はどのように実現したか尋ねた。

ジェフ・ディーンの回答は非常に直接的だった。彼は、この判断が「かなり正確である」と考えている。モデルのエージェント化、長距離コーディング、複雑なタスクにおける進歩は、彼が当初予想したよりもさらに速いペースで進んでいる。

「モデルが複雑なタスクをこなす能力の向上は、私の予想よりも速いです。」と彼は言った。

さらに注目すべきは、この能力がコードの記述に限定されなくなっていることです。ますます多くのエージェントシステムが科学、工学、その他の専門分野へと進出しています。これらは単に質問に答えるだけでなく、タスクを分解し、ツールを使用し、実験を実行し、結果を読み取り、フィードバックに基づいて継続的に行動します。

AIをジュニアエンジニアに例えると、人々の関心が人間の労働力の代替に集中しがちである。しかし、ジェフ・ディーンはもう一つの変化に注目している：「ジュニアエンジニア」が数十人、数百人に複製され、並列して数日から数週間働き続けるとき、生産の組織方法はどのように変わるのか？

従来のチームでは、ジュニアエンジニアは業務に慣れる必要があり、ツールを理解し、継続的なフィードバックを得る必要があります。エージェントも同様です。ただし、そのトレーニング資料はドキュメントだけでなく、プロンプト、ツールの説明、スキルファイル、テスト体系、評価器、そして全体のコンテキスト環境です。

これにより、AIエンジニアリングに新しい分業が生まれました。

過去、エンジニアは主にコードを書く役割を担っていた。将来、より多くのエンジニアが問題を定義し、環境を構築し、仕様を策定し、フィードバックループを設計した上で、複数のエージェントをスケジューリングしてタスクを完了させる役割を担うことになる。

ジェフ・ディーンの2027年に関する予測はまさにそれです。彼は、機械学習システムが、自らの改善にますます関与するようになると信じています。それらは目標をサブプロブレムに分割し、多数の実験を自動で実行し、結果を比較して、有効なソリューションを組み合わせて、より強力な新しいシステムを構築します。

測定可能な目標が存在する分野であれば、大きな進展の機会がある。

この文は、このインタビュー全体の鍵です。

AIの自動化が最初に攻める分野は、必ずしも知識が最も豊富な分野ではなく、フィードバックが最も明確な分野である。コードがテストを通過できるか、チップの配置が面積を削減できるか、モデル構造が精度を向上できるか、材料特性が要件を満たすかといった問題には、比較的明確な評価基準がある。評価器が十分に信頼できれば、機械は非常に高い頻度で繰り返し試行できる。

したがって、AI時代において真正に重要な単位は、一度の回答ではなく、方案の提案、実行、結果の測定、方向の修正という一連の閉ループである可能性がある。

ジェフ・ディーンの多くの代表的な仕事は、非常にシンプルな出発点から始まっています：まず数量級を正確に計算する。

2001年、Googleの検索はまだハードディスクに大きく依存していた。ハードディスクは容量が大きいが、アクセス速度が遅い。ジェフ・ディーンとサンジャイ・ゲマワットは推定を行い、当時のGoogleの検索インデックス全体をすべてのサーバーのメモリに収められることを発見した。

今日から見れば、これは単なるストレージメディアのアップグレードに聞こえるかもしれません。しかし当時、それは完全に異なるシステム設計を意味していました。

インデックスが主にハードディスク上に存在する場合、クエリは機械的なシークを待つ必要がある。インデックスをメモリに置けば、アクセス遅延が急激に低下する。二人はすぐに新しいバージョンを書き上げ、数日以内に本番環境に導入した。これにより、Google検索は明らかに速くなった。

この物語は、天才のひらめきとして包装されるのが最も簡単だ。しかし、ジェフ・ディーンの説明は、むしろエンジニアが常識を述べているようだ：システムの条件が変わったので、以前は成り立たなかった手法が今では成り立つようになった。ならば、再計算すべきだ。

多くの業界のイノベーションは、このような瞬間に起こります。

長年にわたり存在してきた古い問題に対して、人々は常にパッチを当て続けてきた。その後、ハードウェアの価格、メモリ容量、ネットワーク帯域幅、またはモデルの能力がある臨界点を超え、もはや従来の制約は存在しなくなった。しかし、大多数の人々は依然として古いアーキテクチャを採用し続けている。なぜなら、そのアーキテクチャはすでに常識となってしまったからである。

ジェフ・ディーンが得意とするのは、常識を再び仮定に戻すことである。

彼は尋ねるだろう：なぜ必ずこうしなければならないのか？今日の規模は昨日の規模と同じなのか？最も高価なステップを変更すれば、システム全体はまったく異なる形態になるのか？

これは彼が起業家たちに与えるアドバイスでもあります。既存のソリューションの不足点だけに注目するのではなく、第一原理から問題を見直してください。パフォーマンスを10倍に向上させることはできないでしょうか？コストを100分の1に削減することはできないでしょうか？業界のデフォルトの実装パスに従わずに、新たなアプローチを取ることはできないでしょうか？

時には、問題を少し目を細めて見つめ、今日の解決策に固定されず、第一原理からどのように解決すべきかを考えるだけで十分です。

これは不思議なことではありません。本当の難しさは、多くの人が業界に入ると、その業界のすべてのデフォルトの答えをすぐに学んでしまうことです。経験は効率を高めますが、再び質問する能力を失わせることもあります。

2013年、Googleのディープラーニング音声認識は、従来のシステムを著しく上回り始めました。誤り率が半分に低下し、これは過去20年間の音声認識の進歩が数ヶ月のうちに集中して実現されたことを意味しました。

製品チームはもちろん興奮していたが、ジェフ・ディーンはまず計算を始めた。

音声認識が本当に向上すれば、ユーザーはより積極的に利用するようになる。もし各Googleユーザーが毎日音声認識を3分だけ使用すると仮定した場合、Googleはどのくらいのサーバーを必要とするだろうか？

結果は楽観的ではありませんでした。当時のCPUの効率に基づけば、Googleはサーバー規模を倍に拡大する必要があったかもしれません。

これがTPUの出発点です。

それは研究チームが突然チップを製造したいと思ったからでも、Googleがハードウェアを作成できる能力を証明したいからでもなく、ある成功したモデルが耐えられないサービスコストを生み出そうとしているからである。

この歴史は、AI製品においてしばしば見過ごされている規則を明らかにしています：モデルの性能向上は、必ずしもコスト削減を意味するわけではありません。逆に、性能が良くなればなるほど、利用量が増え、システムへの負荷が重くなります。

音声認識がうまく機能しない場合、ユーザーはほとんど使用しない。システムのコストは問題ではない。エラー率が大幅に低下すると、需要が一気に解放され、これまで裏側に隠れていた計算リソースの制約が表面化する。

TPUは、機械学習の最も核心的な計算モードに特化したハードウェアの道を選択しました。ブラウザを実行したり、すべての汎用プログラムを処理したりする必要はありません。TPUは主に低精度で密度の高い線形代数計算に優れています。このような計算は、現代の機械学習の中心に位置しています。

第1世代のTPUは、数量級での利益をもたらしました。ジェフ・ディーンの話によると、当時のCPUやGPUと比較して、30～80倍の省電力性を実現し、遅延も20～30倍低減しました。

ここには見過ごされがちな設計の尺度がもう一つあります。

TPUは非常に専用化されていますが、特定の固定モデルのみに限定されるほどではありません。チームは機械学習アルゴリズムが急速に進化することを理解しており、チップを比較的汎用的な線形代数システムとして設計しました。これにより、ChromeやWordを実行する能力は犠牲にしましたが、将来のアルゴリズムの進化を支える余地を確保しています。

これは非常に難しいバランスです。十分に専用化しないと収益が目立ちません。一方、過剰に専用化すると、アルゴリズムが変更された際にハードウェアがすぐに陳腐化します。

ジェフ・ディーンは、今日の推論ハードウェアに関する見解が、当時のTPUと明確に呼応していると述べています。彼は、次なる重要な機会は依然として専用化にありますが、その重心はさらに低遅延・低消費電力の推論へと移行すると考えています。

遅延が50倍改善できたとしたら、あなたは何ができるでしょうか。

モデルの応答に十数秒かかる場合、人々はそれをたまに使うツールと見なす。遅延が即時に近づいたとき、初めてそれはインタラクティブなインターフェース、ボット、リアルタイムビデオ、オペレーティングシステム、および連続的な意思決定プロセスに本格的に組み込まれる。

待つことは小さな体験の問題ではない。待つことは製品の形を変える。

2026年のAIエンジニア向けに「すべてのエンジニアが知るべき遅延数値」の新版を更新する場合、Jeff Deanは、ハードディスクのシーク時間、キャッシュミス、大陸間ネットワーク遅延から、チップ内部のデータフローへ重点を移すべきだと考えている。

エンジニアは次のことを理解する必要がある：メインメモリからオンチップメモリへの帯域幅はどれほどか、オンチップメモリから乗算ユニットへの帯域幅はどれほどか、1回の乗算にどれほどのエネルギーが必要か、チップ間はどのように接続されるか、500個のチップを1万個に拡張した場合、ネットワーク効率はどのように低下するか。

これらの数字は製品から遠く離れているように見えますが、実際にはどのような製品が成り立つかを決定しています。

ジェフ・ディーンは、非常に衝撃的な比率を示しました。1回の数学的乗算には、約1ピコジュールのエネルギーしか必要ありません。一方、データを高帯域幅メモリから計算ユニットへ移動させる際のエネルギー成本は、それのおよそ1000倍になる可能性があります。

言い換えれば、今日のAIシステムにおける高コストの処理は、しばしば「計算」ではなく、「計算対象を移動すること」である。

これもバッチ処理が重要な理由を説明しています。

モデルの重みがメモリから計算ユニットに移動された後、1つのトークンのみを処理すると、データ移動コストがすべてその1つのトークンに負担されます。一方、より大きなバッチを同時に処理すると、同じ重みが複数の計算に使用されるため、エネルギーと帯域幅のコストが分散されます。

しかし、バッチ処理と低遅延は本質的に対立します。バッチを満たすために、システムはしばしば待機を余儀なくされます。スループットは向上しますが、個々のユーザーの応答速度は遅くなる可能性があります。

したがって、多くのモデル層に見える問題は、実際にはハードウェアやシステムの問題です。なぜトレーニングでは大バッチサイズを使用するのか、なぜ推論ではKVキャッシュが必要なのか、なぜモデルは低精度を追求するのか、なぜシステムは量子化を必要とするのか——その背後にはすべてデータの移動とエネルギー制約があります。

ジェフ・ディーンは最近、推論にさらに注目しており、それは推論がレイテンシーに非常に敏感だからである。トレーニングタスクが少し遅れても、実験の終了が遅れるだけである。一方、推論タスクで1秒でも待たされると、ユーザー体験やエージェントの効率に直接影響する。

あるエージェントがモデルを連続して1000回呼び出す場合、1回あたりの遅延を50%削減すると、タスク全体の完了時間に大きな差が生じる。ましてや、今後エージェントが数日から数週間稼働する可能性を考えればなおさらである。

したがって、AIの「エネルギー問題」は遠い環境問題ではなく、モデルがより多くの人に安価にサービスを提供できるか、エージェントが継続的に動作できるか、スタートアップの粗利が健全であるかを直接左右します。

過去数年間、AI業界は進歩をパラメータ数、トレーニングデータ、ベンチマークスコアで測定してきました。2026年には、Jeff Deanはモデル周辺のすべてに重点を置きます。

真に役立つAIシステムには、モデルだけでなく、検索、ツール、メモリ、履歴情報、実行環境、フィードバックメカニズムも必要です。モデルは利用可能なツールを把握し、いつツールを呼び出すかを理解し、複雑な問題を一連のアクションに分解でき、複数のソリューションを比較して、どれがより成功する可能性が高いかを判断できる必要があります。

これが「コンテキストエンジニアリング」が舞台の中心に立ち始めた理由です。

ジェフ・ディーンは、モデルが訓練段階で見ていた情報が、最終的に数千億、あるいは数兆のパラメーターに「攪拌」されると述べた。それらは濃厚なスープのように、知識は存在するが、明確ではない。現在の文脈に実際に投入された情報は、モデルにとってより直接的であり、より正確に使用されやすい。

これは小さなチームにとって重要な機会をもたらします。

基礎モデルの訓練には膨大な資本、データ、計算リソースが必要です。一方、コンテキストエンジニアリングはAPIから始められます。起業家は、特定のビジネスに沿って、ドメイン知識、ツールフロー、顧客データ、評価基準を整理することで、汎用モデルを狭いシナリオでより信頼性高く動作させることができます。

ジェフ・ディーンは自分の例を挙げました。

彼はSanjay Ghemawatと頻繁にGoogleの内部ベースライブラリを最適化しました。これらのデータ構造は数百万のプロセスで動作する可能性があります。 点点 性能差異は規模によって拡大される。従来の方法では、エンジニアがまずマイクロベンチマークを記述し、現在の性能を測定した後、コードを修正してベンチマークを再実行し、キャッシュ使用量と性能の変化を観察して、繰り返し改善を続ける。

二人はこの作業方法をAgentのスキルとして記述しました。モデルはベンチマークを実行し、コードを修正し、結果を比較して、測定結果に基づいて最適化する方法を学びました。

私たちは、人が採用する方法を、モデルが使用できる形で提供しただけです。

この文は、コンテキストエンジニアリングの素朴な定義と見なせる。

それは神秘的なプロンプトテクニックでも、背景資料を増やすことでもありません。三つの質問に答えることです：専門家はどのような手順で行動するか、どのような信頼できるツールがあるか、結果をどのように検証するか。

これらのコンテンツが構造化されると、モデルはより多くの知識を得るのではなく、繰り返し実行可能な手法を得る。

これが「スキル(skill)」がエージェントエコシステムにおける重要な資産となる理由です。優れたスキルファイルには、チームが長年にわたり蓄積してきた暗黙の経験が凝縮されています。このファイルは、モデルに特定の問題に遭遇した際にまず何をすべきか、どのエラーが最も一般的か、どのツールを信頼できるか、どのような結果で完了と見なすかを示します。

未来の企業の差別化は、モデルの重みだけでなく、ワークフローに組み込まれた経験にも存在する可能性が高い。

実際にAgentを構築したチームのほとんどは、同じようなシナリオを経験している。

最初の数ステップは順調でした。モデルは要件を読み取り、ツールを呼び出し、コードを書くことができます。しかし、30ステップ目または50ステップ目になると、目標を忘れ、状態を誤解し、行動を繰り返したり、誤った方向へどんどん進んでいきます。

ジェフ・ディーンは、その原因の一つを分布外の問題に帰しています。

モデルは訓練中に多くの一般的なタスクを経験しています。タスクが依然としてその熟悉的な「明るい道」上にある限り、パフォーマンスは通常良好です。しかし、連続した操作によって不慣れな状態に導かれると、性能は急激に低下します。快適領域から離れれば離れるほど、エラーが蓄積しやすくなります。

一つの解決策は、モデルが得意とするパスに沿って行動できるよう、スキルとヒントを提供することです。もう一つの方法は、マルチエージェントシステムを使用することです。

複数のエージェントが異なるソリューションを試し、別のモデルが評価者としてどの方向が有望かを判断します。失敗したブランチは破棄され、成功したブランチは継続して推進されます。これは本質的に推論段階で検索を行うことです。

それは人間のチームの働き方と馴染み深いものです。複雑な問題に直面したとき、一人が案を提案し、別の人がリスクを検討し、三人目が実験を実行します。チームは最初のアイデアにすべてを賭けるのではなく、役割分担とフィードバックを通じて単一の失敗点を減らします。

エージェントの実行時間が長くなるほど、システム設計は一度の正しさに依存してはいけない。

真正の信頼できるロングレンジエージェントには、チェックポイント、ステート管理、ロールバック、ブランチ探索、外部評価、権限制御、および異常復旧が必要です。これは長すぎるチャットウィンドウではなく、分散システムに似ています。

これは、ジェフ・ディーンの経歴が再び重要になってくる場所です。

MapReduceが解決しようとしている核心的な課題の一つは、多数の信頼性の低いマシンを用いて信頼性の高い計算を実現することである。今日のAgentシステムも同様の矛盾に直面している：単一のモデル呼び出しは完璧ではなく、ツールも失敗するが、全体のタスクは可能な限り安定して完了させる必要がある。

将来優れたAgentプラットフォームは、多くの分散システムの思想を継承する可能性がある。タスクは分割でき、結果は検証可能で、失敗は再試行でき、状態は復元可能であり、局所的なエラーは全体のプロセスを破壊すべきではない。

ジェフ・ディーンがエージェントが数日から数週間動作すると述べたとき、彼はより長いチャットを説明しているのではありません。彼は新しい計算インフラストラクチャーを説明しているのです。

Startup Schoolの文脈では、最も注目される質問は当然ながら起業の機会です。

グーグルはチップ、データセンター、モデル、製品を共同設計できます。Geminiのような汎用モデルは、その能力の境界を急速に拡大し続けています。たった2〜3人のチームが、どうやって勝てるというのでしょうか？

ジェフ・ディーンの回答はロマンチックではありません。

小さなチームの機会は、汎用モデルが十分に注目していない具体的な分野に存在する。起業家は、製品インターフェース、独自データ、ワークフロー、およびドメインスキルを組み合わせることで、狭いシナリオにおいてより高い精度と優れた体験を提供できる。

しかし彼はすぐに警告を発した：汎用モデルは急速に強化されている。今日では独立した製品機能に見えるものも、6か月または12か月後には基礎モデルによって直接カバーされる可能性がある。

したがって、起業家は自らの優位性が持続可能かどうかを判断する必要があります。

ジェフ・ディーンは、すでに20％を達成しているタスクではなく、現在の汎用モデルの成功率が0％または1％に近いタスクを探すという具体的な選別基準を示した。

モデルが完全に失敗した場合、それは良い兆候かもしれません。すでに一部はできているが、うまくできていない場合、むしろ良い兆候とは限りません。

理由は単純です。20%という数値は、能力がすでに現れ始めたことを意味します。より多くのデータ、より大きなモデル、そしてより長い推論により、すぐに実用化される可能性が高いです。一方、0%や1%という数値は、タスクに重要なデータ、特別なツール、分野からのフィードバックが欠けている、または汎用モデルが短期間で得るのが難しい能力を必要としていることを示しています。

これは「ジェフ・ディーンの1％ルール」と呼べます。

それは起業家に最も難しい問題だけを選ぶように勧めるのではなく、汎用モデルに構造的な盲点がある問題を探すように勧めています。

この盲点は大きく三つのタイプに分けられます。

第一類は専有データである。汎用モデルは世界の情報を整理できるが、あるユーザーのすべての個人情報、ある企業の内部プロセス、またはあるデバイスが生成するリアルタイムデータにアクセスできるとは限らない。スタートアップ製品がこれらのデータを獲得すれば、基礎モデルとは異なる視点を築くことができる。

第二類は専門的評価である。多くの業界は生成能力が不足しているのではなく、信頼できる判断が不足している。医療、材料、チップ、製造、科学研究では、高品質なバリデータが必要である。「何が正しいか」を定義できる者が、エージェントの継続的な最適化を実現できる。

第三類は狭く深いモデルである。AlphaFoldは汎用チャットモデルではなく、タンパク質構造の問題に特化した高度な能力を備えている。材料科学、チップ設計その他の専門分野でも、同様の機会が生じる可能性がある。

この判断は起業者にとって容易ではありません。チームはモデルの能力限界を理解するとともに、業界の深層にある課題も理解する必要があります。AIだけを理解していると、すぐにプラットフォームに吸収されてしまう機能を作りがちです。一方、業界だけを理解していると、モデルの進歩速度を過小評価する可能性があります。

真の機会は、その両者の境界にあります。

Dianaは仮説を提示する：もし将来、すべての創業者が同時に50個、100個のAgentを管理でき、すべてのコードがAgentによって書かれるならば、どのような能力が希少になるだろうか？

ジェフ・ディーンの回答は「味わい」です。

より正確には、エージェントに何をさせるかを判断することです。

彼は、研究の大部分の価値は実験をどれほど完璧に実行したかではなく、どの問題を研究対象として選んだかにあると考えている。あるチームは、最も洗練された手法を用いても、無意味な研究を完了できる。一方で、重要な問題を捉え、それを解決すれば、その分野全体を変えることができる。

エージェントが実行コストを低下させた後、問題選択の重要性はさらに高まる。

過去、曖昧なアイデアは開発コストが高すぎるため、自然と消えていった。未来では、十分なエージェントを動員すれば、多くのアイデアが迅速にプロトタイプ化されるだろう。世界が自動的により多くの優れた製品を生むわけではない。より多くの製品が生まれるだけだ。

仕様もさらに重要になります。

ジェフ・ディーンは、仮想エージェントと協力する際、目標が明確であればあるほど成功確率が高くなると述べました。過去には、曖昧な要件を経験豊富なエンジニアに任せれば、質問を通じて意図を補完したり、共有された背景知識を活用したりできました。エージェントも質問することはできますが、文脈が不足している場合、勝手に推測しやすくなります。

典型的高成功率タスクは、ソフトウェアを一つのプログラミング言語から別の言語に移行することです。その理由は、移行が簡単だからではなく、仕様が非常に完全だからです。旧コードが動作を定義し、テストが境界を定義しているため、エージェントは新しいバージョンが一貫して同じ挙動を示すまで、項目ごとに照合できます。

今やエージェントがソフトウェアを代わりに書けるが、あなたが何を望んでいるかを明確に説明することが、ますます重要になっている。

この文は、いわゆるAIネイティブ組織に直接的な示唆を与える。

将来のマネージャーはタスクを割り当てるだけでなく、より明確な目標と受入基準を策定する。設計ドキュメントはチーム間のコミュニケーション資料にとどまらず、機械が実行するための入力にもなる。テスト、指標、制約、サンプルは、開発プロセスの最終段階からタスク定義段階へ前倒しされる。

「味」の訓練方法について、ジェフ・ディーンは実用的なアプローチを示した。

今後12か月で重要になると考えられる出来事をいくつか書き出してみよう。すべてを実行する必要はない。12か月後に振り返り、どの予測が当たったか、誰かがすでに実行したか、あるいはまったく進展がなかったかを確認しよう。予測のサンプルを継続的に蓄積することで、自分の判断力は徐々に調整されていく。

センスは必ずしも才能ではない。反復練習によって身につけることができる。

インタビューの後半で、ジェフ・ディーンはかなり狂気じみた思想実験を共有しました。

過去60年間、チップ業界はより小型で安定し、エラー率が低いトランジスタの追求を続けてきた。同じ設計で製造されたチップはできるだけ完全に一致し、ビットフリップが少ないほど良いという考えが当然とされていた。

大規模な分散システムでは、エンジニアは単一のコンポーネントが故障することを既に受け入れています。ハードディスクは故障し、マシンはダウンし、スイッチは問題を起こします。システムの信頼性は、すべての部品が絶対にエラーを起こさないことではなく、複製、検証、冗長性、復元によって実現されます。

そこでジェフ・ディーンは質問した：トランジスタが数百万年に1回ではなく、毎日20回エラーを起こすとしたらどうなるだろうか？

これは現実の製品計画ではありません。彼はただ、当たり前と思われている前提を取り除こうとしているだけです。おそらく、非常に信頼性の低いトランジスタを全く異なる方法で製造し、システムは多重パスと高レベルの冗長性によって結果を保証することができるかもしれません。

多くの思想実験は最終的に製品にはなりません。多くの業界の慣行は数十年にわたり継続されており、それなりの理由があります。しかし、ジェフ・ディーンは、これらの理由を定期的に再確認すべきだと考えています。

MapReduceは、類似のプロセスから生まれました。

初期のGoogleのクローラーとインデックスシステムには、多くの手作業による並列コード、チェックポイント、障害復旧ロジックが含まれていた。実際のビジネス計算は、例えばすべてのウェブページを読み取り、ページの言語を判別するといった単純なものであったが、多くのシステムコードがその単純な意図を埋め尽くしていた。

ジェフ・ディーンとサンジャイ・ゲマワットは関数型プログラミングからインスピレーションを得ました。彼らは多数のタスクをMapとReduceに抽象化し、並列化、スケジューリング、エラー耐性、再試行を統一されたフレームワークに委ねました。ビジネス開発者は計算そのものに集中すればよいのです。

この設計は、機械を誤りなくするものではありません。誤りをシステムが吸収できるようにするものです。

今日のAgentエンジニアリングも同様の段階にいる可能性がある。多くのチームが、各タスクに対してプロンプトを手動で編成し、再試行ロジックやツール呼び出しを実装している。今後、MapReduceのようにシンプルな抽象化が登場し、長距離Agentの分解、検証、復元、並列探索が基盤機能となるだろうか？

これは次世代のインフラ企業にとっての機会かもしれません。

ジェフ・ディーンが未来に最もワクワクしている分野は、科学的方法そのものを自動化することである。

従来の科学研究プロセスは、仮説を立て、実験を設計し、実験を実行し、結果を分析してから次の仮説を生み出すというサイクルである。このサイクルの速度は、長年にわたり実験コストと検証の遅延に制約されてきた。

AIは二つの部分を変えることができます。

一部は自動的に実験を提案し実行するものです。もう一部は高価なバリデータを安価な近似モデルに変換することです。

ジェフ・ディーンは量子化学の例を挙げた。研究者は分子構成の性質を判断するために密度汎関数理論シミュレーションを実行できる。1回のシミュレーションには一晩かかる可能性がある。Googleの研究者は多数のシミュレーション入力と出力を用いてニューラルネットワーク近似器を訓練した。この近似器は元のシミュレーターとほぼ同等の精度を持ちながら、約30万倍速い。

検証速度が変化すると、科学的問題の形態も変化する。

かつて1000万の候補を絞り込むことは、数ヶ月にわたる計算リソースを要するプロジェクトだった。現在では、研究者が昼食を取るほどの時間で、システムが初期選別を完了する。実験は貴重な一発勝負ではなく、高頻度の検索变成了。

これは、AlphaEvolveやAlphaChipなどのシステムの背後にある共通のロジックです。モデルが案を提案し、ツールが案を実行し、評価器が結果をフィルタリングし、優れた結果が次のラウンドに進みます。閉ループが十分に高速であれば、システムは膨大な解空間の中で継続的に探索できます。

機械学習自体も、このような自動化科学の対象となる。

今日、大規模な研究チームは通常、人が新しいアーキテクチャやトレーニング手法を提案し、小さなスケールの実験を実施した後、有望な手法を選んでスケールアップする。ジェフ・ディーンは、モデルがそのプロセスのより多くの工程を自動で担うことを妨げる根本的な障害はないと考えている。人間が高レベルの方向性を提示し、システムが自動的にアーキテクチャ、データのレシピ、トレーニング戦略を探索し、成功した実験を組み合わせて新しいモデルを構築する。

未来の研究効率を測る指標は、毎秒の浮動小数点演算回数だけでなく、「単位算力あたりの有効な発見の数」になる可能性がある。

計算能力は確かに重要です。しかし、その計算能力をどのように発見に変えるかがより重要です。

2014年、Jeff Dean、Geoff Hinton、Oriol Vinyalsは知識蒸留に関する論文を提出しました。今日、知識蒸留はモデル圧縮と能力移転における基本的な手法となっています。大規模モデルが教師として、より小型で高速かつ低コストな学生モデルに能力を伝達します。

この後世に大きな影響を与えた論文は、当時NeurIPSに却下された。

ある査読者は、それが「大きな影響を及ぼす可能性は低い」と考えています。関心のある読者は、『却下＝失敗ではない！これらの高影響力論文はすべてトップカンファレンスに却下されたことがある』をご覧ください。

ジェフ・ディーンはこの経験について怒りを示さなかった。彼は、査読者が大規模AIサービスが直面する現実の課題を理解していない可能性があると述べた。Googleにとって、高価な大規模モデルを数億人のユーザーにサービス提供可能な小型モデルに変換することは、明らかに重要である。しかし、理論の新規性のみに注目する査読者にとっては、これが十分に「基礎的」に映らないかもしれない。

論文が却下された後、チームはそれをarXivに掲載した。業界は依然としてそれを読み、使用を始めた。

今日、GeminiのFlashモデルは、小さな規模と低いレイテンシーのまま強力な能力を維持しており、蒸留はその重要な手法の一つです。

この物語は「諦めなければ成功する」という単なる励ましの話ではない。評価システムには常に盲点があることを示している。ある解決策の価値は、そのシステムのボトルネックを実際に経験した人でなければ、すぐに見抜くことができない。

起業家にとっても、これは同様に重要です。

市場、投資家、そして業界からの否定は、方向性の誤りを示している可能性もあるが、単に相手が同じ問題の現場にいないだけかもしれない。その違いは、チームがなぜこの問題が重要で、なぜ今解決できるのかという具体的な証拠を十分に持っているかどうかにある。

ジェフ・ディーンは、無条件に頑張り続けることを推奨していません。彼が推奨するのは、問題を理解し、継続的に検証し、一度の評価を世界の最終的な判断とみなさないこと입니다。

インタビューが終わりに近づいたとき、ダイアナは想像力豊かな質問をしました。

1999年にGoogleに加入した当時の若きジェフ・ディーンを2026年に送り込んだ場合、彼は最先端のラボに加わるのか、それとも友人2〜3人と起業するのか？

ジェフ・ディーンは標準的な答えを示さなかった。

大規模な組織は、構造、プラットフォーム、優れた同僚が揃っています。その中では、自分が知らない分野の知識に触れることができ、成熟した製品を通じて世界中のユーザーに影響を与えることができます。一方、小さなチームはより自由ですが、より大きなリスクを負います。起業家は、本当にある問題を信じ、数年間不確実性に耐える覚悟を持たなければなりません。

彼が示した判断基準は、「大手企業に就職するか起業するか」よりも本質的である。

もし私がこの問題を解決して、最良の結果が本当に起こったとして、世界は明らかに良くなるのか、それとも人々は「うーん、かっこいい」と言って終わりなのか？

答えが「かっこいい」だけなら、最も貴重な時間を費やす価値はないかもしれません。

彼は仲間の重要性も強調した。互いに能力が補完し合う人、自己を抑えて協力的で、一緒にいて楽しい人を探すべきだ。本当に難しい問題は、長期間にわたって一緒に働く必要がある。チームメンバーは、それぞれが他にはないツールを持ち、共同作業を通じて自身の「ツールベルト」をさらに広げるのが最良である。

この言葉には、古風なエンジニアの素朴さがある。

AI業界は指数的成長、超知能、巨額の資金調達について語ることが好きだが、ジェフ・ディーンは結局、三つの小さなことを選択の基準とした。本当に気になっている問題に取り組み、好きな人々と共に働き、世界をより良くしようと尽力することだ。

ジェフ・ディーンのキャリアには、繰り返し語られる多くの伝説がある。

彼とサンjay Ghemawatは数日で検索システムを再構築し、インデックスをメモリに読み込ませた。3分間の音声に関する推定が、GoogleがTPUを開発するきっかけとなった。MapReduceは、大規模並列処理と耐障害性を一つの抽象化に隠した。知識蒸留は、拒否された論文から業界の基盤技術へと発展した。

これらの物語は、彼を絶えずインスピレーションを得る天才だと想像させやすい。

しかし、このインタビューから見ると、彼の方法は実は非常に一貫している。

まず数量級を明確にし、真のボトルネックを特定する。次に、デフォルトの仮定を疑い、より単純な抽象化を構築する。最後に、測定とフィードバックを通じてシステムを継続的に改善する。

今日のAI業界は類似の転換点を迎えています。

モデルは十分に強力であり、ジュニアエンジニアレベルのタスクを担うことができる。次に、実際の生産性を決定するのは、モデルの知能だけでなく、推論コスト、コンテキストの整理、ツールの品質、検証速度、長期運用の信頼性である。

エージェントは次第にチームメンバーのように振る舞うようになるだろう。しかし、それらには明確な仕様、スキル、チェックポイント、評価者、そして失敗を受け入れられるシステムが必要である。

スタートアップの機会は消えなくなるが、より厳しくなる。汎用モデルがすでに20%を実現している分野ではなく、成功率がまだ0%または1%に近い問題を探すべきだ。そこには独自のデータ、専門的な評価器、狭領域モデル、または新たなシステム抽象が隠れている可能性がある。

コードの生成がますます安価になるにつれ、本当に高価になるのは問題そのものである。

何が価値があるか？何が古い制約か？何が境界線を越えた変化か？何が50倍速くなれば完全に異なる製品になるか？

ジェフ・ディーンは、6000人の起業家に機会のリストを提供しなかった。彼が提供したのは、より持続可能な思考の方法だった。

最も人気のある答えを急いで追いかけないでください。

まず問題を計算してください。

参照リンク

https://x.com/ycombinator/status/2082938685071491219

https://www.ycrootaccess.com/p/jeff-dean-the-1-rule-for-building

本文は微信公众号「機械の心」（ID：almosthuman2014）より、著者：Panda