8月9日、OpenAIモデルの動向を長年注目しているXユーザーのChrisGPTが、OpenAIが「Doug」というコードネームの次世代大規模プリトレーニングモデルを推進していると暴露した。
彼の説明によると、DougはOpenAI史上最大規模の事前学習プロジェクトであり、GPT-6とは異なるモデルである。
その後の返信で、ChrisGPTは、GPT-6が、昨日OpenAIがセキュリティ問題を理由に緊急で発売を延期した自社最強モデルAstraである可能性が高いと述べた。
ダグについては、11月までにリリースされる可能性があると予想されています。
ChrisGPTは、Dougの情報を最初に公にしたソースではない。
8月7日、半導体およびAI業界の研究機関SemiAnalysisは、GeminiとGoogle Cloudについての記事の中で、かつて機関クライアントに送信された研究メモを公開した。このメモの日付は7月9日である。
記事のURL：https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking
非常に重要な点として、OpenAIは事前学習の課題を克服しており、ダグというコードネームの、はるかに大規模なモデルが着実に推進されています。
関連する情報が正確であれば、Dougは、過去2年近くにわたりpost-training、強化学習、および推論時のコンピューティングに主に依存して能力を拡大してきた後、OpenAIが大規模な基礎モデルの世代交代を再開しようとしていることを示唆している可能性がある。
物語はGPT-4oから始まる。
OpenAIは、より多くの成長をRLに委ねました
2024年5月13日、OpenAIはGPT-4oをリリースし、これを新しいフラグシップモデルと称した。
その後、ほぼ2年間、OpenAIはGPT-4.5などの新しい事前学習モデルを訓練しリリースしたが、次世代の主力フロンティアモデルとして広く展開できる規模の完全な事前学習を完了しなかった。
一方で、OpenAIのモデル能力の向上は、別のルートからますます多くなるようになっている。
2024年9月12日、OpenAIがo1-previewをリリースしました。
過去はより大規模な事前学習によって能力を向上させていたのに対し、o1は、大規模な強化学習を通じてモデルが推論により多くの計算を投入する方法を学ぶという別のスケーリング手法を示した。その後、ポストトレーニング、強化学習、推論時の計算はOpenAIのモデル体系においてますます重要になっている。
2025年4月、o3が正式にリリースされました。OpenAIは再び、oシリーズの推論能力が大規模な強化学習から得られると強調しました。
2025年8月、GPT-5がリリースされた。これは単一のモデルではなく、高速モデル、深層推論モデル、ルーティングシステムからなる統合アーキテクチャとなった。
SemiAnalysisは、o1、o3、そしてGPT-5シリーズの背後には、GPT-4oと同等の新たなベースモデル世代の飛躍はなく、関連モデルは実際にはGPT-4o時代のベースモデル体系の上に構築されていると見なしている。
OpenAIはこのトレーニングの系譜を確認したことはないが、SemiAnalysisの情報が正しいとすれば、過去2年近くの路線はよく理解できる：ベースモデルには同等の世代的飛躍はなく、能力の向上はますます強化されたポストトレーニングとRLによって主に推進されてきた。
モデルのスケーリングは、過去主にプリトレーニングに依存していたものが、プリトレーニング、RL、および推論時の計算の3つの次元に徐々に拡大しています。
問題は、基礎モデルが長期にわたり同等の世代交代を起こさず、後学習と推論計算のみでスケーリングを継続すると、やがて限界収益の低下に直面するということです。
一方で、Gemini 3の登場により、この潜在的なトレーニング路線の問題は即座に現実の競争圧力へと変化した。
Garlic：プリトレーニングが再開しました
2025年11月18日、GoogleがGemini 3をリリースしました。
10日後、SemiAnalysisはTPUv7の分析で、GPT-4o以来、OpenAIが広く新フロンティアモデルとして展開できる成功したフルスケールの事前学習を実施していないという議論を呼ぶ判断を提示した。
GoogleがGemini 3をリリースした後、この差は訓練ルートの問題から直接的な競争圧力へと変化した。
12月1日、複数のメディアが報じたところによると、Sam AltmanはOpenAI内部で「Code Red」を発令し、チームにChatGPTの強化を優先し、一部のリソースを再配置するよう指示した。
一日後、より重要なトレーニング情報が明らかになった。
2025年12月2日、『The Information』は、OpenAIが「Garlic」というコードネームの新規事前学習モデルを開発中であると報じた。同報道は内部情報として、Garlicがコーディングおよび推論の評価で良好なパフォーマンスを示し、OpenAIが過去の学習プロセスで発見した一連のバグ修正を活用していると伝えている。
さらに重要なのは、OpenAIのチーフリサーチオフィサーであるマーク・チェンが、チームに対して、同社が以前のプリトレーニングにおけるいくつかの重要な課題を解決したと伝えたことである。この報道では、これらのトレーニングの改善により、より小さなモデルに過去はより大きなモデルでなければ格納できなかった知識を含められるようになるとされている。
同じ記事には、後に特に重要であることが判明した一文があった：OpenAIは、Garlicから得た教訓を基に、「さらに巨大で優れたモデル」の開発を開始した。
ドッグの物語は、実はここから始まっている。
2026年1月6日、SemiAnalysisは再びOpenAIのモデルロードマップについて言及した。今回は、直接「OpenAIは事前学習の課題を解決した」と記している。
つまり、SemiAnalysisが掌握している情報によると、OpenAIは以前の全規模プリトレーニングの課題を解決したということである。
Garlic は、これらの修正が有効であるかどうかを検証する役割を担った可能性があり、Doug は、これらのトレーニング手法がより大規模に拡張された結果である可能性がある。
OpenAIはベースのスケーリングを再開準備している可能性があります
上記のメッセージが正確であれば、OpenAIは、高度な評価段階に進んでいるAstraと、より大規模であるとされるDougという、少なくとも2つの重要なモデルプロジェクトを継続的に推進している可能性がある。
一方、Dougは別の課題、つまりベース層自体のスケーリングの再推進を指し示しています。
過去2年間、OpenAIは、従来のベースをRL、推論、および推論時の計算によって継続的に引き上げられることを実証してきた。
ダグが答えるのは別の質問だ：ベース自体が再び大幅な飛躍を遂げた後、すでに限界まで押し上げられたこの後学習システムは、さらに能力をどこまで引き上げられるのか。
これがおそらくOpenAIの次世代モデル競争の本当の始まりである。
参照リンク：
https://x.com/ChrisGPT/status/2086220662264250764
https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking
https://newsletter.semianalysis.com/p/rl-environments-and-rl-for-science
https://www.theinformation.com/newsletters/ai-agenda/openai-developing-garlic-model-counter-googles-recent-gains
本文は微信公衆アカウント「機械の心」（ID：almosthuman2014）より、LLMに注目する機械の心が執筆しました。