OpenAI Mengembangkan Doug, Model Pra-Pelatihan Terbesar Hingga Kini

Pada 9 Ogos, pengguna X yang memantau perkembangan model OpenAI, ChrisGPT, mengungkap bahawa OpenAI sedang memajukan model pra-latihan besar baharu dengan kod nama Doug.

Menurut kenyataannya, Doug akan menjadi projek pra-pelatihan terbesar yang pernah dibuat oleh OpenAI, dan ia bukanlah model yang sama dengan GPT-6.

Dalam respons seterusnya, ChrisGPT menyatakan bahawa GPT-6 kemungkinan besar adalah model terkuat milik OpenAI, Astra, yang secara mendadak ditangguhkan pelancarannya semalam kerana isu keselamatan.

Mengenai Doug, beliau menganggarkan ia akan dilancarkan paling lewat sebelum November.

ChrisGPT bukan sumber pertama yang menyebut Doug secara awam.

Pada 7 Ogos, agensi penyelidikan semikonduktor dan AI, SemiAnalysis, mendedahkan satu memo penyelidikan yang sebelumnya dihantar kepada pelanggan institusi dalam sebuah artikel yang membincangkan Gemini dan Google Cloud. Memo ini bertarikh 9 Julai.

Alamat artikel: https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking

Satu ayat sangat penting: OpenAI telah mengatasi masalah pra-pelatihan, dan model yang jauh lebih besar dengan kod nama Doug sedang dijalankan dengan aktif.

Jika maklumat berkaitan adalah tepat, Doug mungkin bermaksud bahawa selepas hampir dua tahun terutamanya bergantung kepada post-training, pembelajaran penguatan, dan pengiraan masa inferens untuk mendorong pertumbuhan kemampuan, OpenAI sedang memulakan semula giliran besar model asas.

Cerita bermula dengan GPT-4o.

Pada 13 Mei 2024, OpenAI melancarkan GPT-4o dan menyebutnya sebagai model unggulan baharu.

Selepas itu, selama hampir dua tahun, OpenAI walaupun telah melatih dan memperkenalkan model pra-latihan baru seperti GPT-4.5, masih belum menyelesaikan satu siri pra-latihan berskala penuh yang boleh ditempatkan secara meluas sebagai frontier model utama generasi seterusnya.

Sementara itu, pertumbuhan kemampuan model OpenAI semakin banyak datang dari jalan lain.

Pada 12 September 2024, OpenAI melancarkan o1-preview.

Berbeza dengan pendekatan sebelumnya yang bergantung pada pra-pelatihan berskala besar untuk mendorong peningkatan kemampuan, o1 menunjukkan kaedah penskalaan lain: melalui pembelajaran penguatan berskala besar, model belajar untuk mengalokasikan lebih banyak pengiraan semasa inferens. Selepas itu, post-training, RL, dan pengiraan semasa inferens menjadi semakin penting dalam sistem model OpenAI.

Pada April 2025, o3 secara rasmi dilancarkan. OpenAI sekali lagi menekankan bahawa kemampuan penalaran siri o berasal daripada reinforcement learning berskala besar.

Pada Ogos 2025, GPT-5 dilancarkan. Ia bukan lagi sekadar model tunggal, tetapi satu arsitektur seragam yang terdiri daripada model pantas, model penarikan mendalam, dan sistem penghalaan.

SemiAnalysis berpendapat bahawa tidak ada lompatan generasi model asas yang setara dengan GPT-4o di belakang siri o1, o3, hingga GPT-5; model yang berkaitan sebenarnya masih dibina di atas sistem model asas era GPT-4o.

OpenAI tidak pernah mengesahkan latihan garis keturunan ini, tetapi jika maklumat SemiAnalysis betul, maka rancangan dua tahun terakhir menjadi sangat mudah difahami: dasar tidak mengalami lompatan generasi setara, dan peningkatan kemampuan terutamanya didorong oleh post-training dan RL yang semakin kuat.

Penskalaan model juga telah berkembang dari yang sebelumnya bergantung terutama pada pre-training, kepada tiga dimensi: pre-training, RL, dan inference-time compute.

Masalahnya ialah, jika model asas tidak mengalami penggantian setara dalam jangka masa panjang dan hanya bergantung pada latihan selepas dan pengiraan inferens untuk terus membesar, ia pasti akan menghadapi penurunan faedah sisi.

Namun, kemunculan Gemini 3 telah mengubah masalah laluan latihan yang berpotensi ini menjadi tekanan persaingan yang nyata.

Pada 18 November 2025, Google melancarkan Gemini 3.

Sepuluh hari kemudian, SemiAnalysis mengeluarkan satu penilaian yang memicu perbincangan luas dalam analisis TPUv7: sejak GPT-4o, OpenAI belum menyelesaikan satu sesi latihan penuh berjaya yang boleh ditempatkan secara meluas sebagai model hadapan baru.

Selepas Google melancarkan Gemini 3, perbezaan ini berubah daripada masalah lintasan latihan kepada tekanan persaingan terus.

Pada 1 Disember, pelbagai media melaporkan bahawa Sam Altman mengumumkan "Code Red" di dalam OpenAI, meminta pasukan untuk memberi keutamaan kepada peningkatan ChatGPT dan mengkonfigurasi semula sebahagian sumber.

Satu hari kemudian, maklumat latihan yang lebih penting muncul.

Pada 2 Disember 2025, The Information melaporkan bahawa OpenAI sedang membangunkan model pra-latihan baru dengan kod nama Garlic. Laporan itu mengutip sumber dalaman yang menyatakan bahawa Garlic menunjukkan prestasi yang baik dalam ujian pengkodean dan penalaran, serta menggunakan serangkaian pembaikan ralat yang ditemui oleh OpenAI semasa proses latihan sebelumnya.

Lebih penting lagi, ketua penyelidik OpenAI, Mark Chen, dikatakan memberitahu pasukan bahawa syarikat telah menyelesaikan beberapa isu utama dalam pre-training sebelum ini. Laporan itu juga menyatakan bahawa peningkatan latihan ini membolehkan model yang lebih kecil menampung pengetahuan yang sebelum ini memerlukan model yang lebih besar.

Dalam laporan yang sama, terdapat satu ayat yang kemudian menjadi sangat penting: OpenAI telah berasaskan pengalaman dari Garlic untuk memulakan pembangunan model «even bigger and better model».

Cerita Doug sebenarnya sudah bermula di sini.

Pada 6 Januari 2026, SemiAnalysis sekali lagi membincangkan jalan model OpenAI. Kali ini, mereka secara langsung menulis: OpenAI telah menyelesaikan masalah pra-pelatihan.

Dengan kata lain, berdasarkan maklumat yang dimiliki oleh SemiAnalysis, masalah yang sebelumnya mengganggu latihan pra-penuh OpenAI telah diselesaikan.

Garlic kemungkinan besar memainkan peranan dalam mengesahkan sama ada pembaikan-pembaikan ini berkesan, manakala Doug pula mungkin merupakan hasil sebenar kaedah-kaedah latihan ini yang diperbesarkan kepada skala yang lebih besar.

Jika mesej di atas tepat, OpenAI mungkin sedang meneruskan sekurang-kurangnya dua projek model penting secara berterusan: Astra yang telah memasuki peringkat penilaian lanjut, dan Doug yang dilaporkan lebih besar skalanya.

Sementara Doug menunjuk kepada perkara lain: mendorong semula scaling asas itu sendiri.

Dalam dua tahun terakhir, OpenAI telah membuktikan bahawa tapak lama masih boleh terus didorong ke atas melalui RL, penarikan kesimpulan, dan pengiraan masa inferens.

Doug perlu menjawab soalan lain: selepas asas itu sendiri mengalami lompatan besar sekali lagi, sistem pasca-pelatihan yang telah didorong hingga ke batasnya ini masih boleh membawa kemampuan ke mana lagi.

Ini mungkin permulaan sebenar persaingan model seterusnya OpenAI.

Pautan rujukan:

https://x.com/ChrisGPT/status/2086220662264250764

https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking

https://newsletter.semianalysis.com/p/rl-environments-and-rl-for-science

https://www.theinformation.com/newsletters/ai-agenda/openai-developing-garlic-model-counter-googles-recent-gains

Artikel ini berasal daripada akaun微信公众号 "Machine Heart" (ID: almosthuman2014), penulis: Machine Heart yang memperhatikan LLM