OpenAI Mengembangkan Doug, Model Pra-Pelatihan Terbesar yang Pernah Dibuat

Pada 9 Agustus, pengguna X yang secara konsisten mengikuti perkembangan model OpenAI, ChrisGPT, mengungkapkan bahwa OpenAI sedang mempercepat pengembangan model pra-pelatihan besar berkode Doug.

Menurutnya, Doug akan menjadi proyek pelatihan awal terbesar yang pernah dilakukan OpenAI, dan itu bukan model yang sama dengan GPT-6.

Dalam respons berikutnya, ChrisGPT lebih lanjut menyatakan bahwa GPT-6 kemungkinan besar adalah model terkuat milik OpenAI, Astra, yang secara mendesak ditunda peluncurannya kemarin karena masalah keamanan.

Sedangkan Doug, ia memperkirakan peluncuran paling lambat akan terjadi sebelum November.

ChrisGPT bukan sumber pertama yang secara terbuka menyebut Doug.

Pada 7 Agustus, lembaga riset industri semikonduktor dan AI, SemiAnalysis, mempublikasikan sebuah memo riset yang sebelumnya dikirimkan kepada klien institusional dalam sebuah artikel yang membahas Gemini dan Google Cloud. Memo tersebut bertanggal 9 Juli.

Alamat artikel: https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking

Salah satu kalimat sangat penting: OpenAI telah mengatasi masalah pra-pelatihan, dan sebuah model berukuran jauh lebih besar dengan kode nama Doug sedang didorong secara aktif.

Jika informasi terkait akurat, Doug mungkin berarti bahwa setelah hampir dua tahun sebelumnya mengandalkan post-training, reinforcement learning, dan inference-time compute untuk mendorong peningkatan kemampuan, OpenAI sedang meluncurkan kembali generasi besar model dasar baru.

Cerita dimulai dari GPT-4o.

Pada 13 Mei 2024, OpenAI merilis GPT-4o dan menyebutnya sebagai model unggulan baru.

Selama hampir dua tahun setelah itu, OpenAI meskipun telah melatih dan merilis model pra-pelatihan baru seperti GPT-4.5, tetap belum menyelesaikan satu putaran pra-pelatihan skala penuh yang dapat secara luas diterapkan sebagai frontier model utama generasi berikutnya.

Sementara itu, peningkatan kemampuan model OpenAI semakin banyak berasal dari jalur lain.

Pada 12 September 2024, OpenAI merilis o1-preview.

Dibandingkan masa lalu yang mengandalkan pre-training berskala lebih besar untuk mendorong peningkatan kemampuan, o1 menunjukkan metode scaling lain: melalui reinforcement learning berskala besar, memungkinkan model belajar untuk mengalokasikan lebih banyak komputasi dalam proses inferensi. Sejak itu, post-training, RL, dan compute pada waktu inferensi menjadi semakin penting dalam sistem model OpenAI.

Pada April 2025, o3 secara resmi dirilis. OpenAI kembali menekankan bahwa kemampuan inferensi seri o berasal dari large-scale reinforcement learning.

Pada Agustus 2025, GPT-5 dirilis. Ia tidak lagi hanya satu model tunggal, melainkan arsitektur terpadu yang terdiri dari model cepat, model penalaran mendalam, dan sistem routing.

SemiAnalysis percaya bahwa di balik seri o1, o3, hingga GPT-5, tidak terjadi lompatan generasi model dasar baru yang setara dengan GPT-4o; model terkait sebenarnya masih didasarkan pada sistem model dasar era GPT-4o.

OpenAI belum pernah mengonfirmasi garis keturunan pelatihan ini, tetapi jika informasi dari SemiAnalysis benar, maka rute selama hampir dua tahun terakhir menjadi sangat jelas: dasar tidak mengalami lompatan generasi setara, dan peningkatan kemampuan terutama didorong oleh post-training dan RL yang semakin kuat.

Penskalaan model juga telah berkembang dari yang sebelumnya bergantung terutama pada pre-training, menjadi mencakup tiga dimensi: pre-training, RL, dan inference-time compute.

Masalahnya adalah bahwa jika model dasar tidak mengalami generasi baru setara dalam jangka panjang, dan hanya mengandalkan pelatihan lanjutan dan komputasi inferensi untuk terus scaling, pada akhirnya akan menghadapi penurunan manfaat marjinal.

Sedangkan kemunculan Gemini 3 segera mengubah masalah jalur pelatihan potensial ini menjadi tekanan kompetitif yang nyata.

18 November 2025, Google meluncurkan Gemini 3.

Sepuluh hari lagi, SemiAnalysis dalam analisis TPUv7 mengemukakan sebuah pernyataan yang memicu diskusi luas: sejak GPT-4o, OpenAI belum menyelesaikan satu putaran pelatihan penuh yang berhasil dan dapat diimplementasikan secara luas sebagai model frontier baru.

Setelah Google meluncurkan Gemini 3, perbedaan ini berubah dari masalah jalur pelatihan menjadi tekanan kompetisi langsung.

Pada 1 Desember, beberapa media melaporkan bahwa Sam Altman mengumumkan "Code Red" di dalam OpenAI, meminta tim untuk memprioritaskan peningkatan ChatGPT dan mengalihkan sebagian sumber daya.

Satu hari kemudian, informasi pelatihan yang lebih penting muncul ke permukaan.

Pada 2 Desember 2025, The Information melaporkan bahwa OpenAI sedang mengembangkan model pra-pelatihan baru dengan kode nama Garlic. Laporan tersebut mengutip sumber internal yang menyatakan bahwa Garlic menunjukkan kinerja baik dalam evaluasi coding dan reasoning, serta memanfaatkan serangkaian bug fixes yang ditemukan OpenAI selama proses pelatihan sebelumnya.

Yang lebih penting lagi, Chief Research Officer OpenAI, Mark Chen, dikabarkan menyampaikan kepada tim bahwa perusahaan telah menyelesaikan beberapa masalah kunci dalam pre-training sebelumnya. Laporan tersebut juga menyebutkan bahwa perbaikan pelatihan ini memungkinkan model yang lebih kecil untuk menampung pengetahuan yang sebelumnya hanya bisa diperoleh dengan model yang lebih besar.

Dalam laporan yang sama, ada satu kalimat yang kemudian menjadi sangat penting: OpenAI telah berdasarkan pengalaman dari Garlic, mulai mengembangkan sebuah model "even bigger and better model".

Cerita Doug sebenarnya sudah dimulai dari sini.

6 Januari 2026, SemiAnalysis kembali membahas rute model OpenAI. Kali ini, mereka secara langsung menulis: OpenAI telah menyelesaikan masalah pra-pelatihan.

Artinya, menurut informasi yang dimiliki SemiAnalysis, masalah yang sebelumnya menghambat pelatihan pra-penuh OpenAI telah teratasi.

Garlic kemungkinan memainkan peran dalam memverifikasi apakah perbaikan ini efektif, sementara Doug kemungkinan adalah hasil dari metode pelatihan ini yang benar-benar diperbesar ke skala yang lebih besar.

Jika pesan di atas akurat, maka OpenAI kemungkinan sedang secara berkelanjutan mendorong setidaknya dua proyek model penting: Astra yang telah memasuki tahap evaluasi lanjutan, dan Doug yang diklaim memiliki skala lebih besar.

Sementara Doug menunjuk pada hal lain: mendorong kembali scaling dari dasar itu sendiri.

Dua tahun terakhir, OpenAI telah membuktikan bahwa fondasi lama masih dapat terus didorong ke atas melalui RL, reasoning, dan inference-time compute.

Doug harus menjawab pertanyaan lain: setelah dasar itu sendiri mengalami lompatan besar berikutnya, sistem pelatihan lanjutan yang sudah didorong hingga batasnya ini masih bisa membawa kemampuan ke mana lagi.

Ini mungkin baru titik awal sebenarnya dari persaingan model berikutnya dari OpenAI.

Tautan referensi:

https://x.com/ChrisGPT/status/2086220662264250764

https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking

https://newsletter.semianalysis.com/p/rl-environments-and-rl-for-science

https://www.theinformation.com/newsletters/ai-agenda/openai-developing-garlic-model-counter-googles-recent-gains

Artikel ini berasal dari akun WeChat "Machine Heart" (ID: almosthuman2014), penulis: Machine Heart yang fokus pada LLM