OpenAI розробляє Doug — найбільшу модель попереднього навчання на сьогодні

9 серпня користувач X ChrisGPT, який довгий час стежить за розвитком моделей OpenAI, розкрив, що OpenAI розробляє нову велику попередню навчальну модель під кодовою назвою Doug.

За його словами, Doug стане найбільшим на сьогоднішній день проектом попереднього навчання в OpenAI і не є тією ж моделлю, що й GPT-6.

У наступних відповідях ChrisGPT додав, що GPT-6, ймовірно, є самим потужним моделем OpenAI Astra, випуск якого був терміново призупинений вчора через проблеми безпеки.

Щодо Дага, він очікує, що запуск відбудеться не пізніше листопада.

ChrisGPT не є першим джерелом, яке публічно згадало Дага.

7 серпня дослідницька компанія з напівпровідників та галузі ШІ SemiAnalysis у статті, присвяченій Gemini та Google Cloud, оприлюднила дослідницьку memorandum, яку раніше було надіслано інституційним клієнтам. Дата цієї memorandum — 9 липня.

Адреса статті: https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking

Одне з ключових тверджень: OpenAI вже подолала проблеми з попереднім навчанням, і надзвичайно велика модель під кодовою назвою Doug активно розробляється.

Якщо відповідна інформація точна, Даг може мати на увазі, що після майже двох років, коли зростання потужності в основному залежало від пост-навчання, підсиленого навчання та обчислень під час висновку, OpenAI знову запускає масштабну заміну базових моделей.

Історія має починатися з GPT-4o.

13 травня 2024 року OpenAI випустила GPT-4o і назвала її новою флагманською моделлю.

Протягом майже двох років після цього OpenAI, хоча й навчала та випускала нові попередньо навчені моделі, такі як GPT-4.5, так і не завершила повномасштабне попереднє навчання, яке могло б бути широко впроваджене як наступна головна frontier модель.

Тим часом здатність моделей OpenAI починає все більше зростати завдяки іншому напрямку.

12 вересня 2024 року OpenAI випустила o1-preview.

На відміну від минулих підходів, що залежали від більших обсягів попереднього навчання для зростання здібностей, o1 демонструє інший підхід до масштабування: за допомогою масштабного підсиленого навчання модель навчається витрачати більше обчислювальних ресурсів для міркувань. Після цього пост-навчання, RL і обчислювальні ресурси під час висновку стають все більш важливими в системі моделей OpenAI.

У квітні 2025 року o3 було офіційно запущено. OpenAI знову підкреслила, що висока здатність до міркувань серії o походить з масштабного підсиленого навчання.

У серпні 2025 року було запущено GPT-5. Він більше не є просто однією моделлю, а є єдиною архітектурою, що об’єднує швидкі моделі, глибокі моделі міркувань та систему маршрутизації.

SemiAnalysis вважає, що за o1, o3 та серією GPT-5 не стоїть нове покоління базових моделей, подібне до GPT-4o; відповідні моделі насправді все ще базуються на базовій архітектурі часів GPT-4o.

OpenAI ніколи не підтверджувала цю навчальну спадковість, але якщо інформація SemiAnalysis вірна, то минулий майже два роки шлях стає дуже зрозумілим: базова модель не зазнала поколінного стрибка того ж рівня, а зростання здібностей в основному зумовлене все більш потужними пост-навчанням та RL.

Масштабування моделей також змістилося зі залежності від попереднього навчання до включення трьох вимірів: попереднього навчання, підсилення та обчислень під час висновку.

Проблема полягає в тому, що, якщо базова модель довгий час не зазнає заміни на рівні, що відповідає її поточному рівню, і продовжує масштабуватися лише за рахунок післятренування та обчислень при виведенні, рано чи пізно вона зіткнеться зі зменшенням граничної вигоди.

З появою Gemini 3 ця потенційна проблема з тренувальним шляхом швидко перетворилася на реальну конкуренційну тиснення.

18 листопада 2025 року Google випустила Gemini 3.

Через десять днів SemiAnalysis у своєму аналізі TPUv7 висунула твердження, що викликало широке обговорення: з часу GPT-4o OpenAI не провела жодного успішного повномасштабного попереднього навчання, яке б могло бути широко розгорнуто як нова frontier модель.

Після запуску Google Gemini 3 ця різниця перетворилася з проблеми навчальної траєкторії на пряме конкурентне тиснення.

1 грудня кілька ЗМІ повідомили, що Сем Олтман оголосив у всередині OpenAI «Code Red», вимагаючи пріоритету для покращення ChatGPT та переорієнтації частини ресурсів.

Через день з’явилися ще більш важливі дані про навчання.

2 грудня 2025 року The Information повідомив, що OpenAI розробляє нову попередньо навчану модель під кодовою назвою Garlic. За внутрішніми джерелами, Garlic показав хороші результати на тестах з програмування та міркування, використовуючи серію виправлень помилок, виявлених OpenAI під час попередніх процесів навчання.

Ще важливіше, згідно з повідомленнями, головний науковий офіцер OpenAI Марк Чен повідомив команді, що компанія вирішила деякі ключові проблеми, які існували раніше під час попереднього навчання. У доповіді також зазначається, що ці покращення навчання дозволяють меншим моделям містити знання, які раніше вимагали більших моделей.

У тій же статті було ще одне речення, яке пізніше виявилося надзвичайно важливим: OpenAI вже на основі досвіду, отриманого від Garlic, розпочала розробку «навіть більшого та кращого моделю».

Історія Дага насправді почалася саме тут.

6 січня 2026 року SemiAnalysis знову згадала про маршрут моделей OpenAI. На цей раз вони прямо написали: OpenAI вже вирішила проблеми попереднього навчання.

Тобто, згідно з інформацією, якою володіє SemiAnalysis, проблеми, що раніше заважали повномасштабному попередньому навчанню OpenAI, вже вирішені.

Garlic, ймовірно, відігравав роль перевірки ефективності цих виправлень, а Doug — це може бути результатом справжнього масштабування цих методів навчання на більшому масштабі.

Якщо наведене повідомлення точне, то OpenAI, ймовірно, одночасно розробляє щонайменше два важливих проекти моделей: Astra, яка вже перебуває на етапі просунутих оцінок, та Doug, розмір якого, за повідомленнями, ще більший.

А Дуг звертає увагу на інше: відновлення масштабування основи.

За останні два роки OpenAI довела, що старі базові моделі можна постійно покращувати за допомогою RL, міркувань та обчислень під час висновку.

Даг має відповісти на інше питання: після того як основа здійснить ще один значний стрибок, куди ще може бути піднята ця система післятренування, яка вже була розтягнута до межі.

Це, можливо, справжній початок наступної боротьби моделей OpenAI.

Посилання для довідки:

https://x.com/ChrisGPT/status/2086220662264250764

https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking

https://newsletter.semianalysis.com/p/rl-environments-and-rl-for-science

https://www.theinformation.com/newsletters/ai-agenda/openai-developing-garlic-model-counter-googles-recent-gains

Цей матеріал зі сторінки WeChat «Machine Heart» (ID: almosthuman2014), автор: Machine Heart, що стежить за LLM