[Вступ] Швидкість міркувань GPT-5.6 досягає 750 токенів/секунду! Професіонали розкривають деталі: він буде працювати на 100 вусів. Штучний інтелект перетворюється з міркувань на миттєві відповіді — чи настав справді час реального інтелекту?
За даними різних джерел, GPT-5.6 скоро буде відкритий для всіх.
Останнім часом різні припущення щодо цієї моделі стали віральними на X.
26 червня OpenAI офіційно оголосила про нове покоління сімейства GPT-5.6.
Також у офіційному блозі зазначено: OpenAI планує запустити цього місяця нову передову модель — GPT-5.6 Sol — на спеціалізованому обладнанні від гіганта чіпів Cerebras, швидкість виведення досягає жахливої цифри в 750 токенів за секунду!
Тобто складні операції з агентом, які раніше вимагали кількох хвилин очікування, зараз можна виконати миттєво.
Звичайно, OpenAI вже зробила революційний крок у сфері спільного проектування апаратного забезпечення та моделей.
Додайте до цього недавнє офіційне розкриття першого у світі власного AI-інференсного чіпу Jalapeño, і ми можемо відчути, що OpenAI має амбіції стати повноцінною AI-імперією.
Всі світові стилі боротьби підкоряються швидкості: зниження розмірності зі швидкістю 750 токенів/с
Що означає «750 токенів за секунду»?
Для людини це еквівалентно прочитанню та виведенню приблизно 500–600 китайських ієрогліфів за одну секунду.
Цей текст, який ви бачите перед собою, GPT-5.6 Sol зможе згенерувати за менше ніж частку секунди.
У X відомий розробник Кейлеб Шепард з ентузіазмом заявив: «Це найбільш захоплююча річ для мене — GPT-5.6 Sol працює на Cerebras. Це не тільки через швидше написання коду, а й через якісний стрибок у швидкості використання комп’ютера. Нам більше не потрібно чекати дві хвилини, поки ШІ натисне кнопку».
Протягом тривалого часу, хоча великі моделі ставали все розумнішими, «затримка виведення» залишалася найбільшим обмеженням для реалізації в реальному часі багатокрокових завдань агентів.
Коли модель стає настільки великою, що має трильйони параметрів, традиційні кластери GPU часто стикаються з фізичними обмеженнями у комунікації між вузлами (NVLink).
А відповідь OpenAI полягає в тому: не намагайтеся адаптувати модель до апаратного забезпечення, а зробіть апаратне забезпечення і модель єдиним цілим.
Згідно з попередньою інформацією, оприлюдненою офіційно, GPT-5.6 Sol буде доступний у липні у дуже обмеженому обсязі для певних клієнтів, і поступово розгортається зі зростанням виробничих потужностей.
Як і припускали в інтернеті, це абсолютно надзвичайно витратна послуга, створена для привілеїв топових компаній, які готові платити за швидкість.
Як вмістити монстра з 3 трильйонами параметрів у чіп?
Коли з’явилася інформація про 750 токенів/с, Петер Гостєв, керівник LLM Arena, поставив питання, яке викликало запитання у всіх:
Що саме відбувається з GPT-5.6 Sol на Cerebras? Наскільки я розумію, це повна версія тієї самої моделі (з мультимодальними можливостями, включаючи візуальні), а не зменшена версія, як раніше GPT-5.3-Codex-Spark, у якої відсутні візуальні та контекстні функції.
Але моє розуміння полягає в тому, що один чіп Cerebras може вмістити лише модель з 700–900 мільярдів параметрів. Отже, модель стала меншою? Чи існує новий тип чіпа, про який я не знаю? Чи, можливо, якась нова технологія спільної роботи кількох чіпів?
Це питання одразу викликало багато обговорень серед користувачів інтернету.
Хтось жартома сказав, що всі це роблять як «фаховий аудит чіпів у північну годину», і додав: «Якщо це справді той самий повний модуль, то це наче хтось втиснув супер-яхту всередину скляної пляшки, не пояснивши, як це зробив».
Швидко відомий технічний експерт Бліз Гудсон надав дуже переконливий технічний аналіз—
GPT-5.6 Sol — це не вставлена одна чіп, а охоплює від 70 до 100 кристалів Cerebras рівня відштамповки!
Екстремальна естетика розгортання: «один вусін — один мережевий рівень»
За оцінками експертів галузі, специфікації GPT-5.6 Sol надзвичайно великі:
- Загальна кількість параметрів: приблизно 3 трильйони
- Параметри активації: приблизно 150 мільярдів
- Кількість мережевих рівнів: приблизно 70–90 рівнів
Щоб забезпечити здорові характеристики сервісу висновування, OpenAI та Cerebras використали надзвичайно розкішний та захопливий підхід до розгортання — кожен шар нейромережі окремо розгорнуто на цілій виробничій витрійці Cerebras.
Як відзначив один із користувачів, шляхом додавання етапів конвеєра, теоретично можна масштабувати модель до будь-якого розміру, якщо у вас достатньо валив, щоб їх з’єднати; це не впливає на швидкість генерації токенів і може лише трохи вплинути на час першого токена (TTFT).
Архітектурна реконструкція «з відрізанням руки» — легкі KV Cache, виниклі з необхідності
Однак одного лише величезного обсягу ватів недостатньо. Однією з ключових особливостей архітектури чіпа Cerebras є наявність величезної кількості SRAM на кристалі (статична оперативна пам’ять з випадковим доступом), яка дуже швидка, але її обсяг надзвичайно цінний.
Якби OpenAI, як і раніше, використовувала традиційні важкі KV-кеші в GPT-5.6, ці дорогі полоси SRAM були б миттєво вичерпані.
Це веде до найважливішої стратегічної зміни цієї співпраці: перебудова моделей навколо певного обладнання.
Бліз Гудсон зазначив, що, оскільки OpenAI глибоко включена у спільний дизайн апаратного забезпечення, вони, найімовірніше, відмовилися від традиційних схем кешування уваги на користь більш передових легковагових рішень.
Найбільш імовірні варіанти включають:
Архітектура, подібна до DeepSeekV4: надзвичайно оптимізований використання кешу.
Гібридна архітектура SSM: поєднання моделей з лінійною часовою складністю, таких як Mamba, з Transformer, щоб повністю позбутися навантаження KV Cache.
Крім того, відомий розробник Джон Лем запропонував захопливу гіпотезу про роз'єднання уваги та FFN.
Він припустив, що OpenAI, можливо, використовує традиційні GPU для обробки обчислень уваги, а також масштабні вейфери Cerebras для грубої підтримки обчислень у частині прямого зв’язку нейронної мережі.
Це не просто чутки. Користувачі мережі швидко виявили деталі розгортання Kimi K2.6, про які Cerebras писав у блозі:
Cerebras зберігає початкові ваги Kimi K2.6 у системі CS-3 у 4-бітному форматі, одночасно виконуючи обчислення з використанням 16-бітних чисел з плаваючою комою для забезпечення точності. Ваги розподілені між кількома вілами, а активовані значення потоково передаються між вілами. Повна взаємопов’язаність між шарами повністю здійснюється за допомогою мережевої структури на вілі, що забезпечує пропускну здатність понад 200 разів вищу, ніж NVLink на Nvidia NVL72! У поєднанні зі спеціально розробленими операторами та спекулятивним декодуванням, вони можуть запускати MoE-моделі з трильйонами параметрів зі швидкістю, близькою до 1000 токенів/с.
Офіційні специфікації показують, що революційна система CS-3 не лише невибаглива за швидкістю, але й дозволяє легко масштабувати моделі до 24 трильйонів параметрів на одному логічному пристрої!
Як хтось здивовано зауважив: «Якщо це справді повна версія Sol, що працює на Cerebras, то сьогодні вночі було прямо пробито всі попередні межі розміру моделей».
Справжня козирна карта — OpenAI презентує власний чіп «Jalapeño»
І ще раніше OpenAI офіційно запустила свій перший власний чіп — Jalapeño.
Вихід цього чіпа прямо пояснює глибоку логіку співпраці OpenAI з Cerebras: шляхом дослідження найкращих сторонніх апаратних рішень для висновків, OpenAI повністю зрозуміла ключові аспекти та цінність спеціалізованих архітектур для висновків і перетворила їх на власну підконтрольну базову платформу.
Халапеньо — один із найменш гострих сортів мексиканського перцю. OpenAI назвав ним, очевидно, щоб підкреслити: це лише закуска.
Цей чіп є спеціалізованим ASIC, розробленим для висновків великих моделей. Від першої проведеної лінії кожен транзистор оптимізовано лише для однієї мети: запуск великих моделей.
Неочікувано, Jalapeño не лише працює на моделях від OpenAI, але й його архітектура сумісна з LLM у всій галузі, що свідчить про величезну платформенну амбіцію.
Крім того, дизайн і виробництво цього чіпу зайняли лише 9 місяців.
За цим стоїть надзвичайно потужний індустріальний альянс:
Архітектура керується: OpenAI безпосередньо розробила базову архітектуру.
Реалізація чіпів та взаємопідключення: лідер у сфері чіпів Broadcom надає потужні можливості реалізації та технічну підтримку мережевого взаємопідключення.
Системна інтеграція: Celestica відповідає за остаточне виробництво плат та фізичну інтеграцію на рівні стелажу.
З'їсти весь ланцюжок поставок: амбіції OpenAI створити повноцінну імперію
Модель навчається самостійно, чіпи проектуються власноруч, висновки оптимізуються самостійно, розгортання контролюється власноруч.
Звичайно, метою OpenAI є величезна повноцінна імперія ШІ.
Але амбіції OpenAI ще божевільніші, ніж у Apple та Google: вони мають безпрецедентний супер-цикл — використовують ШІ для прискорення розробки інфраструктури ШІ, а потім використовують створену, потужнішу інфраструктуру для запуску ще потужніших ШІ.
Згідно з розробленим OpenAI величезним планом, перші суперцентри даних потужністю GW будуть розгорнуті починаючи з кінця 2026 року разом із ключовими партнерами, такими як Microsoft.
Повна споживана потужність середнього міста буде використана для живлення серверних стелажів з інференс-процесорами Jalapeño та наступного покоління чіпів для перцю.
Готуйтесь, скоро ми зустрінемо GPT-5.6, що розганяється на вейфлі Cerebras зі швидкістю 750 токенів/с, подолавши фізичні обмеження параметрів та швидкості виведення.
Джерело: https://x.com/bleysg/status/2073937651150029084
Цей матеріал зі сторінки WeChat «New智元», автор: АСІ Апокаліпсис; редагування: Енеас