[Введение] Скорость рассуждений GPT-5.6 достигает целых 750 токенов в секунду! Эксперт раскрыл детали: он будет работать на 100 ватерках. Искусственный интеллект перешел от мышления к мгновенному проявлению — наступила эра реального интеллекта?
Согласно сообщениям различных источников, GPT-5.6 вскоре будет открыт для всех.
В последнее время различные предположения об этой модели стали вирусными на X.
26 июня OpenAI официально объявила о новом поколении семейства GPT-5.6.
Кроме того, в официальном блоге говорится: OpenAI планирует запустить новую передовую модель — GPT-5.6 Sol — на настраиваемом оборудовании лидера в области чипов Cerebras в этом месяце, скорость вывода достигает пугающих 750 токенов в секунду!
То есть сложные операции с агентом, которые раньше требовали нескольких минут ожидания, теперь можно выполнить мгновенно.
Очевидно, OpenAI сделала революционный шаг в области совместного проектирования аппаратного обеспечения и моделей.
Кроме того, с недавним официальным анонсом первой в истории собственной ИИ-чипы для вывода Jalapeño мы можем почувствовать, что OpenAI стремится стать полным стеком ИИ-империи.
Все боевые искусства побеждаются скоростью: снижение размерности с 750 токенов/с
Что означает «750 токенов в секунду»?
Для человека это эквивалентно чтению и выводу примерно 500–600 китайских иероглифов за одну секунду.
Этот текст, который вы видите перед собой, GPT-5.6 Sol может сгенерировать менее чем за долю секунды.
На X известный разработчик Кэлеб Шеперд с энтузиазмом заявил: «Это то, что меня больше всего вдохновляет — GPT-5.6 работает на Cerebras. Это не только потому, что скорость написания кода увеличилась, но и потому, что скорость работы компьютеров претерпела качественные изменения. Нам больше не придется ждать две минуты, пока ИИ нажмет кнопку».
Долгое время, несмотря на то, что крупные модели становятся все более умными, «задержка при выводе» оставалась главным препятствием для внедрения в реальном времени многошаговых задач агентов.
Когда модели становятся настолько большими, что содержат триллионы параметров, традиционные кластеры GPU часто сталкиваются с физическими ограничениями при коммуникации между узлами (через NVLink).
А ответ OpenAI: не заставляйте модель адаптироваться к аппаратному обеспечению, а сделайте аппаратное обеспечение и модель единым целым.
Согласно предварительной информации, опубликованной официально, GPT-5.6 Sol будет доступен в июле в крайне ограниченном объеме для определенных клиентов, с постепенным расширением по мере увеличения производственных мощностей.
Как и предполагали в интернете, это абсолютно дорогостоящая услуга, созданная специально для топовых компаний, готовых платить за скорость.
Как впихнуть монстра с 3 триллионами параметров в чип?
Когда было опубликовано сообщение о 750 токенах/с, Питер Гостев, руководитель LLM Arena, задал вопрос, который вызвал недоумение у всех:
Что вообще происходит с GPT-5.6 Sol на Cerebras? На мой взгляд, это, похоже, полная версия той же модели (с мультимодальными возможностями, включая визуальные), а не урезанная версия, как раньше GPT-5.3-Codex-Spark, лишенная визуальных и контекстных функций.
Но я понимаю, что один чип Cerebras может вместить модель максимум с 700–900 миллиардами параметров. Значит, модель стала меньше? Или появился новый тип чипа, о котором я не знаю? Или какая-то новая технология совместной работы нескольких чипов?
Этот вопрос немедленно вызвал множество обсуждений среди пользователей сети.
Некоторые шутят, что все они проводят «фармацевтический аудит чипов в полночь», и отмечают: «Если это действительно одна и та же полная модель, то это как будто кто-то втиснул суперяхту в стеклянную бутылку и не сказал, как это сделал».
Вскоре опытный технический эксперт Блейз Гудсон представил убедительный детальный анализ —
GPT-5.6 Sol — это не одна вставленная микросхема, а целых 70–100 кристаллов Cerebras!
Эстетика максимального развертывания: «один чип — одна сеть»
Эксперты отрасли оценивают, что спецификации GPT-5.6 Sol чрезвычайно масштабны:
- Общее количество параметров: около 3 триллионов
- Параметры активации: около 150 миллиардов
- Количество сетевых уровней: примерно 70–90 уровней
Для обеспечения здоровых характеристик сервиса вывода OpenAI и Cerebras использовали чрезвычайно роскошный и впечатляющий подход к развертыванию — каждому слою нейронной сети была выделена отдельная кремниевая пластина Cerebras.
Как отметил один из пользователей, увеличивая количество этапов конвейера, вы теоретически можете масштабировать модель до любого размера, при условии, что у вас достаточно вайфлей для их соединения; это не повлияет на скорость генерации токенов, а может слегка повлиять только на время первого токена (TTFT).
Архитектурная реконструкция, как отсечение руки для спасения жизни — вынужденная оптимизация легковесного KV Cache
Однако одного лишь огромного количества вайфлей недостаточно. Одной из ключевых особенностей архитектуры чипа Cerebras является наличие огромного объема встроенного SRAM (статической оперативной памяти с произвольным доступом), которая чрезвычайно быстра, но ее объем крайне ограничен.
Если бы OpenAI, как и раньше, использовала традиционные тяжелые KV-кэши в GPT-5.6 Sol, эти дорогие полосы пропускной способности SRAM были бы мгновенно исчерпаны.
Это приводит к ключевому стратегическому сдвигу в этом партнерстве: перестройка моделей вокруг конкретного оборудования.
Блейз Гудсон отметил, что, учитывая глубокое участие OpenAI в совместном проектировании аппаратного обеспечения, они, скорее всего, отказались от традиционных схем кэширования внимания в пользу более передовых легковесных решений.
Наиболее вероятные варианты включают:
Архитектура, подобная DeepSeekV4: крайне оптимизированное использование кэша.
Смешанная архитектура SSM: сочетание моделей с линейной временной сложностью, таких как Mamba, с Transformer для полного отказа от исторической нагрузки KV Cache.
Кроме того, известный разработчик Джон Лам выдвинул удивительную гипотезу о декуплинге внимания и FFN.
Он предположил, что OpenAI, возможно, использует традиционные GPU для обработки вычислений внимания, а также огромное количество кристаллов Cerebras для мощного ускорения вычислений в части прямых нейронных сетей.
Это не просто слухи. Пользователи сети быстро выяснили детали развертывания Kimi K2.6, о которых Cerebras ранее писал в своем блоге:
Cerebras хранит исходные веса Kimi K2.6 на системе CS-3 в формате 4 бит, одновременно выполняя вычисления с использованием 16-битных чисел с плавающей запятой для обеспечения точности. Веса распределены по нескольким вайферам, а активации передаются потоком между вайферами. Полносвязная коммуникация между слоями полностью реализована с помощью сетевой структуры на вайфере, чья пропускная способность превышает в 200 раз NVLink на Nvidia NVL72! В сочетании с пользовательскими операторами и спекулятивным декодированием они могут запускать MoE-модели с триллионами параметров со скоростью, приближающейся к 1000 токенов/с.
Согласно официальным спецификациям, революционная система CS-3 не только обладает беспрецедентной скоростью, но и позволяет легко масштабироваться до моделей с 24 триллионами параметров на одном логическом устройстве!
Как кто-то воскликнул: «Если это действительно полная версия Sol, работающая на Cerebras, то сегодня ночью была прямо прорвана вся ранее установленная потолочная граница размера модели».
Настоящая козырная карта — OpenAI представляет собственный чип «Jalapeño»
И ранее OpenAI официально выпустила свой первый собственный чип — Jalapeño.
Выход этого чипа напрямую объясняет глубокую логику сотрудничества OpenAI и Cerebras: путем исследования передовых сторонних аппаратных решений для вывода OpenAI полностью изучила ключевые аспекты и ценность специализированных архитектур для вывода и превратила их в собственную контролируемую базовую платформу.
Халапеньо — один из самых мягких сортов мексиканского перца. То, что OpenAI назвала его так, явно указывает: это всего лишь закуска.
Этот чип — это специализированный ASIC, разработанный специально для инференса больших моделей. С момента проведения первой линии каждый его транзистор был оптимизирован для одной задачи: запуска больших моделей.
Неожиданно, что Jalapeño не только запускает модели OpenAI, но и его архитектура совместима с LLM всего отрасли, что демонстрирует огромные платформенные амбиции.
Кроме того, дизайн и производство этого чипа заняли всего 9 месяцев.
За этим стоит чрезвычайно мощный промышленный альянс:
Архитектура: OpenAI непосредственно разработала базовую архитектуру.
Реализация и взаимосвязь чипов: лидер в области чипов Broadcom предоставляет мощные возможности реализации и техническую поддержку сетевого взаимодействия.
System integration: Celestica is responsible for final board manufacturing and rack-level physical integration.
Поглотить всю цепочку создания стоимости: амбиции OpenAI по созданию полностековой империи
Модель обучается самостоятельно, чипы проектируются самостоятельно, вывод оптимизируется самостоятельно, развертывание контролируется самостоятельно.
Очевидно, цель OpenAI — огромная полномасштабная ИИ-империя.
Но амбиции OpenAI безумнее, чем у Apple и Google: у них есть беспрецедентный супер-цикл — использование ИИ для ускорения создания инфраструктуры ИИ, а затем использование созданной более мощной инфраструктуры для запуска еще более мощных ИИ.
Согласно амбициозному плану, опубликованному OpenAI, первые суперцентры обработки данных мощностью в гигаватты начнут развертываться совместно с ключевыми партнерами, такими как Microsoft, с конца 2026 года.
Все электроэнергия среднего города будет использована для питания серверных стойок с процессорами Jalapeño и следующего поколения辣椒.
Готовьтесь, скоро мы увидим, как GPT-5.6 на кристалле Cerebras разгоняется до 750 токенов/с, преодолевая физические ограничения параметров и скорости вывода.
Справочные материалы: https://x.com/bleysg/status/2073937651150029084
Эта статья взята из официального аккаунта WeChat «Новознание», автор: АСИ, Откровение; редактор: Энеас