【Introducción】 ¡La velocidad de razonamiento de GPT-5.6 alcanza hasta 750 tokens/segundo! Un experto revela el secreto: funcionará en 100 obleas. ¿La era de la inteligencia en tiempo real ha llegado, donde la IA pasa de pensar a brillar?
Según filtraciones de diversas fuentes, GPT-5.6 estará disponible para todos muy pronto.
Recientemente, varias especulaciones sobre este modelo se han vuelto virales en X.
El 26 de junio, OpenAI anunció oficialmente la nueva generación de la familia GPT-5.6.
Y en el blog oficial se menciona: OpenAI planea lanzar este mes el nuevo modelo de vanguardia, GPT-5.6 Sol, en el hardware personalizado de la empresa líder en chips, Cerebras, con una velocidad de inferencia de hasta 750 tokens por segundo, ¡una cifra aterradora!
Es decir, las operaciones complejas de Agent que antes requerían esperar minutos ahora se pueden completar en un instante.
Claramente, OpenAI ya ha dado un paso revolucionario en el diseño conjunto de hardware y modelos.
Además, tras la reciente revelación del primer chip de inferencia de IA desarrollado internamente de OpenAI, Jalapeño, podemos percibir que OpenAI tiene la ambición de convertirse en un imperio de IA full-stack.
La velocidad lo vence todo: una reducción de dimensionalidad de 750 tokens/s
¿Qué significa "750 tokens por segundo"?
Para los humanos, esto equivale a leer y outputar aproximadamente 500 a 600 caracteres chinos en un segundo.
El texto que tienes frente a ti, GPT-5.6 Sol solo necesita menos de una fracción de segundo para generar.
En X, el reconocido desarrollador Caleb Shepherd expresó entusiasmado: «Esto es lo que más me emociona: GPT-5.6 Sol funcionando en Cerebras. No solo porque la velocidad para escribir código ha aumentado, sino porque la velocidad de uso de la computadora ha experimentado un cambio cualitativo. Ya no tenemos que esperar dos minutos mientras esperamos que la IA haga clic en un botón».
Durante mucho tiempo, aunque los modelos grandes se han vuelto cada vez más inteligentes, la «latencia de inferencia» ha sido el mayor cuello de botella para implementar tareas de agentes multietapa en tiempo real.
Cuando los modelos son tan grandes que tienen trillones de parámetros, los clústeres tradicionales de GPU suelen encontrarse con cuellos de botella físicos en la comunicación entre nodos (interconexión NVLink).
La respuesta de OpenAI es: no hagas que el modelo se adapte al hardware, haz que el hardware y el modelo se integren como uno.
Según la información preliminar divulgada oficialmente, GPT-5.6 Sol se abrirá a clientes específicos en julio con una escala extremadamente limitada, y se expandirá gradualmente a medida que aumente la capacidad de producción.
Como se especulaba en línea, este es sin duda un servicio extremadamente costoso, diseñado exclusivamente para empresas de élite dispuestas a pagar por velocidad.
¿Cómo caben 3 billones de parámetros en un chip?
Cuando se emitió el mensaje de 750 tokens/s, Peter Gostev, responsable de LLM Arena, planteó una pregunta que dejó a todos perplejos:
¿Qué pasa realmente con GPT-5.6 Sol en Cerebras? Según tengo entendido, este parece ser el mismo modelo completo (con capacidades multimodales, incluyendo visión), y no una versión reducida como el anterior GPT-5.3-Codex-Spark, que carecía de visión y contexto.
Pero mi entendimiento es que el chip único de Cerebras solo puede alojar un modelo de entre 700 y 900 mil millones de parámetros. ¿Entonces, el modelo se redujo de tamaño? ¿O hay un nuevo tipo de chip que desconozco? ¿O alguna nueva tecnología de cooperación entre múltiples chips?
Esta pregunta inmediatamente generó una gran discusión entre muchos internautas.
Algunos bromean diciendo que todos están realizando una auditoría de chips de nivel forense a medianoche, y comentan: "Si esto realmente es el mismo modelo completo, sería como si alguien hubiera metido a la fuerza un superyate dentro de una botella de vidrio, sin decirte cómo lo hizo."
Pronto, el experimentado experto técnico Bleys Goodson presentó un análisis técnico extremadamente convincente—
GPT-5.6 Sol no es una sola chip insertado, ¡sino que abarca de 70 a 100 chips de oblea Cerebras!
Estética de despliegue extrema: «un oblea, una red»
Los expertos de la industria estiman que las especificaciones de GPT-5.6 Sol son extremadamente grandes:
- Parámetros totales: aproximadamente 3 billones
- Parámetros de activación: aproximadamente 150 mil millones
- Nivel de red: aproximadamente entre 70 y 90 capas
Para lograr características de servicio de inferencia saludables, OpenAI y Cerebras adoptaron un enfoque extremadamente lujoso y impactante: desplegar cada capa de la red neuronal por separado en una ola completa de Cerebras.
Como señaló un usuario en línea, al aumentar las etapas de la tubería, siempre que tengas suficientes obleas para conectarlas, teóricamente puedes escalar hasta modelos de cualquier tamaño, lo cual no afectará la velocidad de generación de tokens, solo posiblemente tendrá un ligero impacto en el tiempo del primer token (TTFT).
Reestructuración de arquitectura con decisión implacable: el caché KV ligero forzado por la necesidad
Sin embargo, solo tener una gran cantidad de obleas no es suficiente. Una de las características principales de la arquitectura de chip Cerebras es contar con una enorme cantidad de SRAM en chip (memoria estática de acceso aleatorio), extremadamente rápida, pero con capacidad extremadamente valiosa.
Si OpenAI utilizara, como en el pasado, cachés KV pesadas tradicionales en GPT-5.6 Sol, ese ancho de banda caro de SRAM se agotaría al instante.
Esto lleva al cambio estratégico más fundamental de esta colaboración: la reestructuración del modelo en torno a hardware específico.
Bleys Goodson señala que, dado que OpenAI está profundamente involucrada en el diseño colaborativo de hardware, es muy probable que hayan abandonado el esquema tradicional de caché de atención y hayan adoptado un diseño más avanzado y ligero.
Las opciones más probables incluyen:
Arquitectura similar a DeepSeekV4: optimización extrema del uso de caché.
Diseño híbrido SSM: Combina modelos de complejidad temporal lineal, como Mamba, con Transformer para eliminar por completo la carga histórica del KV Cache.
Además, el reconocido desarrollador John Lam propuso una suposición sorprendente: el desacoplamiento de la atención y la FFN.
Él especula que OpenAI podría estar utilizando GPU tradicionales para procesar los cálculos de atención, y empleando enormes obleas de Cerebras para impulsar brutalmente los cálculos de la parte de redes neuronales de propagación hacia adelante.
Esto no es nada infundado. Los internautas pronto descubrieron los detalles de implementación de Kimi K2.6 que Cerebras había publicado anteriormente en su blog:
Cerebras almacena los pesos originales de Kimi K2.6 en 4-bit en el sistema CS-3, mientras realiza cálculos en coma flotante de 16-bit para garantizar precisión. Los pesos se distribuyen en múltiples obleas, y los valores de activación se transmiten en flujo entre obleas. La comunicación completamente interconectada entre capas depende enteramente de la estructura de red en la oblea, con un ancho de banda más de 200 veces superior al de NVLink en Nvidia NVL72. Combinando operadores personalizados y decodificación especulativa, pueden ejecutar modelos MoE con billones de parámetros a una velocidad cercana a 1000 tokens/s.
Las especificaciones oficiales muestran que el revolucionario sistema CS-3 no solo es increíblemente rápido, sino que también puede escalar fácilmente hasta modelos de 24 billones de parámetros en un solo dispositivo lógico.
Como alguien exclamó: "Si esto realmente es la versión completa de Sol funcionando en Cerebras, entonces el límite superior previsto para el tamaño del modelo fue directamente rompido esta noche."
La verdadera carta oculta: OpenAI lanza su primer chip desarrollado internamente, «Jalapeño»
Y justo antes, OpenAI lanzó oficialmente su primer chip desarrollado internamente: Jalapeño.
El lanzamiento de este chip explica directamente la lógica profunda detrás de la colaboración entre OpenAI y Cerebras: a través de la exploración en hardware de inferencia de terceros de primer nivel, OpenAI comprendió completamente los puntos críticos y el valor de la arquitectura de inferencia dedicada, y lo convirtió en una plataforma subyacente bajo su control.
Jalapeño es una de las variedades de chile mexicano con menor nivel de picante. OpenAI lo eligió como nombre, claramente para indicar: esto es solo un aperitivo.
Este chip es un ASIC personalizado diseñado específicamente para la inferencia de modelos grandes. Desde la primera línea trazada, cada transistor se optimizó para una sola cosa: ejecutar modelos grandes.
De manera sorprendente, Jalapeño no solo ejecuta modelos propios de OpenAI, sino que su arquitectura también es compatible con LLM de toda la industria, demostrando una gran ambición de plataforma.
Además, el diseño y la fabricación de este chip solo tomaron nueve meses.
Detrás de esto, hay una alianza industrial extremadamente poderosa:
Arquitectura liderada: OpenAI diseñó directamente la arquitectura subyacente.
Implementación y conectividad de chips: El gigante de chips Broadcom ofrece potentes capacidades de implementación y soporte técnico para conectividad de red.
System integration: Celestica is responsible for final board manufacturing and rack-level physical integration.
Devorar toda la cadena de valor: la ambición de OpenAI de construir un imperio full-stack
Entrenar el modelo uno mismo, diseñar el chip uno mismo, optimizar la inferencia uno mismo y controlar el despliegue uno mismo.
Claramente, el objetivo de OpenAI es un inmenso imperio de IA full-stack.
Pero la ambición de OpenAI es aún más loca que la de Apple y Google: poseen un superciclo sin precedentes: usar IA para acelerar la construcción de infraestructura de IA, y luego usar esa infraestructura más potente para ejecutar IA aún más poderosa.
Según el ambicioso plan publicado por OpenAI, los primeros centros de datos superiores de GW se desplegarán a partir de finales de 2026 en colaboración con socios clave como Microsoft.
El consumo eléctrico completo de una ciudad mediana se utilizará para alimentar los servidores de inferencia de Jalapeño y la próxima generación de chips de chile.
Prepárate, pronto veremos a GPT-5.6 correr sobre un oblea de Cerebras a 750 tokens/s, rompiendo el hechizo físico de los parámetros y la velocidad de inferencia.
Referencia: https://x.com/bleysg/status/2073937651150029084
Este artículo proviene del canal de WeChat "Neozhiyuan", autor: Apocalipsis ASI; editor: Aeneas