【Paunang Paglalahat】 Ang bilis ng pag-iisip ng GPT-5.6, nakakamit nito ang 750 tokens/s! Ipinakita ng mga eksperto ang loob: ito ay magpapatakbo sa 100 na wafer. Totoo na ba ang pagdating ng panahon ng real-time intelligence, kung saan ang AI ay nagiging pagkakataon sa halip na pag-iisip?
Ayon sa mga ulat mula sa iba’t ibang pinagkukunan, ang GPT-5.6 ay malapit nang buksan sa publiko.
Kasalukuyan, ang iba’t ibang spekulasyon tungkol sa model na ito ay naging viral sa X.
Ika-26 ng Hunyo, sinumpaan ng OpenAI ang pambagong pamilya ng GPT-5.6.
At sa opisyal na blog, mayroon itong isang pangungusap: Planohin ng OpenAI na ilunsad ang bagong advanced na modelo—GPT-5.6 Sol—sa custom na hardware ng chip giant na Cerebras sa buwang ito, na nakakamit ng pag-iisip na bilis na nakakatakot na 750 Token bawat segundo!
Ibig sabihin, ang mga kumplikadong Agent operation na dati ay nangangailangan ng paghihintay ng ilang minuto, ay ngayon ay maaari nang tapusin sa isang pagmumulto.
Malinaw na nagawa ng OpenAI ang isang pagbabago sa pagkakasama ng hardware at model design.
Dagdag pa sa pagkakalantad ng Jalapeño, ang unang AI inference chip na inihanda ng sarili nila, maaari nating marinig na may pangarap si OpenAI na maging isang buong stack na AI empire.
Ang tanging paraan upang manalo sa lahat ng mga estilo ng pakikidigma ay ang bilis: 750 Tokens/s na pagbaba sa antas
Ano ang ibig sabihin ng “750 tokens bawat segundo”?
Para sa mga tao, ito ay katumbas ng pagbabasa at pag-output ng humigit-kumulang 500 hanggang 600 na Chinese character sa isang segundo.
Ang teksto na ito sa harap mo, ang GPT-5.6 Sol ay maaaring makagawa sa loob ng higit sa isang maliit na bahagi ng segundo.
Sa X, ang kilalang developer na si Caleb Shepherd ay nag-expression ng kasiyahan: "Ito ang pinakamasayang bagay para sa akin, ang GPT-5.6 Sol ay tumatakbo sa Cerebras. Hindi lang dahil mas mabilis ang pag-write ng code, kundi dahil may pagbabago sa antas ng paggamit ng computer. Hindi na natin kailangang maghintay ng dalawang minuto para sa AI na i-click ang isang button."
Sa matagal nang panahon, bagaman ang mga malalaking modelo ay nagsisigla na, ang “latency ng pag-iisip” ay patuloy na ang pinakamalaking hadlang sa pagpapatupad ng mga real-time, multi-step Agent task.
Kapag malaki ang modelo at may mga trilyon ng parameter, ang tradisyonal na GPU cluster ay madalas na nakakakita ng pisikal na bottleneck sa komunikasyon sa pagitan ng mga node (NVLink interconnect).
Ang sagot ng OpenAI ay: Huwag hayaan ang modelo na mag-adjust sa hardware; ipagsama ang hardware at ang modelo.
Batay sa mga unang impormasyon na inilabas ng opisyal, ang GPT-5.6 Sol ay magiging available sa mga partikular na kliyente sa isang napakaliit na iskala noong Hulyo, at magkakaroon ng pagpapalawak nang unti-unti habang tumataas ang kapasidad.
Tulad ng ipinagkakailangang mga tao sa internet, ito ay isang napakagastos na serbisyo na disenyo para sa mga nangungunang kumpanya na handang magbayad para sa bilis.
Paano isasama ang 3 trilyong parameter na monster sa chip?
Kapag lumabas ang mensahe na 750 Tokens/s, itinatanong ni Peter Gostev, ang tagapamahala ng LLM Arena, isang tanong na nagdudulot ng pagkakaalala sa lahat:
Ano ang totoo tungkol sa GPT-5.6 Sol sa Cerebras? Ayon sa aking kaalaman, tila ito ang buong parehong modelo (kabilang ang multi-modal na kakayahan tulad ng pagtingin), hindi tulad ng dating GPT-5.3-Codex-Spark na may mga natanggal na kakayahan sa pagtingin at konteksto.
Ngunit ang aking pag-unawa ay ang iisang chip ng Cerebras ay kaya lang maglaan ng 7000 hanggang 9000 bilyon na parameter. Kaya, mas maliit na ba ang modelo? O mayroon bang bagong chip na hindi ko alam? O isang bagong teknolohiya sa pagpapagana ng maraming chip?
Agad na nagdulot ng maraming diskusyon mula sa mga netizen.
Ipinapangalawang sinasabi ng ilan na sila ay “nagsasagawa ng forensic-level chip audit sa midnight,” at sinabi na “kung talagang iisang buong model ito, parang may tao na nagpapasok ng isang super yatch sa isang bote ng baso, at hindi sinasabi kung paano ito ginawa.”
Mabilis na, nagbigay ang karanasan na teknikal na eksperto na si Bleys Goodson ng isang napakakumbinsihing malalim na pagsusuri—
Hindi naglalaman ng isang chip ang GPT-5.6 Sol, kundi sumasaklaw ito sa 70 hanggang 100 na Cerebras wafer-scale chips!
Kahanga-hangang deployment aesthetics: “Isang wafer, isang network”
Ipinapahiwatig ng mga eksperto sa industriya na ang mga spesipikasyon ng GPT-5.6 Sol ay napakalaking:
- Kabuuang bilang ng parameter: Tungkol sa 3 trilyon
- Mga parameter ng pagpapalawak: humigit-kumulang sa 150 bilyon
- Layer ng network: Humigit-kumulang 70 hanggang 90 layers
Upang makamit ang mga katangian ng serbisyo sa pag-iisip na malusog, ginamit ng OpenAI at Cerebras isang napakadakilang at nakakapanlilinlang paraan ng pag-deploy—ang bawat layer ng neural network, i-deploy nang hiwalay sa isang buong wafer ng Cerebras.
Tulad ng napansin ng isang netizen, sa pamamagitan ng pagdaragdag ng mga yugto sa pipeline, teoretikal mong maaari mong i-expand ang anumang laki ng modelo habang may sapat na wafer upang i-link sila; hindi ito nakakaapekto sa bilis ng pagbuo ng token, kung saan maaaring magkaroon lamang ng kaunting epekto sa unang oras ng token (TTFT).
Rearkitektura na nagpapalit ng malaking sakripisyo—ang pagkakabuo ng light-weight KV Cache dahil sa pagkakabigay ng pagkakataon
Gayunpaman, hindi sapat ang malaking dami ng wafer lamang. Isang malaking katangian ng arkitektura ng chip na Cerebras ay ang pagkakaroon ng malaking dami ng on-chip SRAM (static random-access memory), na sobrang mabilis, ngunit ang kapasidad nito ay sobrang mahalaga.
Kung ang OpenAI ay gumagamit ng tradisyonal na mabigat na KV cache tulad ng dati sa GPT-5.6 Sol, ang mga mahal na SRAM bandwidth na ito ay magiging agad na nasasakop.
Ito ang nagdudulot ng pinakamahalagang pagbabago sa estratehiya ng kooperasyong ito: ang pag-reconstruct ng modelo sa paligid ng partikular na hardware.
Inihayag ni Bleys Goodson na dahil sa malalim na pakikilahok ng OpenAI sa co-design ng hardware, malaki ang posibilidad na nagpasya silang iwasan ang tradisyonal na scheme ng cache ng attention at umabot sa mas modernong lightweight design.
Ang pinakamalaking posibilidad ay kasama ang:
Katulad ng arkitektura ng DeepSeekV4: napakadisenyong pinapababa ang paggamit ng cache.
Mixed SSM Design: Ipinagsama ang mga modelo na may linear time complexity tulad ng Mamba sa Transformer upang buong-buo ring alisin ang timbang ng nakaraang KV Cache.
Dagdag pa, ang kilalang developer na si John Lam ay nagbigay din ng isang nakakatutok na hula—ang pagkakawala ng ugnayan sa pagitan ng attention at FFN.
Nag-impluwensya siya na maaaring gumagamit ang OpenAI ng tradisyonal na GPU para sa pagproseso ng attention computation, habang ginagamit ang malaking bilang ng Cerebras wafers para sa malakas na pagpapalakas ng computation sa bahagi ng feedforward neural network.
Hindi ito walang batayan. Mabilis na natuklasan ng mga netizen ang mga detalye ng pag-deploy ni Cerebras sa K2.6 ng Kimi sa kanilang blog:
Ang Cerebras ay nag-iimbak ng orihinal na weights ng Kimi K2.6 sa 4-bit sa CS-3 system, habang gumagamit ng 16-bit floating point para sa pagkalkula upang panatilihin ang precision. Ang weights ay nakalat sa maraming wafer, at ang activation values ay stream sa pagitan ng mga wafer. Ang full interconnect communication sa pagitan ng mga layer ay ganap na batay sa network structure sa loob ng wafer, na may bandwidth na higit sa 200 beses ang laki ng NVLink sa Nvidia NVL72! Kasama ang custom operators at speculative decoding, sila ay kayang patakaran ang mga MoE model na may trilyon na parameter sa halos 1000 tokens/s.
Ayon sa opisyal na spesipikasyon, ang revolusyonaryong CS-3 system ay hindi lamang walang katulad sa bilis, kundi maaari ring madaling i-extend hanggang sa 24 trilyon na parameter sa isang magkakaugnay na logical device!
Tulad ng sinabi ng ilan: "Kung talagang ang buong bersyon ng Sol ay tumatakbo sa Cerebras, ang lahat ng nakasaad na hangganan ng laki ng modelo ay diretso nang binagsak ngayong gabi."
Totoong kartang lalabas—OpenAI ay naglunsad ng kanilang sariling chip na «Jalapeño»
At bago pa ito, opisyal na inilabas ng OpenAI ang kanilang unang inihahanda chip—Jalapeño.
Ang paglunsad ng chip na ito ay direktang nagpapaliwanag sa mas malalim na lohika ng pakikipagtulungan ng OpenAI at Cerebras: Sa pamamagitan ng pag-aaral sa mga pinakamahusay na third-party hardware para sa inference, nailikha ng OpenAI ang buong pag-unawa sa kritikal na punto at halaga ng espesyalisadong arkitektura para sa inference, at isinapuso ito bilang sariling kontroladong platform sa ilalim.
Ang Jalapeño ay isa sa mga pinakamababang antas ng kahalayan sa mga pimiento ng Mexico. Ginamit ng OpenAI ang pangalan na ito, malinaw na ipinapahiwatig na ito ay simpleng appetizer.
Ang chip na ito ay isang custom ASIC na disenyo para sa inference ng malalaking modelo. Mula sa pagguhit ng unang linya, ang bawat transistor nito ay optimal lamang para sa isang bagay: pagpapatakbo ng malalaking modelo.
Sa pagkakabagot, ang Jalapeño ay hindi lamang tumatakbo sa sariling model ng OpenAI, kundi ang kanyang arkitektura ay kompatibleng may lahat ng LLM sa industriya, na nagpapakita ng malaking ambisyon sa platform.
At ang disenyo at paggawa ng chip ay nagtrabaho lamang sa 9 buwan.
Sa likod nito ay isang napakalakas na industriyal na alians:
Arsitektur na pinangungunahan: Direktang isinagawa ni OpenAI ang disenyo ng paaalat na arsitektura.
Implementation at the chip level and interconnection: Chip giant Broadcom provides robust implementation capabilities and network interconnection technical support.
System integration: Si Celestica ang responsable sa huling paggawa ng board at physical integration sa rack level.
Kumain ng buong chain, ang pangarap ng OpenAI na maging isang full-stack empire
Trin ang modelo mismo, disenyo ang chip mismo, optime ang inference mismo, kontrola ang deployment mismo.
Malinaw na ang layunin ng OpenAI ay isang malaking full-stack AI empire.
Ngunit mas kahanga-hanga ang pangarap ng OpenAI kaysa sa Apple at Google: mayroon silang isang super flywheel na walang katulad—gagamitin ang AI upang mabilisang itayo ang kanilang AI infrastructure, at gamitin ang mas malakas na infrastructure na ito upang patakaran ang mas malakas na AI.
Ayon sa malawak na plano na inilabas ng OpenAI, ang mga unang super data center na may kapasidad na GW ay magsisimulang i-deploy noong huling bahagi ng 2026, kasama ang mga pangunahing kakilala tulad ng Microsoft.
Ang buong paggamit ng kuryente ng isang katamtamang lungsod ay gagamitin upang palakasin ang mga rack ng pag-iisip para sa Jalapeño at mga chip na pamanhid ng susunod na henerasyon.
Handa na, malapit na kaming makasama ang GPT-5.6 Sol na tumatakbo sa 750 Tokens/s sa Cerebras wafer, na nagpapabagsak sa pisikal na kamatayan ng parameter at inference speed.
Mga sanggunian: https://x.com/bleysg/status/2073937651150029084
Nakuha mula sa WeChat public account na “Xin Zhi Yuan,” may-akda: ASI Revelation; editor: Aeneas