【Giriş】 GPT-5.6'nın akıl yürütme hızı 750 token/saniye! Uzmanlar gizli bilgiyi ortaya koydu: 100 adet çip üzerinde çalışacak. AI, düşünmekten anlık hale geliyor; gerçek zamanlı akıllılık çağı gerçekten mi geldi?
Çeşitli kaynaklara göre, GPT-5.6 yakında herkese açık hale gelecek.
Son zamanlarda, bu modelle ilgili çeşitli tahminler X'te popüler hale geldi.
26 Haziran'da, OpenAI resmen yeni nesil GPT-5.6 ailesini duyurdu.
Ayrıca resmi blogda şu ifade yer alıyor: OpenAI, bu ay chip devi Cerebras'ın özel donanımında tamamen yeni bir ileri model olan GPT-5.6 Sol'u piyasaya sürecektir; çıkarım hızı saniyede 750 Token ile korkutucu düzeydedir!
Yani, önce birkaç dakika beklemek gereken karmaşık Agent işlemlerini şimdi göz kırpmadan tamamlayabilirsiniz.
Açıkça, OpenAI, donanım ve model ortak tasarımı konusunda devrimci bir adım atmıştır.
Daha önce piyasaya sürülen ilk kendi geliştirilmiş AI çıkarım çipinin Jalapeño'nun açıklanmasıyla birlikte, OpenAI'nin tam bir AI imparatorluğu olma niyetinde olduğunu hissedebiliyoruz.
Dünyanın tüm silahları hızla yenilir: Saniyede 750 token ile boyut indirgeme baskısı
Saniyede 750 Token nedir?
İnsanlar için bu, saniyede yaklaşık 500 ila 600 Çince karakter okumak ve çıktı vermek demektir.
Gördüğünüz bu metin, GPT-5.6 Sol'un sadece sıfırın birkaçda biri saniye içinde tamamlaması gerekiyor.
X üzerinde ünlü geliştirici Caleb Shepherd, "Bu, benim için en heyecan verici şey; GPT-5.6, Cerebras üzerinde çalışıyor. Sadece kod yazma hızının artmasından değil, bilgisayar kullanım hızında kalıtsal bir değişim yaşanmasından dolayı da bu kadar heyecanlıyım. Artık AI'nın bir butona tıklamasını beklemek için iki dakika beklememize gerek yok." dedi.
Uzun zamandır büyük modeller giderek daha akıllı hale gelirken, “tahmin gecikmesi” gerçek zamanlı etkileşimli çok adımlı Agent görevlerinde uygulamanın en büyük engeli olmuştur.
Model, trilyonlarca parametre sahip olduğunda, geleneksel GPU kümeleri düğümler arası iletişimde (NVLink bağlantısı) genellikle fiziksel bir darboğaza uğrar.
OpenAI'nin verdiği cevap ise: Modeli donanıma uygun hale getirmeyin, donanımı ve modeli bir bütün haline getirin.
Resmi olarak açıklanan ilk bilgilere göre, GPT-5.6 Sol, üretim kapasitesi arttıkça Temmuz ayında sınırlı bir ölçekle belirli müşterilere açılacaktır.
İnternette tahmin edildiği gibi, bu kesinlikle çok pahalı bir hizmettir ve hız için ödeme yapmaya istekli olan üst düzey işletmeler için özel olarak tasarlanmıştır.
3 trilyon parametrelik dev nasıl çipe sığdırılır?
750 Token/s mesajı yayıldığında, LLM Arena'nın sorumluusu Peter Gostev, herkesin merak ettiği bir soru sordu:
GPT-5.6 Sol, Cerebras üzerinde tam olarak ne oluyor? Biliyorum ki, bu, önceki GPT-5.3-Codex-Spark gibi görsel ve bağlam yetenekleri kesilmiş bir versiyon değil, tamamen aynı model (görsel dahil çok modallik yetenekleriyle).
Ancak benim anladığım kadarıyla, Cerebras'ın tek çipinde en fazla 700 ila 900 milyar parametrelik bir model yerleştirilebilir. Peki, model küçültüldü mü? Yoksa bilmediğim yeni bir çip mi var? Yoksa çok çipli işbirliği yapan yeni bir teknoloji mi?
Bu soru hemen birçok internet kullanıcısının tartışmasına neden oldu.
Bazıları bunun "午夜进行法医级别的芯片审计" olduğunu söylüyor ve "Eğer bu gerçekten aynı tam modelse, bu, birinin bir süper yatı cam bir şişeye zorla soktuğu ve nasıl yaptığını size söylemediği gibi." diyor.
Yakında, deneyimli teknik uzman Bleys Goodson, çok ikna edici bir teknik analiz sundu—
GPT-5.6, bir çip yerine 70 ila 100 Cerebras kristal seviyesi çipe yayılmıştır!
Mükemmel dağıtım estetiği: “Bir çip, bir ağ”
Sektör uzmanlarının tahminlerine göre, GPT-5.6 Sol'un specifikasyonları son derece büyüktür:
- Toplam parametre sayısı: Yaklaşık 3 trilyon
- Aktivasyon parametresi: Yaklaşık 150 milyar
- Ağ katman sayısı: Yaklaşık 70 ila 90 katman
Sağlıklı bir çıkarım hizmeti özelliği elde etmek için OpenAI ve Cerebras, her sinir ağı katmanını ayrı ayrı bir tam Cerebras çipinde dağıtmak gibi son derece lüks ve etkileyici bir yöntem kullandı.
Bir internet kullanıcısının da belirttiği gibi, yeterli sayıda çip sahibiyseniz, üretim hattı aşamalarını artırarak teorik olarak herhangi bir boyutun modelini genişletebilirsiniz; bu, Token üretimi hızını etkilemez, yalnızca ilk Token zamanı (TTFT) üzerinde hafif bir etki yaratabilir.
Kesin kararlarla yapılan mimari yeniden yapılandırma—zorunlu hale gelen hafif KV Cache
Ancak, sadece büyük miktarda çip yeterli değildir. Cerebras çip mimarisinin önemli bir özelliği, çok hızlı ancak kapasitesi son derece değerli olan büyük miktarda üzerindeki SRAM (statik rastgele erişimli bellek) sahibi olmasıdır.
Eğer OpenAI, GPT-5.6 Sol'da geçmişte olduğu gibi geleneksel ağırlıklı KV önbelleğini kullanırsa, bu pahalı SRAM bant genişliği anında tükenecektir.
Bu, özellikle belirli donanım etrafında model yeniden yapılandırılması üzerine odaklanan işbirliğinin en temel stratejik dönüşümünü ortaya çıkarır.
Bleys Goodson, OpenAI'nin donanım işbirlikli tasarımıyla derinlemesine karıştığı için geleneksel dikkat mekanizması önbellek çözümünü terk edip daha ileri seviyeli hafifletilmiş bir tasarım benimsediğini belirtti.
En olası çözümler şunlardır:
DeepSeekV4 benzeri mimari: Önbellek kullanımının aşırı şekilde optimize edilmesi.
Karışık SSM tasarımı: Mamba gibi doğrusal zaman karmaşıklığına sahip modelleri Transformer ile birleştirerek KV Önbelleği'nin geçmiş yükünü tamamen ortadan kaldırın.
Ayrıca, ünlü geliştirici John Lam, dikkat ile FFN'nin ayrıştırılması konusunda etkileyici bir tahminde bulundu.
O, OpenAI'nin dikkat hesaplamalarını işlemek için geleneksel GPU'ları, ileri beslemeli sinir ağı kısmını güçlü bir şekilde çalıştırmak için ise milyonlarca Cerebras wafer kullanıyor olabileceğini tahmin ediyor.
Bu tamamen söylenen bir şey değil. İnternet kullanıcıları, Cerebras'ın önceki blog gönderisindeki Kimi K2.6 dağıtım detaylarını hemen ortaya çıkardı:
Cerebras, CS-3 sisteminde Kimi K2.6'nın orijinal ağırlıklarını 4-bit olarak depolarken, hassasiyeti korumak için 16-bit kayan nokta ile hesaplama gerçekleştiriyor. Ağırlıklar birden fazla çip üzerinde dağıtılmıştır ve aktive değerleri çipler arasında akışlı olarak iletilir. Katmanlar arası tam bağlantılı iletişim, tamamen çip üzerindeki ağ yapısına dayanmaktadır ve bant genişliği, Nvidia NVL72'deki NVLink'in 200 katından fazladır! Özelleştirilmiş operatörler ve spekülatif dekodlama ile, trilyon parametreli MoE modellerini yaklaşık 1000 token/s hızda çalıştırmayı başarıyorlar.
Resmi spesifikasyonlara göre, devrimci CS-3 sistemi sadece hız açısından üstün değil, aynı zamanda tek bir mantıksal cihazda 24 trilyon parametrelik modellere kolayca ölçeklenebilir!
Birinin hayranlıkla söylediği gibi: "Eğer bu gerçekten Cerebras üzerinde çalışan Sol'un tam sürümüyse, bugün gece tüm öngörülen model boyutu sınırları doğrudan aşılıyor."
Gerçek kozu—OpenAI, kendi geliştirdiği çip olan «Jalapeño»'yu ilk kez duyurdu
Ayrıca daha önce OpenAI, tarihinin ilk kendi geliştirdiği çipini——Jalapeño'yu resmen duyurdu.
Bu çipin ortaya çıkışı, OpenAI ile Cerebras arasındaki iş birliğinin derin mantığını doğrudan açıklar: Üçüncü tarafın en iyi çıkarım donanımı üzerindeki araştırmalar yoluyla, OpenAI özel çıkarım mimarisinin kritik noktalarını ve değerini tamamen anladı ve bunu kendi kontrolündeki temel bir platforma dönüştürdü.
Jalapeño, Meksika biberleri arasında en hafif acılığa sahip türlerden biridir. OpenAI'nin bunu isim olarak seçmesi, bunun sadece bir başlangıç olduğunu göstermektedir.
Bu çip, büyük modeller için özel olarak tasarlanmış bir ASIC'tir. İlk çizgi çekildiğinden beri, her bir transistörü sadece bir şeye optimize edilmiştir: büyük modelleri çalıştırmak.
Beklenmedik bir şekilde, Jalapeño sadece OpenAI'nin kendi modelini çalıştırmakla kalmıyor, aynı zamanda tüm endüstrideki LLM'lerle uyumlu bir mimariye sahip, bu da büyük bir platform hedefini gösteriyor.
Ayrıca, bu çipin tasarımı ve üretimi sadece 9 ayda tamamlandı.
Bu arka planda, son derece güçlü bir endüstri ittifakı var:
Mimari liderliği: OpenAI, temel mimari tasarımı doğrudan yürüttü.
Çip uygulaması ve bağlantı: Çip devi Broadcom, güçlü uygulama yetenekleri ve ağ bağlantı teknolojisi desteği sağlar.
Sistem entegrasyonu: Celestica, nihai kart üretimi ve raf seviyesinde fiziksel entegrasyonu yürütür.
Tüm zinciri yemek, OpenAI'nin tam yığın imparatorluk arzusu
Modeli kendi kendine eğit, çipi kendi kendine tasarla, çıkarımı kendi kendine optimize et, dağıtımını kendi kendine kontrol et.
Açıkça, OpenAI'nin hedefi, geniş bir tam yığın AI imparatorluğudur.
Ancak OpenAI'nin hedefleri Apple ve Google'dan daha çılgın: AI ile AI altyapısının inşasını hızlandırıyor, ardından oluşturulan daha güçlü altyapıyı daha güçlü AI'ları çalıştırmak için kullanıyor.
OpenAI'nin açıkladığı büyük vizyona göre, ilk GW seviyesindeki süper veri merkezleri, 2026 sonundan itibaren Microsoft gibi temel ortaklarla birlikte kurulacaktır.
Bir orta büyüklükteki şehrin tüm elektrik tüketimi, Jalapeño ve bir sonraki nesil biber çiplerinin çıkarım rafını çalıştırmak için kullanılacaktır.
Hazır olun, yakında GPT-5.6 Sol, 750 Tokens/s hızla Cerebras çipinde parametre ve çıkarım hızının fiziksel engellerini aşacak.
Kaynaklar: https://x.com/bleysg/status/2073937651150029084
Bu yazı WeChat hesabından "Yeni Zihin" tarafından paylaşılmıştır, yazar: ASI Vahiyleri; editör: Aeneas