[Pengantar] Kecepatan inferensi GPT-5.6 ternyata mencapai 750 token/detik! Ahli profesional mengungkapkan rahasia: ia akan berjalan melintasi 100 wafer. Apakah era kecerdasan real-time benar-benar tiba, di mana AI berubah dari berpikir menjadi muncul secara instan?
Menurut berbagai bocoran, GPT-5.6 segera akan dibuka untuk umum.
Baru-baru ini, berbagai spekulasi tentang model ini telah menjadi viral di X.
Pada 26 Juni, OpenAI secara resmi mengumumkan keluarga GPT-5.6 generasi baru.
Dan di blog resmi tertulis: OpenAI berencana meluncurkan model mutakhir baru—GPT-5.6 Sol—pada perangkat khusus dari raksasa chip Cerebras bulan ini, dengan kecepatan inferensi mencapai 750 token per detik yang menakutkan!
Artinya, operasi Agent kompleks yang dulu memerlukan waktu menunggu beberapa menit, sekarang dapat diselesaikan dalam sekejap.
Jelas, OpenAI telah melangkah maju secara revolusioner dalam desain kolaboratif perangkat keras dan model.
Selain itu, dengan terungkapnya chip inferensi AI buatan sendiri pertama di dunia, Jalapeño, baru-baru ini, kita dapat merasakan bahwa OpenAI memiliki ambisi untuk menjadi kekaisaran AI penuh.
Seni bela diri dunia hanya bisa diatasi dengan kecepatan: penurunan dimensi 750 token/detik
Apa artinya "750 token per detik"?
Bagi manusia, ini setara dengan membaca dan menghasilkan sekitar 500 hingga 600 karakter Han dalam satu detik.
Teks yang kamu lihat ini, GPT-5.6 Sol hanya membutuhkan kurang dari sepersekian detik untuk menghasilkannya.
Di X, pengembang terkenal Caleb Shepherd dengan antusias mengatakan: "Ini adalah hal paling menarik yang pernah saya alami, GPT-5.6 Sol berjalan di Cerebras. Bukan hanya karena kecepatan menulis kode menjadi lebih cepat, tetapi karena kecepatan penggunaan komputer mengalami lompatan kuantum. Kita tidak perlu lagi menunggu dua menit hanya untuk menunggu AI mengklik tombol."
Selama ini, meskipun model besar menjadi semakin cerdas, «latensi inferensi» tetap menjadi hambatan terbesar dalam penerapan tugas agen multi-langkah interaktif secara real-time.
Ketika model menjadi sangat besar dengan triliunan parameter, kluster GPU tradisional sering mengalami hambatan fisik pada komunikasi antar node (koneksi NVLink).
Sedangkan jawaban dari OpenAI adalah: Jangan biarkan model menyesuaikan diri dengan perangkat keras, biarkan perangkat keras dan model menyatu menjadi satu.
Berdasarkan informasi awal yang diungkapkan secara resmi, GPT-5.6 Sol akan dibuka secara terbatas untuk pelanggan tertentu pada bulan Juli, dan akan diperluas secara bertahap seiring peningkatan kapasitas produksi.
Seperti yang ditebak orang-orang di internet, ini benar-benar layanan yang sangat mahal, dirancang khusus untuk perusahaan top yang bersedia membayar demi kecepatan.
Bagaimana raksasa 3 triliun parameter dimasukkan ke dalam chip?
Ketika pesan 750 Tokens/s muncul, Peter Gostev, pemimpin LLM Arena, mengajukan pertanyaan yang membuat semua orang bingung:
Apa sebenarnya yang terjadi dengan GPT-5.6 Sol di Cerebras? Menurut saya, ini tampaknya model yang sama persis (termasuk kemampuan multimodal seperti visual), bukan versi terpotong seperti GPT-5.3-Codex-Spark sebelumnya yang kehilangan kemampuan visual dan konteks.
Namun, pemahaman saya adalah bahwa chip tunggal Cerebras paling banyak hanya dapat menampung model dengan 700 miliar hingga 900 miliar parameter. Jadi, apakah modelnya menjadi lebih kecil? Atau apakah ada chip baru yang belum saya ketahui? Atau mungkin teknologi baru yang melibatkan kerja sama multi-chip?
Pertanyaan ini langsung memicu banyak diskusi dari netizen.
Beberapa orang bercanda bahwa ini adalah "audit chip tingkat forensik di tengah malam", dan menyatakan, "Jika ini benar-benar model utuh yang sama, maka itu seperti seseorang memaksa kapal pesiar super ke dalam sebotol kaca, tanpa memberi tahu Anda bagaimana caranya."
Segera, pakar teknis berpengalaman Bleys Goodson memberikan analisis teknis yang sangat meyakinkan—
GPT-5.6 Sol bukan hanya memasukkan satu chip, tetapi melintasi 70 hingga 100 chip wafer Cerebras!
Estetika penyebaran ekstrem: "Satu wafer, satu jaringan"
Para ahli industri memperkirakan spesifikasi GPT-5.6 Sol sangat besar:
- Jumlah parameter total: sekitar 3 triliun
- Parameter aktivasi: sekitar 150 miliar
- Jumlah lapisan jaringan: sekitar 70 hingga 90 lapisan
Untuk mendapatkan fitur layanan inferensi yang sehat, OpenAI dan Cerebras menggunakan pendekatan penyebaran yang sangat mewah dan mengesankan—menempatkan setiap lapisan jaringan saraf secara terpisah pada satu seluruh wafer Cerebras.
Seperti yang ditunjukkan oleh salah satu pengguna internet, dengan menambahkan tahapan pipeline, secara teori Anda dapat memperluas model ke ukuran berapa pun selama Anda memiliki cukup banyak wafer untuk menghubungkannya, hal ini tidak akan memengaruhi kecepatan generasi Token, hanya mungkin sedikit memengaruhi waktu Token pertama (TTFT).
Rekayasa arsitektur pemotongan tangan pahlawan—KV Cache ringan yang dipaksa muncul
Namun, hanya memiliki banyak wafer saja tidak cukup. Salah satu ciri utama arsitektur chip Cerebras adalah memiliki SRAM on-chip dalam jumlah besar, yang sangat cepat tetapi kapasitasnya sangat berharga.
Jika OpenAI menggunakan cache KV berat tradisional di GPT-5.6 Sol seperti sebelumnya, bandwidth SRAM yang mahal ini akan langsung habis terpakai.
Ini menimbulkan pergeseran strategi paling inti dari kolaborasi ini: merekonstruksi model berdasarkan perangkat keras tertentu.
Bleys Goodson menunjukkan bahwa karena OpenAI terlibat mendalam dalam desain kolaboratif perangkat keras, mereka sangat mungkin telah meninggalkan skema cache mekanisme perhatian tradisional dan beralih ke desain ringan yang lebih mutakhir.
Skema yang paling mungkin meliputi:
Arsitektur serupa DeepSeekV4: pengoptimalan penggunaan cache secara ekstrem.
Desain SSM campuran: Menggabungkan model dengan kompleksitas waktu linier seperti Mamba dengan Transformer, untuk benar-benar melepaskan beban historis KV Cache.
Selain itu, pengembang terkenal John Lam juga mengajukan tebakan menarik—pemisahan perhatian dan FFN.
Dia menduga bahwa OpenAI mungkin menggunakan GPU tradisional untuk memproses perhitungan perhatian, sementara memanfaatkan sejumlah besar wafer Cerebras untuk mendorong secara agresif perhitungan bagian jaringan saraf feedforward.
Ini bukan tanpa dasar. Netizen segera mengungkap rincian penyebaran Kimi K2.6 yang sebelumnya dibagikan Cerebras di blognya:
Cerebras menyimpan bobot asli Kimi K2.6 pada sistem CS-3 dengan 4-bit, sambil melakukan perhitungan dengan floating-point 16-bit untuk menjaga presisi. Bobot tersebar di beberapa wafer, dan nilai aktivasi ditransmisikan secara streaming di antara wafer. Komunikasi互联 penuh antar lapisan sepenuhnya bergantung pada struktur jaringan di dalam wafer, dengan bandwidth lebih dari 200 kali lipat dibanding NVLink di Nvidia NVL72! Dengan menggabungkan operator khusus dan speculative decoding, mereka dapat menjalankan model MoE berparameter triliunan dengan kecepatan mendekati 1000 token/s.
Spesifikasi resmi menunjukkan bahwa sistem revolusioner CS-3 tidak hanya memiliki kecepatan tak tertandingi, tetapi juga dapat dengan mudah diperluas hingga model 24 triliun parameter pada satu perangkat logis!
Seperti yang diungkapkan seseorang: "Jika ini benar-benar versi lengkap Sol yang berjalan di Cerebras, maka batas atas ukuran model yang selama ini diasumsikan semua orang langsung ditembus malam ini."
Kartu truf sejati—OpenAI meluncurkan chip buatan sendiri pertamanya 'Jalapeño'
Dan sebelumnya, OpenAI secara resmi meluncurkan chip buatan pertama mereka—Jalapeño.
Peluncuran chip ini secara langsung menjelaskan logika mendalam di balik kolaborasi OpenAI dengan Cerebras: melalui eksplorasi pada perangkat keras inferensi unggulan pihak ketiga, OpenAI benar-benar memahami kunci dan nilai arsitektur inferensi khusus, lalu mengubahnya menjadi platform dasar yang dapat dikendalikan sendiri.
Jalapeño adalah salah satu varietas cabai Meksiko dengan tingkat kepedasan paling ringan. OpenAI menamainya demikian, jelas menunjukkan: ini hanyalah hidangan pembuka.
Chip ini adalah ASIC khusus yang dirancang untuk inferensi model besar. Sejak garis pertama digambar, setiap transistor-nya dioptimalkan hanya untuk satu hal: menjalankan model besar.
Secara mengejutkan, Jalapeño tidak hanya menjalankan model milik OpenAI, tetapi arsitekturnya juga kompatibel dengan LLM di seluruh industri, menunjukkan ambisi platform yang besar.
Selain itu, desain dan produksi chip ini hanya memakan waktu 9 bulan.
Di balik ini, ada konsorsium industri yang sangat kuat:
Arsitektur utama: OpenAI secara langsung merancang arsitektur dasar.
Implementasi chip dan konektivitas: Raksasa chip Broadcom menyediakan kemampuan implementasi kuat dan dukungan teknologi konektivitas jaringan.
System integration: Celestica bertanggung jawab atas pembuatan papan akhir dan integrasi fisik tingkat rak.
Mengonsumsi seluruh rantai industri, ambisi full-stack empire OpenAI
Model dilatih sendiri, chip dirancang sendiri, inferensi dioptimalkan sendiri, deployment dikendalikan sendiri.
Jelas bahwa tujuan OpenAI adalah sebuah kerajaan AI penuh yang besar.
Namun ambisi OpenAI lebih gila daripada Apple dan Google, mereka memiliki roda super yang belum pernah ada sebelumnya: menggunakan AI untuk mempercepat pembangunan infrastruktur AI, lalu menggunakan infrastruktur yang lebih kuat yang telah dibangun untuk menjalankan AI yang lebih canggih.
Menurut peta jalan ambisius yang diumumkan oleh OpenAI, pusat data super berkapasitas GW pertama akan mulai dideploy pada akhir 2026 bersama mitra inti seperti Microsoft.
Seluruh konsumsi listrik sebuah kota menengah akan digunakan untuk mendorong rak inferensi Jalapeño dan chip cabai generasi berikutnya.
Bersiaplah, segera, kami akan menyambut GPT-5.6 berjalan di atas wafer Cerebras dengan kecepatan 750 Tokens/s, menghancurkan mantra fisik parameter dan kecepatan inferensi.
Referensi: https://x.com/bleysg/status/2073937651150029084
Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: ASI Revelation; editor: Aeneas