[Giới thiệu] Tốc độ suy luận của GPT-5.6 lên tới 750 token/giây! Chuyên gia tiết lộ bí mật: Nó sẽ chạy trên 100 wafer. AI từ suy nghĩ chuyển thành chớp sáng—thời đại trí tuệ thời gian thực đã đến?
Theo các nguồn tin rò rỉ, GPT-5.6 sắp được mở rộng cho tất cả mọi người.
Gần đây, các giả thuyết khác nhau về mô hình này đã trở nên nổi bật trên X.
Ngày 26 tháng 6, OpenAI đã chính thức công bố thế hệ mới GPT-5.6.
Và trong bài đăng trên blog chính thức có một câu như sau: OpenAI dự kiến ra mắt mô hình tiên tiến mới — GPT-5.6 Sol — trên phần cứng tùy chỉnh của hãng chip lớn Cerebras vào tháng này, tốc độ suy luận đạt mức đáng sợ là 750 Token mỗi giây!
Nói cách khác, các thao tác Agent phức tạp trước đây cần chờ vài phút giờ đây có thể hoàn thành trong chớp mắt.
Rõ ràng, OpenAI đã bước đi đầu tiên mang tính cách mạng trong thiết kế đồng bộ phần cứng và mô hình.
Thêm vào đó, kể từ khi chip xử lý AI tự phát triển đầu tiên trong lịch sử, Jalapeño, chính thức được tiết lộ, chúng ta có thể cảm nhận được rằng OpenAI đã có tham vọng trở thành một đế chế AI toàn diện.
Trong võ công thiên hạ, nhanh là vô địch: Đánh hạ đối phương với tốc độ 750 token/giây
Khái niệm “750 token mỗi giây” là gì?
Đối với con người, điều này tương đương với việc đọc và xuất ra khoảng 500 đến 600 ký tự Hán trong một giây.
Đoạn văn bạn đang nhìn thấy, GPT-5.6 Sol chỉ cần ít hơn một phần vài giây để tạo ra.
Trên X, nhà phát triển nổi tiếng Caleb Shepherd hào hứng chia sẻ: "Đây là điều khiến tôi háo hức nhất, GPT-5.6 Sol đang chạy trên Cerebras. Không chỉ vì tốc độ viết mã nhanh hơn, mà còn vì tốc độ sử dụng máy tính đã bước vào một bước ngoặt. Chúng ta không còn phải chờ đợi hai phút để AI nhấn một nút nữa."
Trong thời gian dài, mặc dù các mô hình lớn ngày càng trở nên thông minh hơn, nhưng “độ trễ suy luận” vẫn là rào cản lớn nhất trong việc triển khai các tác vụ Agent đa bước tương tác thời gian thực.
Khi mô hình lớn đến mức có hàng nghìn tỷ tham số, các cụm GPU truyền thống thường gặp phải các giới hạn vật lý về giao tiếp giữa các nút (kết nối NVLink).
Câu trả lời từ OpenAI là: Đừng để mô hình thích nghi với phần cứng, hãy làm cho phần cứng và mô hình trở thành một thể thống nhất.
Theo thông tin ban đầu được công bố chính thức, GPT-5.6 Sol sẽ được mở rộng cho các khách hàng đặc biệt với quy mô cực kỳ hạn chế vào tháng 7, và sẽ dần mở rộng khi công suất tăng dần.
Như những gì mọi người đồn đoán trên mạng, đây chắc chắn là một dịch vụ cực kỳ đắt đỏ, được thiết kế đặc biệt cho các doanh nghiệp hàng đầu sẵn sàng trả tiền để đổi lấy tốc độ.
Làm thế nào để nhét con quái vật 3 nghìn tỷ tham số vào chip?
Khi tin tức về 750 Tokens/giây được đưa ra, Peter Gostev, người phụ trách LLM Arena, đã đặt ra một câu hỏi khiến tất cả đều thắc mắc:
GPT-5.6 Sol trên Cerebras thực sự là gì? Theo tôi được biết, đây dường như là cùng một mô hình đầy đủ (bao gồm khả năng đa phương tiện như hình ảnh), chứ không phải phiên bản bị cắt giảm như GPT-5.3-Codex-Spark trước đây, vốn thiếu khả năng hình ảnh và ngữ cảnh.
Nhưng theo hiểu biết của tôi, chip đơn lẻ của Cerebras chỉ có thể chứa được mô hình từ 700 đến 900 tỷ tham số. Vậy là mô hình đã được thu nhỏ? Hay có loại chip mới nào mà tôi chưa biết? Hoặc là một công nghệ mới kết hợp nhiều chip?
Câu hỏi này lập tức gây ra nhiều cuộc thảo luận từ các cư dân mạng.
Một số người đùa rằng mọi người đang thực hiện "kiểm tra chip cấp độ pháp y vào lúc nửa đêm", và cho biết: "Nếu đây thực sự là cùng một mô hình hoàn chỉnh, thì giống như ai đó đã nhét một con tàu du lịch siêu sang vào trong một chai thủy tinh, mà không hề tiết lộ cách làm được điều đó."
Sớm thôi, chuyên gia kỹ thuật kỳ cựu Bleys Goodson đã đưa ra một bản phân tích cực kỳ thuyết phục—
GPT-5.6 Sol không chỉ được nhét một con chip, mà còn trải dài trên 70 đến 100 tấm chip quy mô wafer Cerebras!
Thẩm mỹ triển khai cực hạn: “Một wafer, một mạng lưới”
Các chuyên gia trong ngành ước tính thông số kỹ thuật của GPT-5.6 Sol cực kỳ lớn:
- Tổng số tham số: khoảng 3 nghìn tỷ
- Tham số kích hoạt: khoảng 150 tỷ
- Số lớp mạng: khoảng 70 đến 90 lớp
Để đạt được các đặc tính dịch vụ suy luận ổn định, OpenAI và Cerebras đã sử dụng một phương pháp triển khai cực kỳ xa xỉ và ấn tượng—đặt từng lớp mạng thần kinh riêng biệt trên một toàn bộ wafer Cerebras.
Như một người dùng mạng đã chỉ ra, bằng cách tăng số giai đoạn trong dây chuyền, miễn là bạn có đủ nhiều wafer để kết nối chúng, về mặt lý thuyết bạn có thể mở rộng mô hình đến bất kỳ kích thước nào mà không ảnh hưởng đến tốc độ tạo token, chỉ có thể gây ảnh hưởng nhẹ đến thời gian tạo token đầu tiên (TTFT).
Kiến trúc tái cấu trúc dũng cảm như người dũng sĩ chặt tay—KV Cache nhẹ được thúc đẩy bởi hoàn cảnh
Tuy nhiên, chỉ có nhiều wafer là chưa đủ. Một đặc điểm nổi bật của kiến trúc chip Cerebras là sở hữu lượng lớn SRAM trên chip (bộ nhớ truy cập ngẫu nhiên tĩnh), tốc độ cực nhanh nhưng dung lượng cực kỳ quý giá.
Nếu OpenAI sử dụng bộ đệm KV truyền thống nặng nề trong GPT-5.6 Sol như trước đây, thì băng thông SRAM đắt đỏ này sẽ bị tiêu thụ ngay lập tức.
Điều này dẫn đến sự chuyển hướng chiến lược cốt lõi nhất của hợp tác này: tái cấu trúc mô hình xung quanh phần cứng cụ thể.
Bleys Goodson chỉ ra rằng, do OpenAI tham sâu vào thiết kế đồng bộ phần cứng, họ rất có thể đã từ bỏ các giải pháp bộ nhớ đệm cơ chế chú ý truyền thống và chuyển sang các thiết kế nhẹ hơn, tiên tiến hơn.
Các phương án có khả năng cao nhất bao gồm:
Kiến trúc tương tự DeepSeekV4: Tối ưu hóa cực kỳ dung lượng bộ nhớ đệm.
Thiết kế SSM hỗn hợp: Kết hợp các mô hình độ phức tạp thời gian tuyến tính như Mamba với Transformer, hoàn toàn gỡ bỏ gánh nặng lịch sử của KV Cache.
Ngoài ra, nhà phát triển nổi tiếng John Lam còn đưa ra một phỏng đoán ấn tượng — tách rời sự chú ý và FFN.
Anh ấy cho rằng OpenAI có thể đang sử dụng GPU truyền thống để xử lý các phép tính chú ý, đồng thời dùng hàng loạt chip Cerebras để ép mạnh phần tính toán của mạng nơ-ron truyền tiến.
Đây không phải là tin đồn vô căn cứ. Cộng đồng mạng nhanh chóng tìm ra các chi tiết triển khai Kimi K2.6 mà Cerebras từng đăng trên blog:
Cerebras lưu trữ trọng số gốc của Kimi K2.6 ở định dạng 4-bit trên hệ thống CS-3, đồng thời thực hiện tính toán ở định dạng dấu phẩy động 16-bit để đảm bảo độ chính xác. Trọng số được phân bố trên nhiều wafer, trong khi giá trị kích hoạt được truyền luồng giữa các wafer. Giao tiếp liên kết đầy đủ giữa các lớp hoàn toàn dựa trên cấu trúc mạng trên wafer, với băng thông vượt quá 200 lần so với NVLink trên Nvidia NVL72! Kết hợp với các toán tử tùy chỉnh và giải mã đầu cơ, họ có thể chạy mô hình MoE với hàng nghìn tỷ tham số với tốc độ gần 1000 tokens/giây.
The official specifications show that the revolutionary CS-3 system not only boasts unmatched speed but also easily scales to models with up to 24 trillion parameters on a single logical device!
Như một người đã thán phục: "Nếu đây thực sự là phiên bản đầy đủ của Sol chạy trên Cerebras, thì mọi giới hạn về kích thước mô hình đã được phá vỡ ngay đêm nay."
Lá bài tẩy thật sự—OpenAI ra mắt chip tự phát triển đầu tiên 'Jalapeño'
Và ngay trước đó, OpenAI chính thức ra mắt con chip tự phát triển đầu tiên trong lịch sử — Jalapeño.
Sự ra đời của con chip này trực tiếp giải thích logic sâu xa phía sau sự hợp tác giữa OpenAI và Cerebras: thông qua việc khám phá phần cứng suy luận hàng đầu từ bên thứ ba, OpenAI đã hoàn toàn nắm rõ được điểm then chốt và giá trị của kiến trúc suy luận chuyên dụng, đồng thời chuyển hóa chúng thành nền tảng hạ tầng do chính mình kiểm soát.
Jalapeño là một trong những giống ớt Mexico có độ cay nhẹ nhất. OpenAI đặt tên như vậy rõ ràng là muốn cho thấy: đây chỉ là món khai vị.
Con chip này là ASIC được thiết kế tùy chỉnh dành riêng cho suy luận mô hình lớn. Ngay từ khi vẽ đường dây đầu tiên, mỗi transistor của nó đều được tối ưu hóa cho một mục đích duy nhất: chạy mô hình lớn.
Đáng ngạc nhiên là Jalapeño không chỉ chạy trên các mô hình tự phát triển của OpenAI, mà kiến trúc của nó còn tương thích với các LLM trong toàn ngành, thể hiện tham vọng lớn về nền tảng.
Hơn nữa, thiết kế và sản xuất lô chip này chỉ mất đúng 9 tháng.
Đằng sau điều này là một liên minh công nghiệp cực kỳ mạnh mẽ:
Kiến trúc do chủ đạo: OpenAI trực tiếp thiết kế kiến trúc nền tảng.
Chip implementation and interconnection: Chip giant Broadcom provides powerful implementation capabilities and network interconnection technical support.
System integration: Celestica is responsible for final board manufacturing and rack-level physical integration.
Ăn toàn bộ chuỗi công nghiệp, tham vọng đế chế toàn diện của OpenAI
Tự huấn luyện mô hình, tự thiết kế chip, tự tối ưu suy luận, tự kiểm soát triển khai.
Rõ ràng, mục tiêu của OpenAI là một đế chế AI toàn diện khổng lồ.
Tuy nhiên, tham vọng của OpenAI còn điên rồ hơn cả Apple và Google, khi họ sở hữu một vòng xoáy siêu cấp chưa từng có: dùng AI để tăng tốc xây dựng cơ sở hạ tầng AI, sau đó dùng cơ sở hạ tầng mạnh mẽ hơn đã được xây dựng để vận hành các mô hình AI mạnh mẽ hơn.
Theo kế hoạch lớn mà OpenAI công bố, các trung tâm dữ liệu siêu cấp đầu tiên với công suất GW sẽ bắt đầu được triển khai cùng các đối tác cốt lõi như Microsoft từ cuối năm 2026.
Toàn bộ lượng điện tiêu thụ của một thành phố cỡ trung sẽ được sử dụng để vận hành các kệ máy suy luận cho Jalapeño và thế hệ chip ớt tiếp theo.
Hãy sẵn sàng, rất sớm, chúng ta sẽ chứng kiến GPT-5.6 Sol chạy trên wafer Cerebras với tốc độ 750 Tokens/s, phá vỡ lời nguyền vật lý về tham số và tốc độ suy luận.
Tài liệu tham khảo: https://x.com/bleysg/status/2073937651150029084
Bài viết này đến từ tài khoản WeChat "New Intelligence Yuan", tác giả: Apocalypse of ASI; biên tập: Aeneas