Con chip Jalapeño của OpenAI vượt trội hơn Blackwell của NVIDIA về hiệu suất

Tác giả: SemiAnalysis

Biên dịch: Deep潮 TechFlow

Dẫn nhập của Shenchao: Dữ liệu thực tế của Jalapeño, chip suy luận tự phát triển đầu tiên của OpenAI, đã được tiết lộ, với hiệu suất tiết kiệm điện trực tiếp vượt trội so với flagship hiện tại của NVIDIA là Blackwell, tiến gần đến thế hệ tiếp theo là Rubin. Đối với các công ty AI đang gặp khó khăn vì giới hạn điện năng tại trung tâm dữ liệu, chip này có thể thay đổi cục diện thị trường tính toán. Tuy nhiên, vẫn còn là dấu hỏi liệu thế hệ chip đầu tiên này có thực sự lay chuyển hệ sinh thái CUDA của NVIDIA hay không.

Trong hai năm qua, OpenAI đã âm thầm phát triển “Jalapeño”, một con chip suy luận vừa được công bố tại sự kiện Hot Chips. Tin đồn về việc sản xuất thành công đã lan truyền một thời gian, nhưng giờ đây chúng tôi đã có được các chi tiết cụ thể. OpenAI đã mời chúng tôi xem xét chip, vào phòng thí nghiệm để xác minh mức độ thật sự của nó, và thực hiện kiểm tra hiệu năng bằng bộ công cụ InferenceX của chúng tôi.

Tháng 6 năm nay, OpenAI đã công bố dự án chip hợp tác với Broadcom, được thiết kế từ đầu dành riêng cho suy luận LLM. Công việc thiết kế bắt đầu vào giữa năm 2024, chỉ mất khoảng 16 tháng từ việc tuyển dụng đội ngũ ban đầu đến sản xuất chip, một chu kỳ phát triển ASIC cực kỳ nhanh.

Thông thường, các chip thế hệ đầu tiên không có tính cạnh tranh, nhưng OpenAI đã làm ngược lại khi đánh bại tất cả các chip của NVIDIA, AMD và Google mà chúng tôi có thể thử nghiệm trên nhiều mô hình mã nguồn mở hàng đầu, dẫn đầu ngành công nghiệp. OpenAI thành công nhờ thiết kế tích hợp tối ưu giữa phần mềm và phần cứng. Điều đáng ngạc nhiên là OpenAI không tập trung quá mức vào một khâu cụ thể nào trong suy luận mô hình, mà thay vào đó tập trung vào việc tạo ra một chip phổ quát có thể cung cấp hiệu năng cao trong mọi kịch bản.

Bài viết này sẽ đi sâu vào các chi tiết kiến trúc, chi tiết phần mềm và kết quả hiệu suất của Jalapeño trên InferenceX.

Tất cả mọi người đều nói rằng chip của OpenAI được thiết kế riêng cho các mô hình OpenAI, nhưng điều đó là sai, OpenAI đã phát triển một chip phổ quát dành cho suy luận AI.

Thời gian biểu quá điên rồ. Điều này cho thấy tuyên bố “sử dụng AI để tăng tốc thiết kế chip” là có thật. Dù thời gian biểu rất nhanh, OpenAI đã chi rất nhiều tiền, đưa ra các quyết định thiết kế thực tế và đội ngũ cực kỳ mạnh mẽ, nên điều này không gây ngạc nhiên.

Chỉ nhìn vào thông số kỹ thuật, nó ngay lập tức trở thành đối thủ cạnh tranh mạnh mẽ:

Và sử dụng HBM4 để nó đủ mạnh để sánh ngang với các GPU hàng đầu của NVIDIA và AMD:

Nhiều phương tiện truyền thông đã làm theo những lời nói bâng quơ của OpenAI, tuyên bố rằng chip này sẽ tối ưu hóa các mô hình của họ theo cách mà các chip khác không thể làm được. Điều này là sai. Jalapeño là một chip suy luận tổng hợp, có thể chạy nhiều mô hình và nhiều loại công việc khác nhau, bao gồm cả bài kiểm tra InferenceX của chúng tôi—chúng tôi đã chạy bài kiểm tra này cùng với các kỹ sư của OpenAI trong phòng thí nghiệm. Như một trò đùa, OpenAI thậm chí còn cho chúng tôi xem nó chạy trò chơi Doom, trò chơi đã được port lên chip của họ chỉ bằng các lời nhắc Codex.

Dưới đây là kết quả hiệu suất/watt quan trọng nhất của chúng tôi, đo lường thông lượng token trên mỗi megawatt công suất tiêu thụ tổng. Jalapeño vượt trội hoàn toàn so với tất cả các chip khác. Tất cả các kết quả này đều không sử dụng dự đoán đa token (MTP), trong khi các chip khác trong biểu đồ đều được cấu hình tối ưu cho từng SKU và đã bật MTP.

Jalapeño trong hầu hết mọi kịch bản đều vượt trội về hiệu suất/watt so với Blackwell, mà không cần tối ưu hóa cho bất kỳ điểm cụ thể nào trên đường cong. Nó không chỉ thể hiện xuất sắc trong các cảnh huống độ trễ thấp, mà còn nổi bật trong các cảnh huống thông lượng cao. So sánh công bằng hơn là xem kết quả dự đoán từng token, Jalapeño vượt xa tất cả đối thủ cạnh tranh. Trong các kịch bản đồng thời thấp, Jalapeño thể hiện tính tương tác đáng kinh ngạc, đạt hơn 700 token mỗi người dùng mỗi giây trên mô hình DeepSeek R1 với mức đồng thời là 1.

Điều đáng kinh ngạc là tất cả những điều này đều được thực hiện bằng dự đoán token đơn (STP), không có giải mã suy luận và không tách biệt tiền điền-giải mã. Ngoài DeepSeek R1, chúng tôi còn thấy một số mô hình khác, bao gồm Kimi-K2.5 và GPT-OSS, đạt khoảng 1.400 token mỗi người dùng mỗi giây. Đối với tất cả các mô hình, chúng tôi xác nhận rằng kết quả đánh giá GSM8k của Jalapeño tương đương với chip NVIDIA.

Có một vài lưu ý cần chú ý. Thứ nhất, tất cả dữ liệu đều do OpenAI cung cấp. Chúng tôi đã kiểm tra trực tiếp InferenceX trong phòng thí nghiệm, nhưng chưa chạy toàn bộ bộ benchmark InferenceX và cũng chưa thấy kết quả của AgentX. AgentX là bộ benchmark ưu tiên của chúng tôi để so sánh hiệu năng chip, vì bộ dữ liệu của nó với ngữ cảnh cực dài và tính chất đa vòng lặp có thể phản ánh hành vi bộ nhớ đệm dưới tải làm việc thực tế. Các khung làm việc hiển thị hiệu suất tốt trên 8k1k có thể cho kết quả kém hơn trên AgentX, vì tải làm việc thực tế sẽ thử thách các thành phần như bộ định tuyến, cơ chế bộ nhớ đệm tiền tố, quản lý bộ nhớ đệm và hạ tầng offload. Bài kiểm tra 8k1k một vòng không bao quát được những yếu tố này. Để biết thêm chi tiết, vui lòng đọc bài viết về AgentX của chúng tôi.

AgentX - InferenceXv3: Liệu hàng rào CUDA còn giữ được thế mạnh trong suy luận tác nhân không?

Thứ hai, chúng tôi cho rằng việc so sánh với Blackwell có phần chưa đầy đủ và không hoàn toàn công bằng. Đối thủ thực sự của Jalapeño là các chip như Rubin cũng sử dụng HBM4. Hệ thống Vera Rubin hiện đã bắt đầu giao hàng cho khách hàng, trong khi Jalapeño của OpenAI mới chỉ có mẫu kỹ thuật và còn một thời gian nữa mới đạt đến sản xuất hàng loạt.

Do đó, hiệu năng thực sự nên được so sánh với Rubin, chứ không phải Blackwell. Về mặt nào đó, chúng ta đã kỳ vọng các chip tùy chỉnh như Jalapeño sẽ vượt trội hơn Blackwell. Hiệu suất trên watt của Vera Rubin NVL72 cao gấp 5,4 lần so với GB200 NVL72, điều này chúng tôi đã đề cập trong bài phân tích về tuyên bố hiệu năng của NVIDIA và CoreWeave vào tháng trước. Sau đó, chúng tôi sẽ so sánh Jalapeño với dữ liệu hiệu năng của Vera Rubin vào tháng 7.

Vera Rubin NVL72 so sánh với GB200 NVL72? Phân tích TCO và kiến trúc

Thứ ba, mô hình được thử nghiệm không nằm ở前沿 của các mô hình mã nguồn mở. NVIDIA và AMD đã công bố kết quả của các mô hình lớn hơn như DeepSeek V4 Pro và Kimi K3 thông qua AgentX. Mô hình càng lớn và càng mới được phát hành, thì việc chạy chúng trên chip mới càng trở nên phức tạp. Tuy nhiên, mô hình mà OpenAI chạy được trên Jalapeño cũng không phải là nhỏ.

Mục tiêu thiết kế của OpenAI là hiệu suất trên mỗi watt. Lý do rất đơn giản: OpenAI hiện bị giới hạn bởi điện năng của trung tâm dữ liệu, chứ không phải ngân sách hay không gian phòng máy, do đó số token trên mỗi megawatt là vô cùng quan trọng. Tại Computex 2026, Huang Renxun cho biết hiệu suất trên mỗi watt, độ tin cậy và tuổi thọ dài là những đặc tính cốt lõi của GPU trong tương lai. Ông nói: “Nếu bạn có 1 gigawatt điện, thì sản lượng trên mỗi watt chính là doanh thu.” Ông cũng nhấn mạnh rằng việc lựa chọn kiến trúc sai chỉ vì chip rẻ hơn là không hợp lý.

NVIDIA cũng nhấn mạnh điều này trong bài thuyết trình Vera tại Hot Chips 2026, đồng thời trình bày cùng biểu đồ doanh thu: “Trung tâm dữ liệu ngày nay bị giới hạn bởi điện năng.” Điện năng là yếu tố then chốt và thúc đẩy doanh thu.

Các nhà vận hành không thể dễ dàng tăng thêm megawatt. Thời gian cần để tăng GPU và mở rộng dung lượng lưới điện chênh lệch rất lớn. Giới hạn điện năng của trung tâm dữ liệu bị hạn chế bởi nhiều yếu tố, chẳng hạn như kết nối tiện ích, cơ sở hạ tầng, khả năng làm mát và thiết kế UPS/điện dự phòng. Trễ lưới điện thường xuyên vượt quá tiến độ phần cứng và xây dựng, dẫn đến nhu cầu về dung lượng điện sau đồng hồ. Nghĩa là xây dựng tuabin khí và máy phát điện tại chỗ ngay tại trung tâm dữ liệu. Những dung lượng này nằm sau đồng hồ tiện ích và không phụ thuộc vào lưới điện công cộng, giúp các nhà vận hành cung cấp điện cho cơ sở mà không cần chờ kết nối lưới và nâng cấp tiện ích. Đây chính là lý do Colossus 2 của xAI phụ thuộc nặng nề vào điện sau đồng hồ, trong khi kết nối lưới điện thực tế của nó vẫn còn chậm trễ đáng kể. Xem thêm mô hình năng lượng của chúng tôi.

Như chúng tôi đã viết trong bài đăng trên X, tok/s/MW có thể được đơn giản hóa thành số token mỗi joule. Vì watt chính là joule mỗi giây. Do đó, tok/s/MW đại diện cho hiệu suất hệ thống và khả năng chuyển đổi năng lượng thành token.

Trong lĩnh vực này, Jalapeño thậm chí còn vượt trội hơn cả Rubin. Tốc độ thông lượng token mỗi megawatt STP của Jalapeño do OpenAI phát triển đã vượt qua kết quả MTP của Vera Rubin. Kết quả này được NVIDIA và CoreWeave công bố vào tháng Bảy. Nó cũng vượt xa kết quả MTP của GB200 vào năm 2025. Như chúng tôi đã đề cập trong bài viết về Vera Rubin, việc so sánh VR với kết quả GB200 năm 2025 là hợp lý vì cả hai đều ở giai đoạn khởi đầu tương tự. Đồng thời, so sánh với GB200 năm 2025 giúp duy trì mức độ trưởng thành phần mềm không đổi. Theo logic này, chúng tôi so sánh ba kết quả: kết quả mới nhất của Vera Rubin vào tháng 7 năm 2026, kết quả GB200 năm 2025 và kết quả Jalapeño hiện tại. Việc so sánh này rất hợp lý vì đây là dữ liệu Rubin công khai tốt nhất. Hơn nữa, OpenAI mới chỉ sản xuất chip của mình sau khi Rubin ra mắt. Cả OpenAI và Rubin đều vẫn còn non trẻ, do đó hiệu suất của họ sẽ tiếp tục được cải thiện.

Về hiệu suất/chi phí sở hữu tổng thể, Vera Rubin và Jalapeño ngang ngửa nhau, với số lượng token đầu ra gần như tương đương trên mỗi đô la. Tuy nhiên, như đã nêu trước đó, kết quả của Jalapeño chưa sử dụng giải mã phỏng đoán. Trong khi đó, kết quả của Vera Rubin đã sử dụng giải mã phỏng đoán — phương pháp này có thể giảm chi phí mỗi token xuống khoảng 3-5 lần. Khi Jalapeño triển khai giải mã phỏng đoán, chi phí hiệu quả để cung cấp token sẽ cao hơn nữa. Tất nhiên, một phần lợi thế về TCO đến từ việc tránh xa biên lợi nhuận cao của NVIDIA để chuyển sang biên lợi nhuận thấp hơn (nhưng vẫn rất cao) của Broadcom. Nhưng đây không phải là toàn bộ lý do. Ví dụ, các dự án AI ASIC của Meta và Microsoft đã đầu tư lâu hơn nhưng vẫn chưa thành công trong việc triển khai thực tế. Điều này cho thấy chi phí chỉ là một phần trong phương trình. Để xem phân tích đầy đủ TCO của Jalapeño, vui lòng tham khảo mô hình TCO AI Cloud của SemiAnalysis.

Về mặt kiến trúc, OpenAI chọn không tách riêng prefill và decode sang các cụm chip khác nhau. Mô hình nháp và mô hình chính chia sẻ cùng một chip và cấu trúc kết nối. Thiết kế này hy sinh một phần hiệu quả lý thuyết để đổi lấy sự thuận tiện trong vận hành thực tế. Động lực đằng sau điều này là thành phần tải công việc thay đổi theo thời gian. Ví dụ, tỷ lệ giữa đầu vào, ghi bộ nhớ đệm, đọc bộ nhớ đệm và token đầu ra đã thay đổi đáng kể. Sự thay đổi này xảy ra sau khi chúng ta trải qua ba thế hệ mô hình: tri thức, suy luận và tác nhân, như đã thảo luận trong bài viết gần đây của chúng tôi. Do đó, việc xác định trước một số lượng cố định cho silicon prefill và decode không đồng nhất sẽ dẫn đến hiệu quả kém theo thời gian. OpenAI đã chọn sử dụng cụm đồng nhất trong kiến trúc này và nỗ lực đảm bảo các chip hoạt động tốt trên mọi nhiệm vụ.

Và nó đã làm được điều đó. Trên Kimi K2.5 (Cursor Composer 2.5 dựa trên mô hình này), Jalapeño đạt gần 700 tok/s/user. Tốc độ này nhanh hơn gấp hơn 9 lần so với chip đứng thứ hai với 100 tok/s/user.

Trên GPT-OSS, lại là một trận áp đảo khác. Tỷ lệ thông lượng tương tác mỗi megawatt của Jalapeño gần như gấp đôi điểm thông lượng cao nhất của GB200, và hơn 50 lần so với điểm đồng thời 1 của GB200. Các điểm Jalapeño với đồng thời cao hơn sử dụng EP8.

Kết quả này thật ấn tượng! Tuy nhiên, chúng ta cần phải kỹ lưỡng hơn: chúng chỉ là 8k1k, độ khó tinh chỉnh thấp hơn nhiều, và chưa có dữ liệu chạy AgentX. Như chúng tôi đã đề cập trong bài viết về AgentX, các tải trọng đa vòng và ngữ cảnh dài sẽ gây áp lực lên nhiều khía cạnh hơn của stack suy luận, ví dụ như bộ định tuyến và bộ nhớ đệm tiền tố. Để đạt hiệu suất tốt trong tải trọng tác nhân, cần thêm nhiều tối ưu hóa nữa. Đọc thêm bài viết về AgentX để biết chi tiết.

AgentX - InferenceXv3: Liệu hàng rào CUDA có thể duy trì được trong suy luận tác nhân không?

Tất cả các kết quả này đều đến từ bước A0 của Jalapeño, chỉ sau 9 tháng kể từ khi dự án khởi động. Tuy nhiên, bước B0 hiện đã có mặt tại nhà máy bán dẫn! Việc tối ưu hóa bước B0 giúp tăng hiệu suất trên mỗi watt khoảng 25% so với silicon A0 trước đó. Cụ thể, bước B0 đạt 13,4 PFLOPs MXFP4 trên một chip có kích thước mask đơn. Chip này được sản xuất bằng công nghệ N3P của TSMC. So sánh với một chip tính toán Rubin đơn lẻ có kích thước tương tự và cùng quy trình, nó đạt 17,5 PFLOPs NVFP4 dày đặc của Rubin.

Do TDP của Jalapeño chỉ là 700W, trong khi Rubin tiêu thụ 900-1150W cho mỗi chip tính toán, hiệu suất này càng đáng ngưỡng mộ. Vì Jalapeño được thiết kế cho suy luận thay vì huấn luyện, OpenAI không cần tăng TDP để tối đa hóa FLOPs. Điều này có thể hiểu được. Nhưng dù sao, các kết quả trên cho thấy Jalapeño cung cấp mức FLOPs lý thuyết đỉnh cao đáng kể.

Khi so sánh trực tiếp với các bộ tăng tốc khác, Jalapeño có băng thông HBM cao nhất trên mỗi watt và FLOPs cao nhất trên mỗi watt, mức hiệu năng tương đương với cấu hình Rubin Max-Q 1800W.

Jalapeño sẽ tích hợp HBM4, trở thành một trong những chip sớm áp dụng công nghệ này sau Nvidia và AMD, thậm chí còn dẫn trước các dự án TPU và Trainium hiện có. Một trong những nguyên tắc kiến trúc cốt lõi của Jalapeño là khai thác tối đa băng thông HBM, do đó việc hy sinh sử dụng HBM không phải loại cao cấp nhất sẽ đi ngược lại mục tiêu này. Điều này giúp đạt được băng thông bộ nhớ mỗi gói lên tới 15,4 TB/s, vượt trội hơn tất cả các bộ tăng tốc đang bán trên thị trường sử dụng HBM3E. Băng thông 15,4 TB/s cho thấy HBM4 của nó có thể đạt tốc độ chân 10 Gbps, cao hơn nhẹ so với 9,6 Gbps của HBM4 trong Rubin của Nvidia. HBM rất có thể do Samsung cung cấp.

OpenAI đã hoàn thành việc sản xuất Jalapeño vào tháng 11 năm 2025, chính xác hơn là việc sản xuất thiết kế CoWoS, chứ không chỉ là lõi trên cùng. Sau 9 tháng kể từ khi sản xuất Jalapeño vào tháng 11 năm 2025 và chỉ sau 3 tháng gỡ lỗi trên silicon thực tế, OpenAI đã đạt được kết quả rất tốt với Jalapeño. Điều này càng ấn tượng hơn khi đội ngũ bắt đầu từ con số không trong phần mềm stack.

Trong khi đó, lô chip CoWoS của Rubin đã hoàn thành vào tháng 10 năm 2025, sớm hơn một tháng, nhưng kết quả sớm duy nhất mà chúng ta hiện tại thấy đến từ mẫu kỹ thuật của CoreWeave. Nvidia không cho phép chúng ta kiểm tra và công bố kết quả benchmark như OpenAI, cho thấy phần mềm chip của họ vẫn chưa chín muồi. Với khả năng OpenAI chạy nhanh các mô hình mới trên chip của riêng mình, hàng rào CUDA có thể đã biến mất.

Chúng vẫn chưa được tối ưu hóa nhiều, và chúng ta có thể thấy rằng nhìn chung Jalapeño mang lại dữ liệu tốt hơn. Chúng tôi không cho rằng phần cứng Nvidia kém hơn, mà là phần mềm của Jalapeño đã tiến bộ nhanh hơn trong việc gỡ lỗi so với Nvidia. Điều này thể hiện sức mạnh của thiết kế đồng bộ phần cứng/phần mềm, đây cũng là lĩnh vực chính mà các đội ASIC tại các phòng thí nghiệm前沿 hàng đầu có thể vượt qua các nhà sản xuất chip thương mại trưởng thành hơn. Một cách trái ngược với trực giác, việc bắt đầu từ đầu có thể cũng mang lại lợi ích cho OpenAI, vì nó có thể đưa ra các quyết định kiến trúc hoàn toàn mới mà không bị ràng buộc bởi tính tương thích ngược hoặc các phiên bản phần mềm cũ.

Mặc dù OpenAI đã có mẫu thử nghiệm Jalapeño, nhưng kế hoạch sản xuất hàng loạt hiện dự kiến sẽ tăng dần từ năm 2027, với phần lớn sản lượng được sắp xếp vào cuối năm tới. Để biết thêm chi tiết về số lượng đơn vị và giá bán trung bình, vui lòng tham khảo Mô hình Accelerator của SemiAnalysis.

Có thể nói, OpenAI Jalapeno là một ASIC quy mô lớn thực sự.

So sánh với thời gian tuyến của Rubin, tốc độ của Jalapeño nhanh một cách kinh ngạc. Như đã trình bày, dù Rubin bắt đầu sớm hơn, kết quả của Jalapeño vẫn vượt trội hơn Rubin.

Kiến trúc Jalapeño

Xem xét về mặt kiến trúc, bộ xử lý ma trận của con chip này sử dụng định dạng số MXFP và mảng xung động lưu trữ trọng số, tương tự TPU. Tuy nhiên, khác với TPU trực tiếp, nó hỗ trợ các hình dạng/kích thước nhỏ hơn, điều này có nghĩa là nó sẽ không gặp phải những sự sụt giảm hiệu năng kỳ lạ do không khớp hình dạng trong phép nhân ma trận trên các mảng xung động lớn hơn.

Nó còn có lõi vô hướng 64-bit và lõi vector FP32/INT32. OpenAI cũng đã đầu tư vào thiết kế dự phòng ở cấp độ tray, đồng thời tích hợp khả năng phục hồi năng suất ở cấp độ lõi và kênh. Họ tuyên bố rằng việc hỗ trợ bởi AI trong thiết kế chip đã giúp giảm 8% diện tích SIMD và 10% diện tích ma trận. Mặc dù họ không nêu rõ các điều kiện PVT (công nghệ/điện áp/nhiệt độ), nhưng cũng đề cập rằng mô-đun hỗ trợ bởi AI đã cải thiện thời gian và công suất so với mô-đun ban đầu.

Kiến trúc Jalapeño tập trung vào việc loại bỏ việc di chuyển bộ nhớ của KVCache và trọng số, cũng như độ trễ và chi phí cố định, nhằm tiếp cận gần hơn với hiệu suất đỉnh nguyên bản/băng thông so với các bộ tăng tốc khác, ngay cả khi ở kích thước lô nhỏ hoặc hình dạng nhỏ.

Các lõi và HBM được chia thành nhiều mảnh, mỗi mảnh lõi có tầm nhìn địa phương độ trễ thấp đối với mảnh HBM của riêng nó. Đồng bộ hóa giữa các mảnh được thực hiện thông qua mạng tập hợp chuyên dụng băng thông cao. Cấu trúc bộ nhớ tối giản này mang lại cho Jalapeño lợi thế tiềm năng lớn so với GPU, vì việc truy cập bộ nhớ trên GPU phải đi qua hệ thống bộ nhớ phức tạp, tạo ra độ trễ lớn cần được phân bổ hoặc ẩn đi trên các hình dạng lớn.

Việc lựa chọn này khả thi vì việc đặt trọng số và KV một cách cẩn thận có thể giới hạn việc đồng bộ giữa các lõi vào các giao tiếp băng thông cao, đã biết và giới hạn, ví dụ như giao tiếp song song tensor có thể chồng lấp với tính toán.

Ngoài ra, còn có một NoC chung bổ sung dùng cho giao tiếp chung và truy cập mạng mở rộng. Nhìn chung, OpenAI đã tiết kiệm đáng kể năng lượng và đạt được sự cải thiện hiệu suất đáng kể nhờ vào hệ thống NOC và bộ nhớ được đơn giản hóa so với Nvidia và Google.

Ở cấp độ cốt lõi, OpenAI mô tả một lõi sắp xếp ngoài thứ tự (OoO) với bộ nhớ đệm L1. Điều này khác biệt rõ rệt so với mô hình mà chúng ta thấy ở các bộ tăng tốc khác, vốn đều sử dụng bộ nhớ đệm do phần mềm quản lý, thường đi kèm hỗ trợ DMA bất đồng bộ. Lập luận ở đây là điều này giúp Jalapeño tránh được các chi phí cố định như độ trễ rào cản, trong khi ở các bộ tăng tốc khác (như GPU), những chi phí này cần được che giấu hoặc phân bổ bằng cách tăng khối lượng công việc trên mỗi lõi, khiến việc tiếp cận băng thông/độ mạnh tính toán đỉnh nguyên bản trở nên khó khăn hơn.

Chi phí là Jalapeño do đó phụ thuộc vào việc prefetch tốt để đảm bảo các yêu cầu bộ nhớ được gửi kịp thời, nhưng điều này khó dự đoán và suy luận hơn. Tuy nhiên, với sự hỗ trợ của Codex để lấy thông tin theo dõi chi tiết trong một khung tốt, việc tìm ra kernel tối ưu với prefetch tốt nhất cho một hình dạng nhất định có thể gần như không cần can thiệp thủ công. Chúng tôi cho rằng đây chính là lý do OpenAI có thể chạy nhanh đến vậy cho DeepSeek R1, Kimi K2.5 và GPT-OSS.

Lõi cũng hỗ trợ các kích thước ma trận "nhỏ hơn", điều này (tùy thuộc vào mức độ nhỏ) sẽ giúp nó linh hoạt hơn trên các mô hình và kích thước lô khác nhau, ít nhạy cảm hơn với việc căn chỉnh kích thước ma trận, chi phí lấp đầy và hiệu suất phân mảnh kém. Ví dụ: các chip TPU, Trainium và Etched có các mảng xung rất lớn, có thể yêu cầu kích thước lô lớn hoặc các kích thước mô hình chia hết chính xác để tránh hiệu suất phân mảnh kém.

Với Jalapeño, OpenAI tập trung vào việc loại bỏ độ trễ cố định trong hệ thống để tiếp cận hiệu suất roofline càng gần càng tốt ở mọi khu vực của đường cong Pareto. Về mặt lý thuyết, điều này có thể mang lại lợi thế so với GPU tại nhiều điểm hoạt động:

Hiệu năng tối đa của suy luận độ trễ thấp / khối lượng nhỏ vượt trội hơn nhiều so với GPU. GPU bị giới hạn bởi các chi phí cố định như độ trễ khởi động, độ trễ rào cản và độ trễ hệ thống bộ nhớ.

Ngay cả với khối lượng lớn hoặc ngữ cảnh dài, vẫn có tiềm năng tiếp cận gần hơn với roofline phần cứng.

Đi kèm với một cảnh báo: ngay cả khi về mặt lý thuyết có giới hạn hiệu suất, các lõi thực tế có thể khó đạt được hiệu suất đó. Do đó, phương pháp của nó dường như là:

Thiết kế hiệu suất tối đa cho mọi dạng tải công việc

Để Codex đảm nhiệm công việc nặng nhọc, tìm ra kernel thực hiện giới hạn đó

Đội ngũ OpenAI đã khởi động tải công việc InferenceX trên Jalapeño với tốc độ xử lý cực nhanh.

We are therefore optimistic about this approach.

Nếu Jalapeño thành công, sẽ phát ra tín hiệu mạnh mẽ.

Sự đam mê của ngành đối với mô hình lập trình và trình biên dịch phổ quát hoàn hảo sẽ bị các mô hình AI tiên tiến phá vỡ.

OpenAI viết kernel Jalapeño như thể viết mã hợp ngữ.

Mỗi lõi đều có mã được tối ưu hóa thủ công, một số khoảng 3.000 dòng.

Còn có hỗ trợ kiểm tra tính chính xác và sanitizer tùy chỉnh.

Công việc lõi giai đoạn đầu là có sự can thiệp của con người, chứ không hoàn toàn tự động.

Sau đó chuyển sang phiên bản nội bộ Codex quy mô lớn hơn.

OpenAI dự định bán phiên bản này cho các khách hàng doanh nghiệp.

Động cơ dịch vụ nội bộ có tên là “Teacup”.

Điều thú vị là OpenAI trước đây không có triển khai lõi MLA nội bộ.

Cho đến khi họ thực hiện kiểm tra hiệu năng DeepSeek bằng InferenceX.

Codex có thể viết ra các lõi hiệu quả và có thể sử dụng nhanh chóng mà không cần sự can thiệp của đội ngũ kỹ sư lõi.

Điều này thể hiện khả năng phát triển đường ống phần mềm.

OpenAI sử dụng Gluon để lập trình cho Jalapeño.

Gluon là ngôn ngữ lập trình lõi của OpenAI.

Gluon được xây dựng trên Triton, giữ nguyên mô hình lập trình SPMD (Single Program Multiple Data) của Triton.

Nhưng nó làm lộ ra các mức trừu tượng lập trình nền tảng.

Ví dụ, đối với NVIDIA GPU, nó cung cấp API ánh xạ đến các lệnh PTX.

Bao gồm các lệnh MMA, các lệnh TMA, cơ chế mbarrier, v.v.

Abstraction độc đáo nhất mà Gluon cung cấp là bố cục.

Thông thường, bố cục xác định ánh xạ giữa tài nguyên phần cứng và các phần tử tensor.

Ví dụ: thanh ghi thứ 5 của Warp 9 tương ứng với phần tử tensor ở hàng thứ 6, cột thứ 7.

Sự trừu tượng bố cục của Gluon dựa trên các Linear Layouts.

Đây là một đại số bố cục do OpenAI phát minh ra.

Linear Layouts định nghĩa hình thức toán học về bố cục là gì.

Cung cấp công cụ bố trí thao tác.

Điều này hỗ trợ nhiều tính năng, chẳng hạn như chuyển đổi bố cục có thể chứng minh được tính chính xác.

Còn có swizzling bộ nhớ tối ưu.

Trong mô hình lập trình của Jalapeño, mỗi chương trình Gluon được ánh xạ đến một luồng bền vững.

Chúng tôi cho rằng điều này ngụ ý Jalapeño phù hợp với mô hình lập trình lõi bền vững.

Mỗi chương trình được thực thi trên nhiều tile, với công việc được phân bổ bởi lập trình viên, chứ không phải bởi bộ lập lịch phần cứng.

OpenAI đã đề cập đến TensorInfo.

Đó là một sự trừu tượng của bố cục được mã hóa rõ ràng.

Đây có thể là một bộ bố cục được thiết kế dành cho Jalapeño.

Nó sẽ được điều khiển bởi Linear Layouts.

Cuối cùng, mỗi lõi cung cấp đơn vị truy xuất dữ liệu trước và tách rời đơn vị sắp xếp không theo thứ tự.

Ví dụ: người dùng có thể lập trình để chờ dữ liệu được tải trước.

Dữ liệu này đang bị khóa bởi semaphore.

Điều讽刺 là các mô hình của OpenAI như GPT 5.6 Sol hiện đang chạy trên GPU của NVIDIA.

We are used to design chips that pose a real threat to the CUDA moat.

GPU của chính NVIDIA đang thúc đẩy người kế nhiệm tiềm năng theo thời gian thực.

Khi so sánh qua các khung thời gian, chúng ta còn có thể thấy tốc độ phát triển của Jalapeño.

Trong chưa đầy hai tuần, thông lượng của một số kịch bản tương tác đã tăng hơn 2 lần.

Mỗi tarball chúng tôi nhận được từ đội Jalapeño đều chứa đựng một thế giới kỳ diệu.

Không chỉ cải thiện hiệu năng lõi, đội ngũ Jalapeño đã kích hoạt TP32 trong vòng 8 ngày.

Mở rộng từ cấu hình TP8 trước đó, vượt ra ngoài hệ thống đơn lẻ để đạt cấu hình toàn bộ kệ chạy mô hình lớn.

This development speed is indeed impressive.

Để xác minh hiệu suất trước khi chạy trên phần cứng thật, OpenAI còn có trình mô phỏng “chilisim”.

Độ chính xác trong phạm vi 5% của phần cứng thực tế, sử dụng bus trace độ rộng cố định.

Khả năng theo dõi trên A0 bị hạn chế, nhưng được cải thiện đáng kể trên B0.

Điều này có thể nhờ vào dữ liệu hoạt động thực tế của wafer A0.

Kỹ sư đã trình diễn việc chạy mô hình nội bộ bằng Codex CLI.

Nó có biệt danh là “Raiku” hoặc “5.3 Codex Spark”, TPOT là 1.2ms.

Đội ngũ cũng đã trình diễn mã Codex chạy trực tiếp trên chip.

Bao gồm Doom ở 36 FPS và mô phỏng động lực học chất lỏng FP32.

Còn có hình ảnh trực quan kéo thả “Liquid Light”.

Về mô hình, giải pháp megakernel nội bộ của OpenAI có biệt danh là “gigakernel”.

Nó được xây dựng xung quanh một megakernel duy nhất, lặp lại trên thiết bị để giảm chi phí CPU và thời gian khởi động.

Đội ngũ vẫn đang tiếp tục phát triển chiến lược tính toán trong quá trình kiểm thử.

Đặc biệt chú ý đến cách phối hợp sử dụng 1 triệu lần rollouts.

Chúng tôi đã đề cập trước đây rằng OpenAI không sử dụng tách prefill-decode trên các chip này.

Điều này khiến chúng tôi ngạc nhiên, vì hiệu suất GPU của NVIDIA và AMD đã được hưởng lợi đáng kể từ PDD.

Ngay cả trên phần cứng đồng nhất.

Hãy cùng tìm hiểu sâu lý do tại sao đội Jalapeño lại làm như vậy.

Khi tải công việc cố định, việc tách rời prefill-decode trông rất hấp dẫn.

Prefill và decode gây áp lực khác nhau lên phần cứng.

Phân bổ từng giai đoạn vào các bể tinh chỉnh riêng biệt để tăng hiệu suất dưới tỷ lệ đầu vào/đầu ra đã chọn.

Tuy nhiên, lưu lượng sản xuất sẽ không duy trì tỷ lệ này.

Độ dài chuỗi đầu vào/đầu ra, độ song song, tỷ lệ hit bộ nhớ đệm, tỷ lệ chấp nhận suy luận và mục tiêu độ trễ thay đổi suốt cả ngày.

Khi thiết bị được chia thành các nhóm prefill và decode, nhu cầu prefill quá nhiều sẽ khiến các chip decode bị nghỉ, dẫn đến yêu cầu bị xếp hàng.

Tuy nhiên, nếu yêu cầu giải mã quá nhiều thì ngược lại.

Người vận hành phải liên tục dự đoán chính xác việc chia tách và dành sẵn dung lượng dự phòng cho cả hai bên.

Và tái cân bằng một hệ thống có tỷ lệ lý tưởng thay đổi liên tục.

Trong hệ thống thống nhất, một số tài nguyên có thể bị sử dụng không đầy đủ trong các giai đoạn cụ thể.

Nhưng mỗi thiết bị vẫn có thể được sử dụng để phục vụ yêu cầu tiếp theo.

Trong hệ thống tách biệt, toàn bộ chip có thể bị bỏ trống chỉ vì thuộc về nhóm sai.

Sử dụng cục bộ trông có vẻ tốt hơn, nhưng sử dụng toàn cầu có thể rất kém.

Separation will also destroy locality.

prefill worker tạo KV cache lớn mà decode worker cần ngay lập tức.

Hệ thống phải truyền trạng thái này qua mạng để quá trình tạo có thể tiếp tục.

Điều này làm tăng tiêu thụ băng thông, đồng bộ hóa, xếp hàng và một miền sự cố khác.

Chi phí cũng tăng theo độ dài chuỗi đầu vào do KV cache đang tăng lên.

Tuy nhiên, việc tránh di chuyển KV chủ yếu nhằm tối ưu hóa công suất và độ trễ.

Việc di chuyển một số KV có thể cải thiện hiệu suất sử dụng phần cứng, với chi phí là công suất tiêu thụ và độ trễ cho mỗi yêu cầu.

Các cụm có thể hoán đổi cho nhau có thể chuyển đổi dung lượng giữa các yêu cầu nhạy cảm với độ trễ và các lô hướng đến thông lượng.

Phân chia cố định sẽ khiến phần cứng bị lãng phí khi lưu lượng kết hợp thay đổi.

Ngoài ra, việc thay đổi độ dài ngữ cảnh sẽ làm thay đổi sự cân bằng giữa attention và FFN.

Tỷ lệ phần cứng cố định chỉ hiệu quả gần điểm thiết kế.

Các hạn chế tương tự cũng áp dụng cho giải mã đầu cơ. Mô hình nháp phải cung cấp các token ứng cử với độ trễ cực thấp cho bộ xác minh. Việc tách riêng hai mô hình vào các hồ riêng biệt sẽ biến chu trình giải mã chặt chẽ thành một giao thức phân tán. Việc truyền thông và phối hợp bổ sung có thể nuốt mất độ trễ mà mô hình nháp tiết kiệm được. Chỉ khi đặt cả hai mô hình trên cùng một thiết bị và cấu trúc độ trễ thấp, mới có thể duy trì tính cục bộ cần thiết để việc đầu cơ trở nên đáng giá.

Tuy nhiên, trong những nơi có nhu cầu đủ lớn, ổn định và có thể dự đoán được, việc tách rời vẫn có ưu thế. Đặc biệt là khi GPU truyền thống cần các lô lớn và xử lý theo từng giai đoạn để đạt được thông lượng tốt. Nhưng đây không phải là bữa ăn miễn phí.

Hệ thống Jalapeño được cấu thành từ các khung máy ở cấp độ khung máy, bao gồm khung máy chủ và khung ASIC. Khung máy chủ chứa 16 bo mạch chủ CPU được gọi là “Katsu”. Mỗi Katsu tương ứng với một trong 16 bo mạch ASIC bên phải, được gọi là “Vindaloo”. Mỗi máy chủ được trang bị hai CPU AMD EPYC cấp Turin, mỗi khung có 1,5 TB DRAM, 2x E1.S và 2x M.2 SSD. Mỗi bo mạch còn được trang bị mạng前端 400G (2x200G). Mỗi bo mạch Katsu được kết nối với mỗi bo mạch Vindaloo thông qua 8 cáp PCIe DAC ngoài. Các cáp này được bố trí ngang ở phía trước khung máy. Thiết kế cấp hệ thống được thực hiện hợp tác với Celestica.

Ngăn ASIC bao gồm 16 khay Vindaloo và 8 khay switch mở rộng (6 địa phương + 2 toàn cầu), được đặt tên là “Chana”. Mỗi khay Vindaloo chứa 8 ASIC Jalapeño, tổng cộng 128 ASIC Jalapeño mỗi ngăn. Các ASIC được kết nối với mỗi khay switch Chana thông qua bo mạch lưng bằng cáp đồng, tương tự như Nvidia Oberon. Kiến trúc mở rộng được chia thành miền địa phương và miền toàn cầu. Miền địa phương bao phủ 128 ASIC trong ngăn. Miền toàn cầu kết nối tối đa 16 ngăn hoặc 2.048 ASIC. Chúng tôi sẽ giải thích chi tiết hơn về băng thông và kiến trúc bên dưới.

Công suất cung cấp cho giá đỡ máy chủ bên cạnh khoảng 50 kW (31 kW trong quá trình sản xuất), giá đỡ ASIC tiêu thụ 130 kW. Toàn bộ hệ thống hai giá đỡ tiêu thụ khoảng 160 kW. Về mức tiêu thụ điện, điều này tương đương với một giá đỡ GB300 đôi.

OpenAI có thể kết nối tối đa 2.048 XPU Jalapeño trong một mạng mở rộng duy nhất. Mạng mở rộng bao gồm hai miền. Miền cục bộ kết nối tất cả 128 XPU trong khung thông qua backplane. Miền toàn cầu sử dụng kết hợp cáp đồng và kết nối quang để kết nối 2.048 XPU trên 16 khung. Mỗi khung chứa 8 khay công tắc Chana. Sáu khay công tắc Chana ở giữa được dùng cho miền cục bộ, mỗi khay có một ASIC công tắc Tomahawk 6 102,4T. Hai khay công tắc Chana ở trên cùng và dưới cùng được dùng cho miền toàn cầu. Chúng tôi cho rằng có thể là 2 công tắc Tomahawk 6 102,4T, với tổng công suất tối đa 204,8T mỗi khay.

Trong khu vực cục bộ, 128 chip Jalapeño, mỗi chip XPU có băng thông một chiều 4,8 Tb/s. Chúng được kết nối theo mô hình toàn bộ với toàn bộ đến 6 ASIC Tomahawk 6 với băng thông 102,4 Tb/s. Điều này tương đương với 48 cặp đôi vi sai (DP) đầu cắm nam và nữ trên mỗi XPU. Tổng cộng có 6.144 cặp DP cáp đồng thụ động được sử dụng để mở rộng cục bộ trên mỗi kệ.

Trong miền toàn cầu, 16 kệ với tổng cộng 2.048 XPU được kết nối thông qua tổ hợp bo mạch sau bằng đồng, công tắc điện 204,8T TH6, mô-đun quang 1,6T và công tắc mạch quang. Băng thông một chiều của mỗi liên kết toàn cầu trên mỗi XPU là 1,6 Tb/s. Mỗi XPU có 16 cặp đầu nối nam-nữ (DP) để kết nối với bo mạch sau giữa XPU và công tắc toàn cầu. Mỗi khay công tắc toàn cầu có 2 ASIC, với băng thông đầu ra được phân bổ giữa bo mạch sau và thiết bị quang trước mặt.

Giữa miền địa phương và miền toàn cầu, số lượng đầu nối backplane trên mỗi kệ là 64 cặp DP cho mỗi XPU. Tổng cộng có 8.192 cặp cáp đồng thụ động trên mỗi kệ.

Khu vực toàn cầu sử dụng kiến trúc rail thuần túy, bao gồm 8 rail trong khu vực toàn cầu. Chúng tôi cho rằng OpenAI định tuyến các liên kết quang trong khu vực toàn cầu thông qua các thiết bị chuyển mạch quang học (OCS) được lắp đặt trên mỗi kệ. Băng thông toàn cầu 1,6 Tb/s của mỗi XPU sẽ đi qua tấm lưng đồng đến khay chuyển mạch toàn cầu, sau đó rời khỏi thiết bị chuyển mạch thông qua mô-đun quang 1,6T ở mặt trước. Nó đi vào thiết bị chuyển mạch quang thụ động trước khi rời khỏi kệ. Điều này cho phép mở rộng quy mô miền lên 2.048 XPU, được cấu thành bởi 16 kệ, mỗi kệ chứa 128 XPU.

Vì mạng mở rộng chỉ chiếm khoảng 10% tổng chi phí hệ thống, sự linh hoạt này mang lại lựa chọn quý giá cho các mô hình có từ 10 đến 20 nghìn tỷ tham số hoặc cửa sổ ngữ cảnh từ 2 triệu đến 4 triệu token trong tương lai. Về mặt triển khai, OpenAI hợp tác với neocloud. Đồng thời, họ cũng đã thu thập dữ liệu độ tin cậy với các đối tác trung tâm dữ liệu cách đây một tháng, đồng thời tối ưu hóa thời gian triển khai từ cảng đến kệ.

Tiếp theo, chúng ta sẽ thảo luận về tương lai của Jalapeño, khi token sản xuất đầu tiên của nó sắp ra mắt. Mục tiêu tiếp theo là 100MW, trở ngại chính nằm ở phần cứng: họ có thể sản xuất bao nhiêu, có thể triển khai và vận hành trung tâm dữ liệu hiệu quả đến đâu, cũng như cách xử lý giám sát và độ bền. Phần mềm đã được xác minh và đã có mô hình nội bộ, bất kỳ lợi thế tiên phong nào về phần mềm đều dễ dàng bị bắt kịp. Sau tường trả phí, chúng ta sẽ thảo luận về tác động đến các công ty chip như NVIDIA, AMD, Cerebras, những công ty đã ký hợp đồng với OpenAI trong vài năm tới.

Chúng tôi cũng bao gồm sản lượng, số lượng và tiến độ của các con chip thế hệ tiếp theo trong mô hình Accelerator.

Phần sau là nội dung trả phí, do vấn đề quyền truy cập nên không được dịch thêm, tuy nhiên phần trước đã cung cấp nhiều thông tin phản ánh thách thức của OpenAI đối với chip của NVIDIA. Đối với những người quan tâm đến lĩnh vực chip và cổ phiếu NVIDIA, những thông tin này sẽ mang đến nguồn tham khảo mới mẻ và vững chắc.