Bối cảnh cạnh tranh của các chip AI đang trải qua những thay đổi sâu sắc. OpenAI ra mắt chip Jalapeño chuyên về suy luận LLM, NVIDIA kết hợp GPU với LPU của Groq để thực hiện tính toán hỗn hợp, trong khi Google tách riêng việc huấn luyện và suy luận thành hai chip TPU 8t và TPU 8i. Ba hướng đi này phản ánh nhu cầu khác biệt về tài nguyên phần cứng giữa huấn luyện và suy luận: huấn luyện chú trọng tính toán ma trận và kết nối quy mô lớn, trong khi suy luận đòi hỏi băng thông HBM cao hơn, SRAM lớn hơn và đường dẫn mạng ngắn hơn. Khi khoảng cách giữa các công thức chip cho hai loại workload ngày càng gia tăng, FLOPS không còn là tiêu chí duy nhất để đánh giá, chi phí mỗi token đang trở thành tọa độ mới trong cuộc cạnh tranh phần cứng AI.

Tác giả bài viết, nguồn: LeFeng.com

Chi phí token trở thành tiêu chí mới trong cuộc cạnh tranh phần cứng của các mô hình lớn

Trí tuệ thân thể, tiến vào nhà bếp đầy khói dầu

Câu chuyện làm việc của robot dưới lưu lượng một triệu

Cựu Phó Chủ tịch Covariant AI, Zhoupu Shuzhong đã tóm tắt vai trò của LPU là lấp đầy khoảng trống của Vera Rubin trong khu vực Decode độ trễ thấp.

Thiết kế chip của Groq cũng gần như tập trung vào điều này. Một cụm LPX gồm 256 LPU, tổng cộng chỉ có 128 GB SRAM, dung lượng không thể so sánh với HBM trong cụm GPU, nhưng băng thông SRAM tổng hợp có thể đạt 40 PB/s.

Thiết kế này coi trọng yếu tố “gần”. HBM có thể chứa nhiều trạng thái mô hình nhưng lại ở xa đơn vị tính toán; SRAM thì đắt đỏ và khó mở rộng dung lượng, nhưng dữ liệu nằm ngay bên trong chip, có thể cung cấp băng thông cực cao và độ trễ truy cập cực thấp.

Mỗi bước tính toán đều bị giới hạn, lại thường xuyên truy xuất dữ liệu; việc đặt dữ liệu gần ALU hơn sẽ phản ánh trực tiếp vào thời gian chờ của Token tiếp theo.

Groq còn進一步減少了動態硬體控制。LPU 是確定性執行架構，指令調度主要由軟體提前完成。每顆晶片同時擔當處理器和路由器，編譯器會一併安排計算資源和網路資源，甚至省去了傳統硬體流控和虛擬通道這類機制。

Chi phí cũng rất rõ ràng: kiến trúc này không linh hoạt bằng GPU, và SRAM trên chip không thể chứa toàn bộ trạng thái của mô hình lớn. Do đó, NVIDIA đã không để Groq 3 chạy độc lập toàn bộ mô hình, mà thay vào đó đã xây dựng một hệ thống hỗn hợp phức tạp hơn.

Tiền điền trên GPU, phần lớn Decode được chuyển sang LPU; Attention trong Decode có thể quay lại GPU. GPU và LPU duy trì KV Cache riêng biệt, hai bên chủ yếu trao đổi draft Tokens, đồng thời sử dụng micro-batch để chồng chéo tính toán và truyền thông. Vì LPU là miền đồng bộ, trong khi GPU và KV Cache bên ngoài thuộc hệ thống bất đồng bộ, NVIDIA thậm chí còn thêm FPGA làm cầu nối bất đồng bộ giữa hai bên.

Cấu trúc này cho thấy mức độ phân công trong chip AI đã đạt đến đâu. Nó không chỉ tách biệt thành “chip huấn luyện” và “chip suy luận”, mà ngay cả các phần khác nhau trong một lần Decode cũng có thể được thực hiện trên các kiến trúc khác nhau.

Tuy nhiên, dữ liệu mà NVIDIA trình bày cũng cho thấy ranh giới của con đường này: khi doanh nghiệp chỉ tập trung vào tổng thông lượng và có thể chấp nhận độ trễ cao, Rubin GPU vẫn rất hiệu quả; khi yêu cầu về tốc độ Token cho từng người dùng tăng lên, LPX mới dần phát huy ưu thế, và sau khi sử dụng nhiều LPU hơn, hiệu suất tổng thông lượng cũng sẽ giảm xuống.

Vì vậy, sự ra đời của Groq 3 không có nghĩa là GPU bị loại bỏ trong suy luận. Nó cho thấy một điều khác: rất khó để cùng một GPU đồng thời chiếm giữ cả hai đầu của thông lượng cao và độ trễ cực thấp; việc để hai loại phần cứng này chạy riêng biệt trong phạm vi mà chúng giỏi hơn sẽ giúp hệ thống dễ dàng kéo dài đường cong hiệu năng hơn.

Google thì đặt lát cắt này ở cấp độ cao hơn.

Đào tạo và suy luận, sử dụng hai công thức chip khác nhau

Google đã phát triển cả TPU 8t và TPU 8i trong thế hệ TPU 8,t dành cho đào tạo,i dành cho suy luận. Logic đằng sau cách phân chia này được ghi trực tiếp vào cấu hình bộ nhớ của chip.

Đang trưng bày trực tiếp Hot Chips, TPU 8t sử dụng 6 bộ HBM, trong khi TPU 8i lại sử dụng 8 bộ. Google giải thích rằng, đối với suy luận, mỗi đơn vị tính toán cần nhiều HBM hơn, đồng thời cần tỷ lệ SRAM cao hơn, do đó 8i đã phân bổ nhiều tài nguyên hơn cho SRAM, dung lượng bộ nhớ và băng thông.

Sự khác biệt này rất đáng để suy ngẫm. Nếu chip AI chỉ đơn thuần so sánh năng lực tính toán ma trận, thì phiên bản suy luận không có lý do gì để dành nhiều diện tích chip và tài nguyên đóng gói cho bộ nhớ. Thiết kế như vậy của TPU 8i cho thấy Google đã nhận ra điểm nghẽn đã chuyển sang việc cung cấp dữ liệu.

Trong quá trình huấn luyện, batch lớn có thể phân bổ chi phí đọc trọng số trên nhiều token; trong quá trình decode, mỗi lần tạo ra rất ít token, nhưng trọng số và KV Cache vẫn được truy cập thường xuyên. Do đó, lượng băng thông HBM cần thiết trên mỗi đơn vị FLOPS là khác nhau giữa hai loại tác vụ này.

Google thậm chí đã áp dụng sự khác biệt này vào kiến trúc mạng. Trước đây, 3D Torus thường được sử dụng cho TPU phù hợp hơn với việc huấn luyện, nhấn mạnh vào thông lượng tổng thể trong cụm quy mô lớn. TPU 8i hỗ trợ BoardFly, đường dẫn mạng ngắn hơn: đường dẫn của BoardFly có giới hạn tối đa là 7 hops, trong khi 3D Torus đạt đến 16 hops.

Đối với đào tạo, sau vài lần nhảy mạng bổ sung thường còn lại một khối tính toán ma trận lớn, thời gian truyền thông có thể được phân bổ. Cửa sổ tính toán của từng bước Decode ngắn, độ trễ mạng vài nhảy dễ dàng rơi trực tiếp vào khoảng cách giữa các token.

MoE làm cho vấn đề này trở nên rõ ràng hơn. MoE cho phép một Token chỉ kích hoạt một phần Expert, về mặt lượng tính toán thì rất hiệu quả, nhưng Router sẽ gửi Token đến các Expert khác nhau. Khi các Expert này được phân bố trên các chip khác nhau, lượng tính toán giảm nhưng giao tiếp All-to-All lại tăng lên.

Do đó, TPU 8i còn bổ sung Collective Acceleration Engine, thực hiện một số thao tác collective trên I/O Die gần giao diện mạng. Dữ liệu không cần phải di chuyển vào Compute Die trước rồi mới thực hiện thao tác qua HBM, giúp tiết kiệm một phần di chuyển dữ liệu bên trong chip.

Việc phân bổ tài nguyên cho phiên bản đào tạo TPU 8t rõ ràng nghiêng về phía bên kia. Đào tạo đòi hỏi nhiều FLOPS và một miền Scale-Up lớn để đồng bộ hóa tham số và gradient. Superpod của TPU 8t có thể mở rộng đến 9600 chip, sở hữu khoảng 2 PB HBM chia sẻ và 121 EFLOPS FP4 khả năng tính toán tổng hợp, Google còn giới thiệu mạng Virgo để tạo thành hệ thống chuyên biệt kết nối các đợt đào tạo quy mô lớn hơn.

Google cũng đề cập đến một vấn đề thiết kế chip rất thực tế: dark silicon.

Diện tích chip và ngân sách công suất bị giới hạn. Nếu cùng một chip đồng thời nhét đầy các tài nguyên tính toán ma trận cần thiết cho đào tạo, cùng với nhiều SRAM, HBM và mạng độ trễ thấp hơn cần cho suy luận, thì khi một loại workload nào đó chạy, luôn có một phần mạch bị bỏ trống trong thời gian dài.

Vì hai nhiệm vụ này đã cần tỷ lệ tài nguyên khác nhau, nên làm hai con chip riêng biệt sẽ sạch sẽ hơn.

Từ FLOPS đến kinh tế học Token

Đặt ba lộ trình lại với nhau, sự khác biệt thực sự rất rõ ràng.

OpenAI làm Jalapeño, chuyên biệt hóa chip đến cấp độ suy luận LLM, nhưng vẫn giữ khả năng lập lịch linh hoạt cho Prefill và Decode trên phần cứng đồng nhất; NVIDIA tiếp tục chia nhỏ, giao cho GPU và Groq LPU đảm nhận các giai đoạn khác nhau trong một lần suy luận; Google cắt theo hướng ngược lại, biến việc huấn luyện và suy luận thành hai con TPU riêng biệt.

Các con đường này không có nguyên lý tính toán mới kỳ bí nào đằng sau, điều thay đổi là tỷ lệ tài nguyên. Việc huấn luyện mong muốn dành nhiều transistor hơn cho tính toán ma trận và kết nối quy mô lớn, vì Batch lớn có thể phân tán chi phí di chuyển dữ liệu; việc suy luận độ trễ thấp cần băng thông HBM cao hơn, SRAM lớn hơn, tính cục bộ KV Cache tốt hơn và đường truyền mạng ngắn hơn, vì nhiều thời gian bị tiêu tốn vào việc chờ dữ liệu.

Khi yêu cầu về “công thức chip” của hai loại tải ngày càng khác nhau, việc sử dụng một chip phổ quát để phục vụ cả hai sẽ khiến tổn thất hiệu suất ngày càng rõ rệt.

Đây cũng là lý do tại sao các con số cốt lõi trong cuộc cạnh tranh phần cứng lần này đang thay đổi. FLOPS vẫn quan trọng, nhưng bên cạnh đó bắt đầu xuất hiện Tokens/s/user, TBT, TTFT, Tokens/kW, băng thông HBM và độ trễ mạng.

Chúng thực chất đang mô tả cùng một sự việc: công suất tính toán đã được đặt sẵn, hệ thống có thể liên tục cung cấp dữ liệu và gửi ra Token đã tạo một cách nhanh nhất hay không.

OpenAI, NVIDIA và Google hiện tại chưa có cùng một đường ranh giới, và sau này điều thực sự sẽ tiếp tục thay đổi rất có thể là đường ranh giới này nên được vẽ ở đâu.

Huấn luyện và suy luận có thể tách rời, Prefill và Decode có thể tách rời, và bên trong Decode, Attention cùng các phép tính khác cũng có thể tiếp tục tách ra. Càng tách chi tiết, hiệu suất của từng nhiệm vụ càng dễ được cải thiện, nhưng việc điều phối tài nguyên, di chuyển KV Cache và giao tiếp giữa các thiết bị sẽ trở nên phức tạp hơn.

Vì vậy, thách thức trong giai đoạn tiếp theo của cuộc cạnh tranh chip AI có lẽ đã không còn chỉ là tạo ra một con chip mạnh hơn.

Khó hơn là quyết định: những nhiệm vụ nào đáng để tạo riêng một con chip, và những nhiệm vụ nào nên tiếp tục giữ trong cùng một hệ thống phần cứng để giảm tổng chi phí Token của toàn bộ hệ thống.