Cerebras thử nghiệm mô hình Kimi K2.6 với tốc độ tăng 29 lần trong các tác vụ văn bản dài

Tin tức từ ME News, ngày 20 tháng 5 (UTC+8), theo giám sát của Beating, công ty chip cấp wafer Cerebras thông báo đã triển khai mô hình ngôn ngữ lớn với nghìn tỷ tham số Kimi K2.6 trong thử nghiệm doanh nghiệp, loại bỏ hoàn toàn độ trễ kết nối của giao tiếp cấp bảng bằng cách tích hợp chip trực tiếp trên toàn bộ wafer silicon 12 inch. Kết quả thực nghiệm từ tổ chức đánh giá bên thứ ba Artificial Analysis cho thấy tốc độ tạo ra của nó đạt 981 tokens/s, nhanh gấp 6,7 lần so với các dịch vụ đám mây GPU phổ biến. Trong nhiệm vụ văn bản dài với 10.000 token đầu vào và 500 token đầu ra, tổng thời gian phản hồi đã giảm từ 163,7 giây trên giao diện chính thức của Kimi xuống còn 5,6 giây, tăng tốc tới 29 lần. Do trọng số mô hình được phân phối qua nhiều wafer để truyền luồng giá trị kích hoạt, giao tiếp giữa các lớp hoàn toàn chạy trên mạng dệt nội bộ wafer, băng thông truyền thông vật lý đạt hơn 200 lần so với NVLink trong kiến trúc NVL72 của NVIDIA. Kết hợp với tối ưu hóa tính toán phân tán, Kimi K2.6 lưu trữ trọng số gốc ở định dạng 4-bit (4 bit) với tổn thất thấp, sử dụng số dấu phẩy động 16-bit (16 bit) để duy trì độ chính xác trong quá trình tính toán, đồng thời áp dụng các nhân toán tử tùy chỉnh và giải mã phỏng đoán để đạt được hoạt động thời gian thực. (Nguồn: BlockBeats)