Theo giám sát của 1M AI News, Google Research đã công bố thuật toán nén lượng tử TurboQuant, có thể nén bộ đệm KV của mô hình ngôn ngữ lớn xuống còn 3 bit, giảm dung lượng bộ nhớ ít nhất 6 lần, không cần huấn luyện hoặc tinh chỉnh, không làm mất độ chính xác của mô hình. Trong chế độ 4 bit, tốc độ tính toán chú ý trên GPU NVIDIA H100 tăng lên tối đa 8 lần so với cơ sở 32 bit chưa lượng tử.
Nhóm nghiên cứu đã xác minh trên các bộ chuẩn ngữ cảnh dài như LongBench, Needle In A Haystack và ZeroSCROLLS bằng các mô hình Gemma và Mistral, TurboQuant đạt hiệu suất tối ưu trong tất cả các bài kiểm tra. Thuật toán này bao gồm hai thuật toán con: PolarQuant loại bỏ chi phí bộ nhớ của các phương pháp lượng tử hóa truyền thống thông qua biến đổi tọa độ cực, và QJL chỉ sử dụng 1 bit để hiệu chỉnh lỗi còn sót lại.
Nghiên cứu này do Amir Zandieh từ Google Research và Vahab Mirrokni, Phó chủ tịch kiêm Google Fellow, dẫn dắt, phối hợp với KAIST Hàn Quốc và Đại học New York, sẽ được công bố tại ICLR 2026. Google cho biết một trong những ứng dụng chính của công nghệ này là giải quyết các điểm nghẽn bộ nhớ đệm KV của các mô hình như Gemini.
Google Research giới thiệu TurboQuant: Lượng tử hóa 3-bit không mất độ chính xác, tăng tốc suy luận lên tới 8 lần
KuCoinFlashChia sẻ
Tóm tắt
Google Research vừa công bố TurboQuant, một phương pháp lượng tử hóa 3-bit giúp giảm 6 lần dung lượng bộ nhớ KV cache mà không làm mất độ chính xác. Trên các GPU NVIDIA H100, các phép tính chú ý 4-bit chạy nhanh gấp 8 lần so với các mô hình 32-bit. Được kiểm nghiệm trên Gemma và Mistral bằng các bộ dữ liệu LongBench, Needle In A Haystack và ZeroSCROLLS, phương pháp này đạt kết quả hàng đầu. Được phát triển bởi Amir Zandieh và Vahab Mirrokni cùng KAIST và NYU, bài báo sẽ được công bố tại ICLR 2026. Dữ liệu trên chuỗi cho thấy sự quan tâm ngày càng tăng đối với các altcoin cần theo dõi, khi những cải tiến về hiệu suất thúc đẩy sự áp dụng.
Nguồn:Hiển thị bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này.
Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.