SQLite AI mở nguồn bộ suy luận WASTE để chạy Kimi K3 trên MacBook 64GB

iconKuCoinFlash
Chia sẻ
AI summary iconTóm tắt
SQLite AI đã mở nguồn động cơ suy luận WASTE, cho phép chạy toàn bộ mô hình Kimi K3 trên MacBook Pro 64GB. Mô hình, được chuyển đổi thành 1TB, chạy với tốc độ 0,49–0,54 token/giây. WASTE chỉ tải các chuyên gia cần thiết từ SSD, giữ lại phần nền 27GB trong bộ nhớ. Trọng số được tái lượng tử hóa thành 3-bit và 4–8-bit. Tin tức AI + tiền mã hóa này đánh dấu một bước tiến trong tin tức trên chuỗi về hiệu quả mô hình.
ME AI tin tức, theo giám sát của Beating, công ty cơ sở dữ liệu biên SQLite AI đã mở nguồn động cơ suy luận WASTE. Nó cho phép Kimi K3 với đầy đủ các lớp và chuyên gia chạy trên một MacBook Pro 64GB. Mô hình đã chuyển đổi chiếm khoảng 1TB, tốc độ từ 0,49 đến 0,54 Token mỗi giây. WASTE giữ lại khoảng 27GB phần thân mô hình trong bộ nhớ. Hơn 80.000 chuyên gia được đặt trên SSD tích hợp. Mỗi khi tạo một Token, chỉ đọc từ ổ cứng chuyên gia được gọi hiện tại. Phiên bản này không có quá trình chưng cất, cắt giảm hay xóa chuyên gia. Tuy nhiên, trọng số chuyên gia đã được lượng tử hóa lại thành 3-bit, phần thân mô hình sử dụng 4-bit và 8-bit. (Nguồn: MLion)
Nguồn:Hiển thị bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.