Tin tức từ ME, ngày 29 tháng 7 (UTC+8), Moonshot AI ra mắt Kimi Linear, một kiến trúc chú ý tuyến tính lai, lần đầu tiên vượt trội hoàn toàn so với cơ chế chú ý toàn phần trong các kịch bản ngữ cảnh ngắn, ngữ cảnh dài và học tăng cường. Mô hình với 3 tỷ tham số kích hoạt của nó vượt trội đáng kể so với MLA toàn phần trên mọi nhiệm vụ đánh giá, đồng thời giảm lượng bộ nhớ KV cache xuống tới 75% và đạt tốc độ giải mã cao nhất gấp 6 lần trong ngữ cảnh 1M. Moonshot AI đã mở nguồn kernel KDA, phiên bản vLLM và trọng số mô hình. 🔗 Đọc bài gốc via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (Nguồn: AiHot)
Moonshot ra mắt Kimi Linear, một kiến trúc chú ý hiệu năng cao
KuCoinFlashChia sẻ
Tóm tắt
Moonshot đã ra mắt Kimi Linear, một kiến trúc chú ý hiệu năng cao, vào ngày 29 tháng 7 (UTC+8). Mô hình tuyến tính lai này vượt trội hơn chú ý đầy đủ trong các kịch bản ngữ cảnh ngắn và dài cũng như học tăng cường. Với 3 tỷ tham số hoạt động, nó giảm việc sử dụng bộ nhớ đệm KV đến 75% và tăng tốc độ giải mã lên 6 lần ở ngữ cảnh 1 triệu. Hạt nhân KDA, bản triển khai vLLM và trọng số mô hình đều đã được mở nguồn. Các nhà giao dịch đánh giá mức hỗ trợ và kháng cự có thể thấy sự tiến bộ này cải thiện tỷ lệ rủi ro-lợi nhuận trong các chiến lược thuật toán.
Nguồn:Hiển thị bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này.
Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.