Moonshot Meluncurkan Kimi Linear, Arsitektur Perhatian Berkinerja Tinggi

iconKuCoinFlash
Bagikan
This is the logo of the coin.
Kadena
----
AI summary iconRingkasan
Moonshot meluncurkan Kimi Linear, arsitektur perhatian berperforma tinggi, pada 29 Juli (UTC+8). Model linier hibrida ini mengungguli perhatian penuh dalam skenario konteks pendek dan panjang serta pembelajaran penguatan. Dengan 3 miliar parameter aktif, model ini mengurangi penggunaan cache KV sebesar 75% dan meningkatkan throughput decoding hingga 6 kali lipat pada konteks 1 juta. Kernel KDA, implementasi vLLM, dan bobot model telah dibuka sumbernya. Pedagang yang mengevaluasi level support dan resistance mungkin menemukan kemajuan ini meningkatkan rasio risiko-terhadap-imbalan dalam strategi algoritmik.

Berita ME, 29 Juli (UTC+8), Moonshot meluncurkan Kimi Linear, sebuah arsitektur perhatian linier hibrida yang secara komprehensif mengungguli mekanisme perhatian penuh dalam skenario konteks pendek, konteks panjang, dan pembelajaran penguatan. Model dengan 3 miliar parameter aktifnya secara signifikan unggul dalam semua tugas evaluasi dibandingkan MLA penuh, sekaligus mengurangi penggunaan KV cache hingga 75% dan mencapai throughput decoding hingga 6 kali lebih tinggi pada konteks 1M. Moonshot telah melepaskan kode sumber KDA kernel, implementasi vLLM, dan bobot model. 🔗 Baca artikel aslinya via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (Sumber: AiHot)

Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.