Berita ME, 29 Julai (UTC+8), Moonshot melancarkan Kimi Linear, sebuah arsitektur perhatian linear campuran, yang pertama kali mengungguli mekanisme perhatian penuh dalam skenario konteks pendek, konteks panjang, dan pembelajaran penguatan. Model dengan 3B parameter aktifnya secara signifikan mengungguli MLA penuh di semua tugas penilaian, sambil mengurangkan penggunaan KV cache sehingga sebanyak 75% dan mencapai throughput dekod sehingga 6 kali lebih tinggi pada konteks 1M. Moonshot telah membuka sumber kernel KDA, implementasi vLLM, dan berat model. 🔗 Baca artikel asal via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (Sumber: AiHot)
Moonshot Melancarkan Kimi Linear, satu arkaitektur perhatian berprestasi tinggi
KuCoinFlashKongsi
Ringkasan
Moonshot melancarkan Kimi Linear, satu arsitektur perhatian berprestasi tinggi, pada 29 Julai (UTC+8). Model linear hibrida ini mengungguli perhatian penuh dalam skenario konteks pendek dan panjang serta pembelajaran peneguhan. Dengan 3B parameter aktif, ia mengurangkan penggunaan cache KV sebanyak 75% dan meningkatkan throughput dekod 6 kali pada konteks 1M. Kernel KDA, implementasi vLLM, dan berat model telah dibuka sumbernya. Pedagang yang menilai tahap sokongan dan rintangan mungkin mendapati kemajuan ini meningkatkan nisbah risiko-ke-untung dalam strategi algoritma.
Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini.
Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.