Balita ni ME, noong Hulyo 29 (UTC+8), inilunsad ng Moonshot ang Kimi Linear, isang hybrid linear attention architecture na una naming lalong lumampas sa buong attention mechanism sa mga skena ng maikling konteksto, mahabang konteksto, at reinforcement learning. Ang 3B activated parameter model nito ay mas malakas kaysa sa buong MLA sa lahat ng mga pagtataya, habang binabawasan ang paggamit ng KV cache ng hanggang 75% at nagtataglay ng pinakamataas na 6x decoding throughput sa 1M konteksto. Ang Moonshot ay nag-open source na ng KDA kernel, vLLM implementation, at model weights. 🔗 Basahin ang orihinal na artikulo via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (pinagkunan: AiHot)
Lumunsod ang Moonshot ang Kimi Linear, isang mataas na performance na arkitektura sa atensyon
KuCoinFlashI-share
Summary
Ipinakilala ng Moonshot ang Kimi Linear, isang mataas na performance na arkitektura ng atensyon, noong Hulyo 29 (UTC+8). Ang hybrid na linear model ay mas mahusay kaysa sa full attention sa mga maikli at mahabang konteksto, at sa reinforcement learning. May 3B aktibong parameter, ito ay nagbabawas ng 75% sa paggamit ng KV cache at nagpapataas ng decoding throughput ng 6x sa 1M konteksto. Ang KDA kernel, vLLM implementation, at model weights ay open-sourced. Ang mga trader na nag-evaluate ng support at resistance levels ay maaaring makakita ng pagpapabuti sa risk-to-reward ratio sa mga algorithmic strategy.
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito.
Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.