Notícia da ME, 29 de julho (UTC+8): Moonshot lançou o Kimi Linear, uma arquitetura de atenção linear híbrida que supera pela primeira vez completamente os mecanismos de atenção total em cenários de contexto curto, contexto longo e aprendizado por reforço. Seu modelo com 3B de parâmetros ativados supera significativamente o MLA total em todas as tarefas avaliadas, reduzindo o uso de KV cache em até 75% e alcançando até 6 vezes mais throughput de decodificação em contexto de 1M. A Moonshot já disponibilizou open-source o kernel KDA, a implementação vLLM e os pesos do modelo. 🔗 Leia a matéria original via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (fonte: AiHot)
Moonshot lança o Kimi Linear, uma arquitetura de atenção de alto desempenho
KuCoinFlashCompartilhar
Resumo
A Moonshot lançou o Kimi Linear, uma arquitetura de atenção de alto desempenho, em 29 de julho (UTC+8). O modelo híbrido linear supera a atenção completa em cenários de contexto curto e longo e em aprendizado por reforço. Com 3B parâmetros ativos, reduz o uso de cache KV em 75% e aumenta o throughput de decodificação em 6x em contexto de 1M. O kernel KDA, a implementação vLLM e os pesos do modelo foram abertos. Traders que avaliam níveis de suporte e resistência podem encontrar nesse avanço uma melhoria na relação risco-recompensa em estratégias algorítmicas.
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações.
Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.