Noticias de ME: el 29 de julio (UTC+8), Moonshot lanzó Kimi Linear, una arquitectura de atención lineal híbrida que supera por primera vez completamente los mecanismos de atención completa en escenarios de contexto corto, contexto largo y aprendizaje por refuerzo. Su modelo con 3B parámetros activados supera significativamente a la MLA completa en todas las tareas de evaluación, reduce el uso de KV cache hasta en un 75 % y logra hasta 6 veces mayor rendimiento de decodificación con un contexto de 1M. Moonshot ha abierto el código del núcleo KDA, la implementación vLLM y los pesos del modelo. 🔗 Leer el artículo original via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (fuente: AiHot)
Moonshot lanza Kimi Linear, una arquitectura de atención de alto rendimiento
KuCoinFlashCompartir
Resumen
Moonshot lanzó Kimi Linear, una arquitectura de atención de alto rendimiento, el 29 de julio (UTC+8). El modelo híbrido lineal supera a la atención completa en escenarios de contexto corto y largo, así como en aprendizaje por refuerzo. Con 3B parámetros activos, reduce el uso de la caché KV en un 75% y aumenta el rendimiento de decodificación 6 veces en un contexto de 1M. El kernel KDA, la implementación vLLM y los pesos del modelo están disponibles como código abierto. Los operadores que evalúan niveles de soporte y resistencia podrían encontrar que este avance mejora la relación riesgo-recompensa en estrategias algorítmicas.
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.