Selon les nouvelles de ME, le 29 juillet (UTC+8), Moonshot a lancé Kimi Linear, une architecture hybride d'attention linéaire qui dépasse pour la première fois complètement les mécanismes d'attention complète dans les scénarios de contexte court, de contexte long et d'apprentissage par renforcement. Le modèle de 3 milliards de paramètres activés surpasse significativement toute l'MLA sur toutes les tâches d'évaluation, réduit l'utilisation du cache KV jusqu'à 75 % et atteint jusqu'à 6 fois plus de débit de décodage avec un contexte de 1M. Moonshot a open-sourcé le noyau KDA, l'implémentation vLLM et les poids du modèle. 🔗 Lire l'article original via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (source : AiHot)
Moonshot lance Kimi Linear, une architecture d'attention haute performance
KuCoinFlashPartager
Résumé
Moonshot a lancé Kimi Linear, une architecture d'attention haute performance, le 29 juillet (UTC+8). Le modèle linéaire hybride surpasse l'attention complète dans les scénarios de contexte court et long ainsi qu'en apprentissage par renforcement. Avec 3 milliards de paramètres actifs, il réduit l'utilisation du cache KV de 75 % et augmente le débit de décodage de 6 fois pour un contexte de 1 million. Le noyau KDA, l'implémentation vLLM et les poids du modèle sont open-source. Les traders évaluant les niveaux de support et de résistance pourraient trouver que cette avancée améliore le rapport risque/récompense dans les stratégies algorithmiques.
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.