Message AIMPACT, 5 mai (UTC+8) : NVIDIA AI annonce que son cadre Megatron Core offre désormais un support end-to-end pour des optimiseurs avancés émergents tels que Muon, ainsi que pour des optimiseurs de recherche comme MOP et REKLS, dans le but d'améliorer l'efficacité de l'entraînement de modèles à grande échelle. L'entreprise souligne que l'entraînement efficace de modèles de la taille de Kimi K2 ou Qwen3 30B nécessite de dépasser les techniques standard de parallélisme de données. Aucune métrique de performance ni détail d'implémentation n'a été divulgué pour le moment. (Source : InFoQ)
NVIDIA Megatron Core ajoute la prise en charge de Muon et d'autres optimiseurs
KuCoinFlashPartager
Résumé
NVIDIA a fait une annonce de projet le 5 mai (UTC+8), révélant que son framework Megatron Core prend désormais en charge des optimiseurs avancés tels que Muon, MOP et REKLS. Cette mise à jour vise à améliorer l'efficacité de l'entraînement des grands modèles. NVIDIA a déclaré que les méthodes classiques de parallélisme de données ne sont plus suffisantes pour des modèles comme Kimi K2 et Qwen3 30B. L'entreprise n'a pas partagé de données de performance ni de spécifications techniques. Cette annonce intervient alors que l'intérêt persiste quant à l'impact des données sur l'inflation sur les budgets de développement de l'IA.
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.