Pré-entraînement terminé en 12 jours, mais l'apprentissage par renforcement de Beam a consommé 10 500 GPU GB300 pendant quatre semaines entières. Misha Laskin, cofondateur et PDG de Reflection AI @reflection_ai, a décomposé les coûts d'entraînement du modèle ouvert Beam. L'entreprise, fondée par deux anciens chercheurs de Google DeepMind avant 2026, a levé un nouveau financement en avril à une valorisation pré-transaction de 25 milliards de dollars. Beam compte 501 milliards de paramètres totaux et 23 milliards de paramètres activés ; son pré-entraînement a consommé 23,8 billions de tokens, et ses poids ont été ouverts sous licence Apache 2.0 le 16 octobre. La répartition des ressources informatiques entre les deux phases est inversée. Le pré-entraînement a été effectué sur 6 144 GPU GB300 NVL72 ; selon lui, avec les infrastructures actuelles, cela prendrait environ 12 jours. La phase RL a utilisé 10 500 GPU du même modèle, en continu pendant quatre semaines, ce qui équivaut à environ 40 000 GPU GB300-semaines — soit quatre fois plus que les environ 10 000 GPU GB300-semaines du pré-entraînement — et a consommé encore plus de FLOPs.
0xMediaPartager

Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.