Selon les nouvelles de ME, le 22 juillet (UTC+8), l'équipe technique de Xiaohongshu a open-sourcé BigMac, un nouveau paradigme de pipeline imbriqué sécurisé pour l'entraînement de modèles multimodaux à grande échelle. Basé sur un pipeline LLM, il intègre les calculs des encodeurs et des générateurs sans perturber l'ordre d'exécution, offrant une accélération de 1,08x à 1,9x par rapport aux implémentations de référence tout en maintenant une mémoire d'activation bornée. BigMac est déjà utilisé en production comme composant central pour l'entraînement du modèle multimodal dots. 🔗 Lire l'article original : https://mp.weixin.qq.com/s/tNJARtn1jIayL5URg87Row via AI HOT · https://aihot.virxact.com/items/cmrvx8ycy0240bipz0pkrvryq (source : AiHot)
Xiaohongshu open-source BigMac, un nouveau paradigme d'entraînement de modèle multimodal à grande échelle
KuCoinFlashPartager
Résumé
Xiaohongshu open source BigMac, un nouveau paradigme d'entraînement multimodal construit sur MetaEra. Le modèle utilise un pipeline imbriqué sécurisé par dépendance pour fusionner les calculs de l'encodeur et du générateur dans une chaîne LLM. Il offre une accélération de 1,08 à 1,9 fois par rapport aux méthodes standards tout en limitant la mémoire des activations. BigMac prend désormais en charge l'entraînement en production pour le modèle multimodal dots. L'intérêt ouvert pour les indicateurs techniques continue d'augmenter à mesure que le modèle gagne en popularité.
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.