source avatarMinty

Partager

Les modèles génératifs peuvent être lents en raison de leur méthode d'entraînement. Lorsque de nombreuses sorties sont valides, entraîner un modèle reconstructif à prédire une seule sortie en une seule étape peut faire converger sa sortie vers la moyenne de ces possibilités. Les modèles de diffusion et les modèles autorégressifs évitent cela en décomposant la génération en étapes plus petites qui doivent être répétées lors de l'inférence. La version la plus simple du Modélisation Exploratoire génère plusieurs sorties possibles pour chaque exemple d'entraînement et apprend à partir de celle qui correspond le mieux à la cible. Cela permet au modèle de capturer différentes sorties valides au lieu de les moyenniser. Ajoutée à une base solide de génération d'images, l'exploration a atteint les performances finales de la base après avoir traité 6,2 fois moins d'échantillons d'entraînement et utilisé 4,1 fois moins de FLOPs. Elle a également amélioré les modèles de vidéo et de diffusion masquée pour le langage. Dans des expériences d'échelle séparées, les gains ont augmenté à mesure que la taille du modèle et les données d'entraînement augmentaient. Les modèles exploratoires entièrement end-to-end ont atteint les performances des bases de diffusion sur les tâches de contrôle tout en utilisant jusqu'à 256 fois moins d'évaluations de réseau lors de l'inférence. L'exploration pourrait aider les modèles à résoudre davantage d'incertitudes pendant l'entraînement, afin qu'ils aient besoin de moins d'étapes pour générer une sortie.

No.0 picture
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.