L'équipe OpenMOSS lance le modèle open-source de génération d'images MOSS-Image, basé sur une architecture DiT unifiée de 5 milliards de paramètres, prenant en charge des prompts jusqu'à 4K tokens et le rendu de textes longs en chinois et en anglais, avec une capacité de layout structuré éditable en JSON. Ce modèle excelle dans le rendu de textes longs, la précision du layout et les évaluations par préférence end-to-end. Il est publié sous licence Apache-2.0 et est compatible avec les écosystèmes Diffusers, Gradio et ComfyUI, idéal pour les développeurs nécessitant un mise en page précise et un déploiement local.Auteur et source de l'article : AIBase
Récemment, OpenMOSS (une équipe composée du NLP de l'Université Fudan, de Shanghai Chuangzhi, etc.) a officiellement lancé le modèle de génération d'images open source — MOSS-Image. Pour répondre aux problèmes récurrents des modèles traditionnels de génération d'images à partir de texte, tels que les erreurs d'orthographe, les coupures de paragraphe et les décalages d'éléments dans les affiches, infographies, bandes dessinées et conceptions d'interfaces utilisateur, ce modèle est pré-entraîné dès le départ sur une architecture DiT (Diffusion Transformer) de 5 milliards de paramètres, prenant en charge intégralement des invites jusqu'à environ 4K jetons, le rendu de textes longs en chinois et en anglais, ainsi qu'un layout structuré éditable en JSON.
Sur le plan de l'architecture technique, MOSS-Image utilise la recette d'entraînement Muon–AdamW, traitant le langage naturel et la mise en page structurée via un canal conditionnel textuel unifié. Le modèle emploie Qwen3.5-9B comme encodeur textuel, associé à FLUX.2VAE pour le décodage d'images. L'ensemble de données d'entraînement comprend environ 3 milliards d'images, intégrant des légendes à plusieurs granularités, une supervision textuelle et une supervision par encadrements structurés (bbox). Pour répondre aux exigences de création complexes, le modèle intègre un module externe de planification à prise en compte de l'intention (PE), qui étend automatiquement les demandes courtes en instructions exécutables incluant les hiérarchies de polices, les palettes de couleurs et les spécifications de coordonnées.
Sur le plan des capacités fondamentales et des performances d'évaluation, MOSS-Image démontre un avantage spécialisé remarquable :
Long text rendering (LLTB) : Dans une évaluation comprenant 120 tâches en chinois et 120 en anglais, avec un texte cible moyen d'environ 1339,8 caractères, il obtient une note Mean-6 de 96,3, établissant un nouveau record pour les modèles à poids ouverts, et parvenant à préserver efficacement les sauts de ligne et la structure des paragraphes.
Disposition structurée (7Bench) : sur la tâche unifiée de JSON Layout, son mIoU pour les boîtes de détection atteint 0,8786 et son mIoU global pour la disposition est de 0,6788, avec une excellente performance dans le contrôle des relations spatiales et des tailles relatives.
Préférence end-to-end (RealLayoutArena) : son générateur obtient un score de 1807,34 dans le classement Elo en aveugle, sous des prompts uniformément améliorés, se plaçant en tête du secteur.
Actuellement, les poids Base et SFT de MOSS-Image sont open source sous licence Apache-2.0 et sont entièrement intégrés aux écosystèmes Diffusers, Gradio et ComfyUI, en supportant le fine-tuning LoRA et le fine-tuning complet. Toutefois, l'équipe officielle précise clairement ses limites actuelles : son backbone est un modèle purement texte-à-image, incapable de recevoir directement une image de référence ou d'effectuer une édition d'image native, et son module d'amélioration des invites dépend d'un modèle linguistique externe. Dans l'ensemble, le lancement de ce modèle offre aux développeurs nécessitant un déploiement local, un positionnement précis et des maquettes reproductibles un nouveau choix open source puissant.