Команда OpenMOSS выпустила открытую модель генерации изображений MOSS-Image, основанную на однонаправленной архитектуре DiT с 5 млрд параметров, поддерживающую промпты длиной до 4K токенов и обработку длинных текстов на китайском и английском языках, а также обладающую возможностью редактирования структурированной разметки в формате JSON. Модель демонстрирует отличные результаты в генерации длинных текстов, точности компоновки и энд-ту-энд оценке предпочтений. Она выпущена по лицензии Apache-2.0 и совместима с экосистемами Diffusers, Gradio и ComfyUI, что делает её подходящей для разработчиков, которым требуются точная типографика и локальное развертывание.Автор статьи, источник: AIBase
Недавно OpenMOSS (команда NLP Фуданьского университета и Shanghai Chuangzhi и др.) официально выпустила открытую модель генерации изображений — MOSS-Image. Для решения постоянных проблем традиционных моделей генерации изображений по тексту, таких как ошибки в написании текста, обрезание абзацев и смещение элементов в плакатах, инфографике, комиксах и дизайне интерфейсов, эта модель была предварительно обучена с нуля на основе однопоточной DiT (Diffusion Transformer) с 5 млрд параметров и полностью поддерживает подсказки длиной до 4K токенов, рендеринг длинных текстов на китайском и английском языках, а также редактируемую структурированную JSON-макетную структуру.
В технической архитектуре MOSS-Image используется тренировочная формула Muon–AdamW с единым текстовым условным каналом для обработки естественного языка и структурированной компоновки. Модель использует Qwen3.5-9B в качестве текстового энкодера и FLUX.2VAE в качестве декодера изображений. Обучающий набор данных включает около 3 миллиардов изображений с интеграцией мультиуровневых описаний, текстового контроля и структурированного контроля с использованием ограничивающих рамок (bbox). Для удовлетворения сложных задач создания модель также включает интент-ориентированный внешний модуль расширения подсказок (PE), который автоматически преобразует краткие запросы в исполняемые инструкции, включающие иерархию шрифтов, палитры цветов и координатные спецификации.
В своих ключевых возможностях и результатах оценки MOSS-Image демонстрирует значительные специализированные преимущества:
Обработка длинных текстов (LLTB): в оценке, включающей по 120 заданий на китайском и английском языках со средней длиной целевого текста около 1339,8 символов, показатель Mean-6 составил 96,3, что стало рекордом для моделей с открытыми весами, и обеспечивает хорошее сохранение разрывов строк и структуры абзацев.
Структурированная компоновка (7Bench): при выполнении задачи единой JSON-компоновки достигнута mIoU для ограничивающих рамок 0,8786 и mIoU для общей компоновки 0,6788, что демонстрирует отличные результаты в управлении пространственными отношениями и относительными размерами.
End-to-end preference (RealLayoutArena): Its generator scored 1807.34 in blind Elo ranking under unified enhanced prompts, leading the industry.
В настоящее время базовые и SFT-веса MOSS-Image выпущены по лицензии Apache-2.0 и полностью интегрированы с экосистемами Diffusers, Gradio и ComfyUI, поддерживая LoRA и полную дообучку. Однако официальная документация четко обозначила текущие ограничения: его основная архитектура представляет собой чистую модель генерации изображений по тексту, не способную напрямую принимать опорные изображения или выполнять нативное редактирование изображений, а модуль усиления подсказок зависит от внешних языковых моделей. В целом, выпуск этой модели предоставляет разработчикам, которым необходимы локальное развертывание, точное форматирование и воспроизводимые макеты, мощный открытый выбор.