Команда OpenMOSS випустила відкриту модель генерації зображень MOSS-Image, побудовану на архітектурі однопотокового DiT з 5 млрд параметрів, яка підтримує довгі підказки до 4K токенів та відтворення довгих текстів на китайській та англійській мовах, а також має можливість редагування структурованого JSON Layout. Модель добре зарекомендувала себе у тестах на відтворення довгих текстів, точність компонування та енд-ту-енд оцінці переваг. Вона випущена за ліцензією Apache-2.0, сумісна з екосистемами Diffusers, Gradio та ComfyUI і підходить для розробників, яким потрібна точна верстка та локальне розгортання.Автор статті, джерело: AIBase
Недавно OpenMOSS (команда NLP Фуданьського університету та інші команди з Шанхаю) офіційно запустила відкриту модель генерації зображень — MOSS-Image. У відповідь на постійні проблеми традиційних моделей текст-у-зображення, такі як помилки в написанні тексту, обрізання абзаців та неправильне розташування елементів у плакатах, інфографіці, коміксах та UI-дизайні, ця модель була з нуля попередньо навчена на базі однієї потокової DiT (Diffusion Transformer) з 5 млрд параметрів і повністю підтримує підказки довжиною до 4K токенів, відтворення довгих текстів на китайській та англійській мовах, а також редагований структурований JSON Layout.
Щодо технічної архітектури, MOSS-Image використовує тренувальну рецептуру Muon–AdamW, яка обробляє природну мову та структуроване макетування через єдиний текстовий умовний канал. Модель використовує Qwen3.5-9B як текстовий енкодер та FLUX.2VAE для декодування зображень. Навчальний набір даних охоплює приблизно 3 мільярди зображень і включає багатогранні описи, текстове наглядне навчання та структуроване наглядне навчання за допомогою кордонів (bbox). Щоб впоратися зі складними завданнями створення, модель також впроваджує інтелектуальний зовнішній модуль підсилення підказок (PE), який автоматично розширює короткі запити на виконувані інструкції, що містять ієрархію шрифтів, палітри кольорів та координатні специфікації.
У своїх ключових здібностях та результатах оцінки MOSS-Image продемонстрував виняткову спеціалізовану перевагу:
Обробка довгих текстів (LLTB): у тесті, що містить по 120 завдань з китайською та англійською мовами, з середньою довжиною цільового тексту приблизно 1339,8 символу, показник Mean-6 становить 96,3, що є рекордом для моделей з відкритими вагами, і забезпечує добру збереженість розривів рядків та структури абзаців.
Структурована макетна схема (7Bench): у завданні єдиного JSON-макету досягнуто mIoU для рамок виявлення 0,8786 та mIoU для загального макету 0,6788, що свідчить про відмінні результати у керуванні просторовими відношеннями та відносними розмірами.
Підходи з кінця до кінця (RealLayoutArena): у сліпому тестуванні за рейтингом Elo його генератор показав результат 1807,34 при однакових підсиленнях запитів, що відповідає лідерським позиціям у галузі.
Наразі ваги Base та SFT для MOSS-Image відкриті за ліцензією Apache-2.0 та повністю інтегровані з екосистемами Diffusers, Gradio та ComfyUI, підтримуючи LoRA та повну доналагодження. Однак офіційно вказано на його поточні обмеження: його backbone є чистою моделлю генерації зображення за текстом, не здатною приймати зразкові зображення або виконувати нативне редагування зображень, а модуль підсилення підказок залежить від зовнішньої мовної моделі. Загалом, випуск цієї моделі надає розробникам, яким потрібні локальне розгортання, точне форматування та відтворювані макети, потужний варіант відкритого коду.