ByteDance открывает исходный код Cola DLM: модель диффузии для генерации текста

Согласно новости ME, 16 мая (UTC+8), по данным мониторинга Beating, команда Seed ByteDance открыла исходный код Cola DLM. Это непрерывная скрытая диффузионная языковая модель, которая стремится обойти фиксированный путь посимвольного генерирования текста слева направо, характерный для крупных языковых моделей, и заменить его на процесс, при котором сначала формируется высокий уровень семантики, а затем он детализируется до конкретных слов. Основой Cola DLM является Text VAE + block-causal DiT. Text VAE сначала отображает дискретный текст в непрерывное скрытое пространство, после чего block-causal DiT с помощью Flow Matching обучает скрытый априор, а затем условный декодер восстанавливает текст из скрытых переменных. Процесс диффузии работает с семантическими представлениями, а не с прямым шумоподавлением на уровне токенов. Текущая открытая версия относится к модели уровня 2B, то есть около 2,3 млрд общих параметров, из которых 1,8 млрд приходится на основной DiT и 500 млн — на VAE. В восьми тестах — LAMBADA, MMLU, OBQA, HellaSwag, RACE, SIQA, SQuAD и Story Cloze — в рамках единого протокола генеративной оценки модель демонстрирует масштабируемую производительность, сопоставимую с аналогичными AR/LLaDA-базовыми моделями, и достигает наилучшего среднего результата. Однако на данный момент это исследовательская контрольная точка, а не готовая диалоговая модель. Официально указано, что модель не проходила инструкционную тонкую настройку и RLHF; её основное назначение — исследование применения непрерывных скрытых диффузионных методов для генерации текста. В статье также представлены предварительные эксперименты по расширению на унифицированное моделирование текста и изображений, однако в текущем открытом репозитории содержится только текстовый конвейер. (Источник: BlockBeats)