Baidu открывает исходный код модели ERNIE 5.5 Flash с 280 миллиардами параметров

ChainCatcher сообщает, что Baidu открыла веса модели Wenxin ERNIE-5.5-Flash-Base. После серии Wenxin 4.5 в июне 2025 года Baidu вновь открыла крупную модель с параметрами в千亿, спустя примерно 16 месяцев — модели Wenxin 5.0 и 5.1, выпущенные за это время, не были открыты. Wenxin 5.5 Flash ориентирована на эффективность вывода: общее количество параметров составляет 280 миллиардов, при генерации каждого токена активируется только 14 миллиардов параметров, а модель была предобучена на 33,5 триллиона токенов с нуля. Модель поддерживает контекст вывода до 1 миллиона токенов. Baidu переработала механизм обработки длинных текстов: из 43 слоев сети 37 слоев сжимают каждые 128 исторических токенов в одну запись кэша, а остальные 6 слоев сохраняют возможность точного поиска исходного содержимого, чтобы снизить потребление видеопамяти и вычислительные затраты при обработке длинных текстов. Модель была единообразно протестирована вместе с DeepSeek-V4-Flash-Base, Tencent Hy3-preview-Base и Xiaomi MiMo-V2.5-Base; в 24 из 30 тестовых наборов она заняла первое место. Открыта только базовая текстовая модель без дообучения и постобучения, предназначенная в первую очередь для разработчиков, желающих провести дообучение в конкретной области, обучение по инструкциям и усиленное обучение. Baidu заявила, что версия Wenxin 5.5 Flash после постобучения будет выпущена позже. Лицензия стала строже, чем у предыдущего поколения: Wenxin 4.5 использовала протокол Apache 2.0, а Wenxin 5.5 Flash перешла на пользовательскую лицензию, запрещающую использование в Европейском союзе, Великобритании и Южной Корее; коммерческое использование требует отдельного письменного разрешения от Baidu для продуктов или услуг, чей доход за последние 12 месяцев превышал 50 миллионов долларов США.