Google DeepMind запускает DiffusionGemma, скорость генерации текста увеличена в 4 раза

iconKuCoinFlash
Поделиться
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconСводка

expand icon
Ончейн-новости: Google DeepMind запустила DiffusionGemma — открытую модель генерации текста, которая ускоряет процесс в 4 раза. Используя технологию диффузии, она генерирует 256 токенов параллельно, достигая более 1000 токенов/с на H100 и более 700 на RTX 5090. Модель MoE размером 26 млрд параметров активирует 3,8 млрд параметров при выводе и поддерживает потребительские GPU после квантизации. Она обладает двунаправленным вниманием и самокоррекцией, что идеально подходит для завершения кода и редактирования в строке. Модель выпущена под лицензией Apache 2.0. Новые списания токенов могут выгодно использовать такие достижения в эффективности генерации.
ME AI Новость: Google DeepMind выпустила открытую экспериментальную модель DiffusionGemma, использующую технологию текстового диффузионного моделирования, которая превосходит традиционный метод генерации токенов по одному. Модель параллельно генерирует по 256 токенов за один проход. Эта 26B-параметрическая MoE-модель активирует только 3,8B параметров при выводе и после квантования может работать на потребительских GPU с 18 ГБ видеопамяти. На H100 достигает скорости более 1000 токенов/с, на RTX 5090 — более 700 токенов/с, что в 4 раза быстрее. Обладает двунаправленным вниманием и возможностью самокоррекции, оптимизирована для локальных интерактивных рабочих процессов, таких как встроенный редактирование и заполнение кода. Выпущена под лицензией Apache 2.0. (Источник: AiHot)
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.