Google DeepMind открывает исходный код семейства мультимодальных моделей Gemma 4

Согласно новости ME, 3 апреля (UTC+8) Google DeepMind открыла исходный код семейства мультимодальных моделей Gemma 4. Эти модели поддерживают ввод текста и изображений (малые модели также поддерживают аудио), генерируют текстовые выходы, включают предварительно обученные и инструкционно дообученные версии, имеют контекстное окно до 256K токенов и поддерживают более 140 языков. Модели реализованы в двух архитектурах — плотной (Dense) и смешанных экспертов (MoE), и представлены в четырех размерах: E2B, E4B, 26B A4B и 31B. Их ключевые возможности включают высокопроизводительный вывод, расширенную мультимодальную обработку, оптимизацию для устройств, увеличенное контекстное окно, улучшенные кодирующие и агентные способности, а также нативную поддержку системных подсказок. В техническом плане модели используют гибридный механизм внимания, где глобальные слои применяют единые ключ-значение и масштабируемое RoPE (p-RoPE). Модели E2B и E4B используют технологию послоевого внедрения (PLE), при которой эффективное количество параметров меньше общего числа. Модель 26B A4B MoE активирует только 3,8 млрд параметров во время вывода, обеспечивая скорость, близкую к модели с 4 млрд параметров. (Источник: InFoQ)