Google DeepMind libera la familia de modelos multimodales Gemma 4

Noticias de ME, 3 de abril (UTC+8): Google DeepMind ha liberado recientemente la familia de modelos multimodales Gemma 4. Esta serie de modelos admite entradas de texto e imagen (los modelos pequeños también admiten audio) y genera salidas de texto, incluyendo variantes preentrenadas y ajustadas por instrucciones, con una ventana de contexto de hasta 256K tokens y soporte para más de 140 idiomas. Los modelos utilizan dos arquitecturas: densa (Dense) y de expertos mixtos (MoE), y están disponibles en cuatro tamaños: E2B, E4B, 26B A4B y 31B. Sus capacidades principales incluyen inferencia de alto rendimiento, procesamiento multimodal extendido, optimización en el dispositivo, aumento de la ventana de contexto, mejora de la codificación y capacidades de agentes, y soporte nativo para indicaciones del sistema. En términos técnicos, los modelos emplean un mecanismo de atención híbrido, donde las capas globales utilizan pares clave-valor unificados y RoPE escalado (p-RoPE). Los modelos E2B y E4B aplican la técnica de embebido por capas (PLE), con parámetros efectivos inferiores al total. El modelo 26B A4B MoE activa solo 3.8B parámetros durante la inferencia, logrando una velocidad de ejecución similar a la de un modelo de 4B parámetros. (Fuente: InFoQ)