Google DeepMind libera a família de modelos multimodais Gemma 4

Notícia da ME, 3 de abril (UTC+8): O Google DeepMind lançou recentemente como código aberto a família de modelos multimodais Gemma 4. Essa série de modelos suporta entradas de texto e imagem (os modelos menores também suportam áudio) e gera saídas de texto, incluindo variantes pré-treinadas e ajustadas por instruções, com janela de contexto de até 256K tokens e suporte a mais de 140 idiomas. Os modelos utilizam duas arquiteturas: densa (Dense) e mista de especialistas (MoE), disponíveis em quatro tamanhos: E2B, E4B, 26B A4B e 31B. Suas capacidades principais incluem inferência de alto desempenho, processamento multimodal expandido, otimização em dispositivo, aumento da janela de contexto, aprimoramento das capacidades de codificação e de agentes, e suporte nativo a prompts do sistema. Em termos técnicos, os modelos utilizam um mecanismo de atenção híbrido, com camadas globais empregando pares chave-valor unificados e RoPE escalonado (p-RoPE). Os modelos E2B e E4B utilizam a técnica de incorporação por camada (PLE), com parâmetros efetivos inferiores ao total. Já o modelo 26B A4B MoE ativa apenas 3,8B de parâmetros durante a inferência, alcançando velocidade próxima à de modelos com 4B de parâmetros. (Fonte: InFoQ)