Google DeepMind mở nguồn họ mô hình đa phương tiện Gemma 4

Tin tức từ ME News, ngày 3 tháng 4 (UTC+8), Google DeepMind vừa mở nguồn họ mô hình đa phương tiện Gemma 4. Dòng mô hình này hỗ trợ đầu vào văn bản và hình ảnh (mô hình nhỏ còn hỗ trợ âm thanh), tạo đầu ra văn bản, bao gồm các biến thể đã được tiền huấn luyện và tinh chỉnh theo hướng dẫn, với cửa sổ ngữ cảnh lên đến 256K token và hỗ trợ hơn 140 ngôn ngữ. Mô hình sử dụng hai kiến trúc: mật độ (Dense) và chuyên gia hỗn hợp (MoE), với bốn kích cỡ: E2B, E4B, 26B A4B và 31B. Các khả năng cốt lõi bao gồm suy luận hiệu suất cao, xử lý đa phương tiện mở rộng, tối ưu hóa trên thiết bị, mở rộng cửa sổ ngữ cảnh, tăng cường khả năng mã hóa và tác nhân, cũng như hỗ trợ nhắc hệ thống bản địa. Về mặt kỹ thuật, mô hình sử dụng cơ chế chú ý hỗn hợp, với các lớp toàn cầu sử dụng cặp khóa-giá trị thống nhất và tỷ lệ RoPE (p-RoPE). Trong đó, các mô hình E2B và E4B áp dụng kỹ thuật nhúng từng lớp (PLE), với tham số hiệu quả ít hơn tổng tham số. Trong khi đó, mô hình 26B A4B MoE chỉ kích hoạt 3,8B tham số khi suy luận, với tốc độ chạy gần bằng mô hình có 4B tham số. (Nguồn: InFoQ)