Google DeepMind เปิดแหล่งที่มาของครอบครัวโมเดล Gemma 4 แบบมัลติมีเดีย

ข่าว ME รายงานว่า เมื่อวันที่ 3 เมษายน (UTC+8) Google DeepMind เพิ่งเปิดแหล่งรหัสของครอบครัวโมเดลหลายโมดัล Gemma 4 ซีรีส์นี้รองรับการป้อนข้อมูลข้อความและรูปภาพ (โมเดลขนาดเล็กยังรองรับเสียง) และสร้างผลลัพธ์ข้อความ โดยมีทั้งเวอร์ชันที่ผ่านการฝึกล่วงหน้าและปรับแต่งตามคำสั่ง หน้าต่างบริบทสูงสุดถึง 256K โทเค็น และรองรับมากกว่า 140 ภาษา โมเดลใช้สถาปัตยกรรมแบบหนาแน่น (Dense) และแบบผู้เชี่ยวชาญผสม (MoE) โดยมีขนาดทั้งหมดสี่แบบ ได้แก่ E2B, E4B, 26B A4B และ 31B ความสามารถหลักประกอบด้วยการให้เหตุผลประสิทธิภาพสูง การประมวลผลหลายโมดัลที่ขยายได้ การปรับแต่งสำหรับอุปกรณ์ปลายทาง การขยายหน้าต่างบริบท การเสริมความสามารถในการเข้ารหัสและเอเจนต์ รวมถึงการรองรับคำแนะนำระบบแบบเนทีฟ ในด้านเทคนิค โมเดลใช้กลไกการให้ความสำคัญแบบผสม โดยชั้นทั่วโลกใช้คู่คีย์-ค่าแบบเดียวกันและ p-RoPE สำหรับการปรับสัดส่วน โดยโมเดล E2B และ E4B ใช้เทคนิคการฝังแบบทีละชั้น (PLE) ซึ่งมีพารามิเตอร์ที่มีประสิทธิผลน้อยกว่าพารามิเตอร์ทั้งหมด ส่วนโมเดล 26B A4B MoE เมื่อทำการให้เหตุผลจะเปิดใช้งานพารามิเตอร์เพียง 3.8B เท่านั้น และมีความเร็วใกล้เคียงกับโมเดลที่มีพารามิเตอร์ 4B (ที่มา: InFoQ)