গুগল ডিপমাইন গেমা 4 মাল্টিমোডাল মডেল পরিবার ওপেন সোর্স করেছে

ME সংবাদ, ৩ এপ্রিল (UTC+8), গুগল ডিপমাইন্ড সাম্প্রতিক সময়ে Gemma 4 মাল্টিমোডাল মডেল পরিবারটি ওপেন-সোর্স করেছে। এই সিরিজের মডেলগুলি টেক্সট এবং ইমেজ ইনপুট (ছোট মডেলগুলি অডিওও সমর্থন করে) গ্রহণ করে এবং টেক্সট আউটপুট জেনারেট করে, যা প্রি-ট্রেনড এবং ইনস্ট্রাকশন-টিউনড ভেরিয়েন্টগুলি অন্তর্ভুক্ত করে, যার কনটেক্সট উইন্ডো 256K টোকেন পর্যন্ত পৌঁছায় এবং 140-এরও বেশি ভাষা সমর্থন করে। মডেলগুলি ঘন (Dense) এবং মিক্সড এক্সপার্ট (MoE) দুটি আর্কিটেকচারের উপর ভিত্তি করে, যার মধ্যে E2B, E4B, 26B A4B এবং 31B—চারটি সাইজ রয়েছে। এর মূল ক্ষমতাগুলির মধ্যে রয়েছে: উচ্চ-পারফরম্যান্স ইনফারেন্স, বিস্তৃত মাল্টিমোডাল প্রসেসিং, ডিভাইস-লেভেল অপ্টিমাইজেশন, বৃহত্তর কনটেক্সট উইন্ডো, এনকোডিং এবং এজেন্ট ক্ষমতা বৃদ্ধি, এবং নেটিভ সিস্টেম-প্রম্পট সমর্থন। প্রযুক্তিগত বিবরণে, মডেলগুলি মিক্সড অ্যাটেনশন মেকানিজমকে ব্যবহার করে, যেখানে গ্লোবাল লেয়ারগুলিতে এককভাবে K/V (Key-Value) pairs and scaled RoPE (p-RoPE)। E2B এবং E4B মডেলগুলি PLE (Progressive Layer Embedding) প্রযুক্তির উপরভিত্তি,যা 140+ languages. The models use two architectures: Dense and Mixture-of-Experts (MoE), with four sizes: E2B, E4B, 26B A4B, and 31B. Their core capabilities include high-performance inference, extended multimodal processing, on-device optimization, larger context windows, enhanced encoding and agent capabilities, and native system prompt support. Technically, the models use a hybrid attention mechanism, with global layers employing unified key-value pairs and scaled RoPE (p-RoPE). The E2B and E4B models use Progressive Layer Embedding (PLE), with effective parameters fewer than total parameters. The 26B A4B MoE model activates only 3.8B parameters during inference, achieving speed close to a 4B parameter model. (Source: InFoQ)