گوگل ڈیپ مائنڈ نے جیما 4 ملٹی موڈل ماڈل فیملی کو اوپن سورس کر دیا ہے

ME خبروں کے مطابق، 3 اپریل (UTC+8) کو، گوگل ڈیپ مائنڈ نے حال ہی میں Gemma 4 متعدد ماڈل خاندان کو اوپن سورس کیا ہے۔ یہ سیریز متن اور تصاویر کے ان پٹ (چھوٹے ماڈلز میں آڈیو بھی) کو سپورٹ کرتی ہے، متن کے آؤٹ پٹ کو جنریٹ کرتی ہے، اور پری ٹرینڈ اور انstrukشن ٹیونڈ ورژنز پر مشتمل ہے، جس کا کنٹیکس ونڈو زیادہ سے زیادہ 256K ٹوکن تک ہے اور 140 سے زائد زبانوں کو سپورٹ کرتا ہے۔ ماڈلز میں دو اسکیماز استعمال ہوتے ہیں: ڈینس اور مکسچر آف ایکسپرٹس (MoE)، جن میں E2B، E4B، 26B A4B اور 31B چار سائزز شامل ہیں۔ ان کی مرکزی صلاحیتیں شامل ہیں: بلند پرفارمنس انفرنس، وسعت پذیر متعدد ماڈل پروسیسنگ، ڈیوائس لیول آپٹیمائزیشن، بڑھا ہوا کنٹیکس ونڈو، بہتر کوڈنگ اور ایجنٹ صلاحیتیں، اور نیٹو سسٹم پرومپٹ سپورٹ۔ تکنیکی تفصیلات میں، ماڈل مکسچر اٹینشن مکینزم استعمال کرتا ہے، جس میں جلوبل لیئرز میں یونیفائرڈ کی-ولیو پیرز اور پروپورشنل RoPE (p-RoPE) استعمال ہوتا ہے۔ E2B اور E4B ماڈلز PLE (Per-Layer Embedding) تکنالوجی استعمال کرتے ہیں، جس سے اثراتی پیرامیٹرز کل پیرامیٹرز سے کم ہوتے ہیں۔ جبکہ 26B A4B MoE ماڈل انفرنس کے دوران صرف 3.8B پیرامیٹرز فعال کرتا ہے اور اس کا رن ٹائم تقریباً 4B پیرامیٹرز والے ماڈل جتنا تیز ہوتا ہے۔ (ذرائع: InFoQ)