لقد أطلقت مجموعة أبحاث الذكاء الاصطناعي في تيثر نسخة جاهزة للإنتاج من TurboQuant، خوارزمية بحث جوجل المصممة لتقليل متطلبات الذاكرة في الذكاء الاصطناعي بشكل كبير، وفقًا لبيان صحفي يوم الاثنين press release.
الآن أصبحت التقنية جزءًا من QVAC Fabric، محرك الذكاء الاصطناعي المحلي الخاص بـ Tether، وتشمل خطوة كميّة كاملة، وتكاملات الإطار، والوثائق، وملفات النشر لحالات الاستخدام الواقعية.
يستهدف الإصدار استهلاك الذاكرة، وهو أحد أكبر العقبات أمام تشغيل الذكاء الاصطناعي المتقدم على الأجهزة المحلية. مع معالجة مساعدي الذكاء الاصطناعي للمحادثات الأطول والملفات الأكبر والمهمات الأكثر تعقيدًا، يتوسع ذاكرة KV الخاصة بهم وقد تتطلب موارد أجهزة كبيرة.
وفقًا للباحثين، يقلل TurboQuant من هذه المتطلبات الذاكرة بنسبة تصل إلى 5 مرات مع الحفاظ على أداء النموذج، مما يجعل من الأسهل تشغيل أنظمة الذكاء الاصطناعي القوية على أجهزة الكمبيوتر المحمولة والهواتف ووحدات معالجة الرسومات الاستهلاكية والأجهزة الحافة.
أشار الرئيس التنفيذي لتيرتر باولو أردوينو إلى الإصدار قائلًا: "أظهر بحث جوجل أنه يمكن ضغط ذاكرة الذكاء الاصطناعي بكفاءة أكبر بكثير مما افترضه معظم الناس. إن عملنا يجلب هذه القفزة التكنولوجية إلى برامج إنتاجية يمكن للمطورين ورواد الأعمال والمستخدمين بناءها فعليًا."
وفقًا لأردويينو، يجب أن تكون أدوات الذكاء الاصطناعي قادرة على معالجة الوثائق الطويلة، والاحتفاظ بسياق المشروع، ودعم تطوير البرمجيات، والعمل مع البيانات الخاصة محليًا بدلاً من توجيه كل مهمة عبر البنية التحتية السحابية. وقال إن TurboQuant يساعد في جعل ذلك ممكنًا من خلال منح أنظمة الذكاء الاصطناعي المحلية قدرة ذاكرة أكبر ووعي سياقي.
"إذا كان الذكاء الاصطناعي ذو السياق الطويل يعمل فقط داخل أكبر مراكز البيانات، فسيتم تشكيل الذكاء الاصطناعي من قبل من يمتلك أكبر قدر من الأجهزة،" أضاف.
تؤمن تيتر أن التكنولوجيا يمكن أن تساعد في نقل مزيد من أحمال الذكاء الاصطناعي بعيدًا عن خدمات السحابة المركزية من خلال تمكين نوافذ سياق أطول وأداء محسن على الأجهزة المحلية.
المضمنة في QVAC SDK 0.12.0، تدعم الإصدار هدف الشركة في بناء أنظمة ذكاء اصطناعي تعمل بالقرب من المستخدمين من خلال الأجهزة الشخصية، والشبكات المحلية، والبنية التحتية اللامركزية.