فيشال ميسرا يناقش التحولات، السببية، وتحديث بايزي في الذكاء الاصطناعي

• يتعلم المحولات بشكل أساسي الارتباطات، وليس الأسباب، مما يحد من قدرتها على تحقيق ذكاء حقيقي.
• تحقيق الذكاء العام الاصطناعي يتطلب نماذج يمكنها الانتقال من تعلم العلاقات المرتبطة إلى فهم الأسباب والنتائج.
• تُولِّد النماذج اللغوية الكبيرة النصوص عن طريق التنبؤ بالرمز التالي بناءً على توزيعات الاحتمالات.
• يؤثر السياق المقدم في المطالبات بشكل كبير على مخرجات نماذج اللغة.
• تعمل نماذج اللغة على مصفوفات نادرة حيث إن العديد من مجموعات الرموز لا معنى لها.
• يسمح التعلم في السياق للنماذج الكبيرة للغة بحل المشكلات في الوقت الفعلي باستخدام أمثلة.
• لغات مخصصة لمجال معين (DSLs) يمكنها تبسيط استعلامات قواعد البيانات المعقدة إلى لغة طبيعية.
• التعلم في السياق في نماذج اللغة الكبيرة يشبه التحديث البايزي، حيث يتم تعديل الاحتمالات مع الأدلة الجديدة.
• الجدل بين المقاربات البايزية والترددية يؤثر على إدراك نماذج التعلم الآلي الجديدة.
• مفهوم نفق الرياح البايزي يوفر بيئة محكومة لاختبار هياكل التعلم الآلي.
• فهم آليات نماذج اللغة الكبيرة أمر ضروري للاستفادة من تطبيقاتها بفعالية.
• الانتقال من الارتباط إلى السببية يُعد عقبة كبيرة في تطوير الذكاء الاصطناعي.
• الصلة السياقية في نماذج اللغة الكبيرة تبرز أهمية اختيار الأوامر.
• تعزز المصفوفات النادرة في نماذج اللغة الكفاءة من خلال تصفية مجموعات الرموز غير ذات الصلة.
• يوفر نفق الرياح البايزي إطارًا جديدًا لتقييم نماذج التعلم الآلي.

فيشال ميسرا هو أستاذ علوم الحاسوب والهندسة الكهربائية ونائب عميد الحوسبة والذكاء الاصطناعي في كلية الهندسة بجامعة كولومبيا. وهو يعود إلى بودكاست a16z لمناقشة بحثه الأخير الذي يكشف كيف تقوم وحدات التحويل في نماذج اللغة الكبيرة بتحديث التنبؤات بطريقة دقيقة وقابلة للتنبؤ رياضيًا أثناء معالجة المعلومات الجديدة. ويشير عمله إلى الفجوة نحو الذكاء العام الاصطناعي، مع التأكيد على الحاجة إلى التعلم المستمر بعد التدريب والفهم السببي بدلاً من التعرف على الأنماط.

• تحديث الترانسفورمرات لتوقعاتها بطريقة رياضية قابلة للتنبؤ

  — فيشال ميسرا

• تتعلم نماذج اللغة الكبيرة بشكل أساسي الارتباطات بدلاً من الأسباب، مما يحد من ذكائها.

• التطابق النمطي ليس ذكاءً؛ تتعلم نماذج اللغة الكبيرة الارتباط، وليس السببية

  — فيشال ميسرا

• تحقيق الذكاء العام الاصطناعي يتطلب نماذج يمكنها تعلم العلاقات السببية، وليس فقط الارتباطات.

• للوصول إلى AGI، نحتاج إلى القدرة على الاستمرار في التعلم بعد التدريب

  — فيشال ميسرا

• تولد نماذج اللغة الكبيرة النصوص من خلال بناء توزيع احتمالي للرمز التالي.

• باستخدام مُحفّز، سيُنتج توزيعًا لما يجب أن يكون عليه الرمز التالي

  — فيشال ميسرا

• فهم آليات نماذج اللغة الكبيرة أمر ضروري للاستفادة من تطبيقاتها بفعالية.

• يتأثر سلوك نماذج اللغة بالسياق السابق المقدم في الأوامر.

• حسب اختيارك للتخليق أو الرج، تبدو الصف التالي مختلفًا تمامًا

  — فيشال ميسرا

• الصلة السياقية في نماذج اللغة الكبيرة تبرز أهمية اختيار الأوامر.
• تعمل نماذج اللغة على مصفوفة خفيفة، حيث إن العديد من مجموعات الرموز لا معنى لها.

• لحسن الحظ، هذه المصفوفة نادرة جدًا لأن التوليفة العشوائية من هذه الرموز عبارة عن عبث

  — فيشال ميسرا

• تعزز المصفوفات النادرة الكفاءة من خلال تصفية مجموعات الرموز غير ذات الصلة.
• يمكن أن يغير السياق المقدم بشكل كبير مخرجات نماذج اللغة.
• فهم كيفية توليد نماذج اللغة للنص بناءً على محفزات الإدخال أمر أساسي.

• يسمح التعلم في السياق للنماذج الكبيرة للغة بالتعلم وحل المشكلات في الوقت الفعلي.

• التعلم في السياق هو عندما تُظهر للنموذج اللغوي الكبير شيئًا لم يره من قبل إلى حد كبير

  — فيشال ميسرا

• تُعالج نماذج اللغة الكبيرة وتتعلم من المعلومات الجديدة من خلال الأمثلة.
• يشبه التعلم في السياق تحديث بايزي، حيث يُعدّل الاحتمالات مع الأدلة الجديدة.

• تقوم نماذج اللغة الكبيرة بفعل شيء يشبه التحديث البايزي

  — فيشال ميسرا

• هذه الآلية حاسمة لفهم قدرات نماذج اللغة الكبيرة.
• يُمكّن التعلّم في السياق من حل المشكلات في الوقت الحقيقي في نماذج اللغة الكبيرة.
• القدرة على التعلم من الأمثلة تُظهر مرونة نماذج اللغة الكبيرة.

• تُحول لغات المجالات الخاصة (DSLs) الاستعلامات بلغة طبيعية إلى تنسيق قابل للمعالجة.

• قمت بتصميم DSL، وهي لغة مخصصة لمجال معين، والتي تحول الاستعلامات حول إحصائيات الكريكيت

  — فيشال ميسرا

• تبسيط استعلامات قواعد البيانات المعقدة إلى لغة طبيعية.
• يُظهر إنشاء DSLs الابتكار في استخدام الذكاء الاصطناعي للتطبيقات المحددة.
• فهم تحديات استعلام قواعد البيانات المعقدة أمر أساسي.
• تعزز DSLs تفاعلات المستخدم مع البيانات من خلال تبسيط عمليات الاستعلام.
• يُبرز تطوير لغات النطاق المخصص دور الذكاء الاصطناعي في إمكانية الوصول إلى البيانات.
• يوفر هذا النهج حلاً تقنيًا للمشاكل الشائعة في إمكانية الوصول إلى البيانات.

• التعلم في السياق في نماذج اللغة يشبه التحديث البايزي.

• ترى شيئًا، ترى دليلًا جديدًا، فتُحدّث إيمانك بما يحدث

  — فيشال ميسرا

• فهم الاستدلال البايزي ضروري لفهم كيفية معالجة نماذج اللغة الكبيرة للمعلومات.
• الفرق بين النهج البايزي والنهج التكراري يؤثر على إدراك نماذج الذكاء الاصطناعي.

• لقد كانت هناك مجموعات من البيزيين والمتكررين في الاحتمالات وتعلم الآلة

  — فيشال ميسرا

• الجدل بين هذه المناهج يؤثر على استقبال الأبحاث الجديدة.
• يقدم التحديث البايزي آلية واضحة للتعلم في السياق في نماذج اللغة الكبيرة.
• هذا المفهوم الإحصائي يربط مناهج مُثبتة منذ زمن طويل بعمليات الذكاء الاصطناعي الحديثة.

• يسمح مفهوم نفق الرياح البايزي باختبار هياكل التعلم الآلي.

• أطلقنا هذه الفكرة من نفق رياح بايزي

  — فيشال ميسرا

• هذا المفهوم يوفر بيئة محكومة لتقييم النماذج.
• يُسهّل هذا الإطار اختبار هياكل مثل transformers وMAMBA وLSTMs وMLPs.
• فهم مفهوم نفق الرياح في الطيران يساعد على إدراك تطبيقه في الذكاء الاصطناعي.
• يقدم نفق الرياح البايزي إطارًا جديدًا لتطوير التعلم الآلي.
• هذا النهج أساسي لتقييم وتحسين نماذج الذكاء الاصطناعي.
• بيئة الاختبار المُحكمة تعزز موثوقية تقييمات النموذج.