تعليم الذكاء الاصطناعي على كتابة كود يعمل هو شيء واحد. تعليمه على كتابة كود يعمل بسرعة هو، على ما يبدو، أمر مختلف تمامًا.
ورقة جديدة من فريق FAIR في Meta AI، نُشرت في 29 يوليو، تكشف أن توسيع التعلم المعزز من صحة الكود إلى تحسين سرعة الكود مليء بالمشكلات التي لا تستطيع الأساليب القياسية التعامل معها. المُذنبون: قياسات زمنية ضوضائية، مكافآت نادرة، وخوارزميات تنهار عندما تُطلب منها الاهتمام بالأداء، وليس فقط الدقة.
المشكلة مع السرعة
عندما تقاس ما إذا كان الكود ينتج الإجابة الصحيحة، تحصل على إشارة ثنائية نظيفة. لكن قياس سرعة تشغيل الكود أمر غير نظيف. قم بتشغيل نفس الكود مرتين على نفس الجهاز وستحصل على أوقات تنفيذ مختلفة قليلاً. إن العمليات الخلفية، وجدولة وحدة المعالجة المركزية، وتخصيص الذاكرة، كلها تُدخل ضوضاء في قياسات الوقت.
وجد فريق ميتا أن تحسين سياسة التعزيز المعمم، أو GRPO، وهو خوارزمية قياسية في مجموعة أدوات تعلم التعزيز، يصبح غير مستقر عندما تُزوَّد بقياسات السرعة الضوضائية من هذا النوع.
ندرة المكافآت تُفاقم المشكلة. معظم تحسينات الكود تؤدي إلى تحسينات طفيفة في السرعة، مما يعني أن النموذج نادرًا ما يتلقى إشارة إيجابية قوية تخبره: "نعم، هذا التغيير جعل الأمور أسرع."
DMC-Optim: معيار جديد لمشكلة جديدة
لمعالجة هذه التحديات، قام الباحثون ببناء DMC-Optim، وهو معيار يضم بيئة محاكاة مُعايرة وخطوة تدريب متخصصة. يجمع النظام بين المكافآت لكل من الدقة وسرعة التنفيذ داخل محاكي غير متصل، مما يخلق بيئة خاضعة للرقابة يمكن فيها إدارة الضوضاء الزمنية بدلاً من تجاهلها.
النتائج صعبة الجدل. ارتفع معدل النجاح لـ Qwen 2.5 7B من 18.0% إلى 31.3%， أي تحسن نسبي يقارب 74%. وارتفع معدل النجاح لـ CWM 32B من 30.7% إلى 50.4%， أي مكسب نسبي قدره 64%. وفي معيار LCB، تفوق نموذج CWM 32B المدرب بهذه الطريقة على المقارنات المتوسطة للسرعة في 83% من الحالات، مقارنة بالنماذج المدربة باستخدام التعلم المعزز القياسي من المكافآت القابلة للتحقق.
في ظل ظروف توقيت متدهورة، حيث يتم تضخيم الضوضاء القياسية بشكل مقصود، أظهر معيار DMC-Optim تحسينات في الأداء تتراوح بين 100% و200% مقارنة بالطرق القياسية.
تم تأليف الورقة من قبل بيير شامبون وكوهاو زينغ وجوليت ديكوجيس وبنوا ساغو وغابرييل سيناييف، جميعهم من ميتا أيه آي.