تطلق OpenAI معايير جديدة للبرمجة بالذكاء الاصطناعي في اللغات ذات الموارد المنخفضة

أصدرت OpenAI تقييمين جديدين موجهين لـ"اللغات البرمجية ذات الموارد المنخفضة": يطلب MultiLangBench من النماذج تنفيذ محرك قاعدة بيانات متوافق مع SQLite من الصفر باستخدام 20 لغة مختلفة؛ بينما يطلب التقييم الآخر من النماذج نقل برامج COBOL إلى C++ أو Java أو Kotlin أو Python أو Rust مع الحفاظ على السلوك الأصلي. أظهرت النتائج الرسمية أن GPT‑6 Astra حقق متوسط نسبة نجاح في اختبارات MultiLangBench بلغت 87.4٪، بينما حقق GPT‑6.1 Sol دقة بنسبة 97.9٪ في نقل برامج COBOL تحت ظروف حسابية عالية الكثافة. وهذا يشير إلى أن قدرات الذكاء الاصطناعي في البرمجة تتوسع من اللغات الشائعة مثل Python وJavaScript إلى طبقات تقنية قديمة لا تزال مستخدمة في البنوك والحكومات والمؤسسات البحثية. ومع ذلك، فإن هذه النتائج مستمدة من تقييمات صممتها ونفذتها OpenAI؛ فـ87.4٪ تمثل نسبة حالات الاختبار الناجحة، ولا تعني أن النموذج أكمل تنفيذًا لقاعدة بيانات SQLite جاهزة للإنتاج، ولا يمكن تفسير 97.9٪ على أنها تعني أن البنوك يمكنها نقل أنظمتها الأساسية دون مراجعة بشرية.

مؤلف المقال، المصدر: OpenAI

في مجال البرمجة بالذكاء الاصطناعي، تشير اللغات منخفضة الموارد إلى اللغات التي يوجد بها عدد قليل نسبيًا من الكود العام والوثائق ومواد أسئلة وأجوبة المتاحة للنموذج للتعلم، ولا يعني ذلك أن هذه اللغات تفتقر إلى القيمة الواقعية.

تتمتع Python وJavaScript ببيئة مفتوحة المصدر ضخمة، حيث يمكن للنماذج رؤية كميات كبيرة من الكود وتقارير الأخطاء وسجلات الإصلاحات أثناء التدريب. أما المواد العامة الخاصة بـ COBOL وFortran وVisual Basic وOCaml فهي أقل بكثير، حيث لا يزال الكثير من الكود مخزنًا داخل أنظمة الشركات.

في الوقت نفسه، لا تزال هذه اللغات تؤدي مهامًا حاسمة. وتشير OpenAI إلى بيانات من IBM تفيد بأن COBOL تدعم أكثر من 40% من أنظمة البنوك الإلكترونية، و80% من معاملات بطاقات الائتمان في المتاجر، و95% من معاملات أجهزة الصراف الآلي؛ بينما لا يزال Fortran يُستخدم في التنبؤ بالطقس وتحليل سلامة المفاعلات النووية.

صعوبة صيانة هذه الأنظمة لا تقتصر فقط على قدم اللغة البرمجية. فقد يكون المطورون الأصليون قد غادروا بالفعل، والوثائق غير كاملة، والقواعد التجارية الفعلية موجودة فقط داخل الكود. قد لا توجد أي توضيحات حول سبب قص الأرقام العشرية أو كيفية التعامل مع سجلات الحسابات غير الموجودة، ومع ذلك فإن هذه الأمور تؤثر مباشرة على نتائج الحسابات المالية.

لذلك، ما يحتاجه الذكاء الاصطناعي حقًا لإثباته ليس "ما إذا كان يمكنه ترجمة COBOL إلى Python تبدو أكثر حداثة"، بل ما إذا كانت القواعد التجارية تُنفَّذ تمامًا كما هي بعد التحويل.

أصدرت OpenAI MultiLangBench لهذا الغرض. وهو يطلب من النموذج بناء محرك قاعدة بيانات متوافق مع SQLite باستخدام لغة محددة خلال عملية برمجية طويلة.

سيتلقى البرنامج المرشح ملف قاعدة بيانات ابتدائي وطلب SQL، وبعد التنفيذ ينتج قاعدة بيانات معدلة. ثم تقوم نظام التقييم باستدعاء تنفيذ SQLite الرسمي للتحقق مما إذا كانت محتويات قاعدة البيانات متسقة مع النتيجة القياسية. وباستخدام ملف قاعدة البيانات كواجهة مشتركة، يمكن مقارنة نفس مجموعة الوظائف عبر لغات مختلفة.

يغطي الاختبار 20 لغة، بما في ذلك C وC++ وCOBOL وFortran وJava وJavaScript وLean وOCaml وPython وRust وVisual Basic وZig، ويقيم قدرة النموذج على تنظيم مكتبات الكود وإدارة الحالة ومعالجة الأخطاء وإضافة ميزات جديدة وتجنب إتلاف الوظائف القديمة. تم تعديل حالات الاختبار من مجموعة الاختبارات الحالية لـ SQLite.

عند أقصى شدة استدلال، بلغ متوسط معدل اجتياز اختبارات GPT-6 Astra 87.4%، بينما بلغ GPT-5.6 Sol 26.8%. وصرحت OpenAI أن Astra شهدت تحسينات في جميع اللغات الـ20:

ارتفع COBOL من 10.9% إلى 72.1%， وارتفع OCaml من 25.6% إلى 85.8%， وارتفع Fortran من 21.4% إلى 83.5%， وارتفع Visual Basic من 27.5% إلى 89.4%. من بين 20 لغة، تجاوزت 19 منها 83%، ولا يزال COBOL هو الأكثر صعوبة.

(يوجد هنا وحدة تفاعلية قابلة للتبديل بين 20 لغة، يمكنك عرض نتائج وتكاليف كل نموذج لكل لغة.)

يجب فهم هذه الأرقام بشكل صحيح. فنسبة المرور المتوسطة لحالات التقييم هي 87.4٪، ولا تعني أن النموذج لديه احتمال 87.4٪ لإنشاء قاعدة بيانات كاملة ومستقرة ومتوافقة تمامًا مع جميع مواصفات SQLite. فالفشل في حوالي 12.6٪ من الاختبارات لا يزال يمكن أن يشير إلى مشاكل في المعاملات أو معالجة الأخطاء أو اتساق البيانات، وهي مشاكل قد تمنع النشر الإنتاجي.

إنه يثبت أن النموذج يمكنه بناء برامج أكثر تعقيدًا في لغات غير مألوفة، وليس أن SQLite يمكن بالفعل إعادة كتابتها بالكامل بواسطة الذكاء الاصطناعي دفعة واحدة.

كما اختبرت OpenAI GPT-6 Luna الأقل تكلفة، والتي حققت متوسط نسبة نجاح 40.3% عبر 20 لغة، متفوقة على GPT-5.6 Sol بنسبة 26.8%.

تكلفة API المتوسطة لـ Luna تبلغ حوالي 0.77 دولار لكل عينة، بينما تبلغ تكلفة GPT‑5.6 Sol حوالي 3.48 دولار، بانخفاض بنسبة 78% تقريبًا. لكن أدائها لم تصل إلى مستوى Astra: حيث حققت Luna 17.1% في COBOL، و31.4% في Fortran، و41.6% في Visual Basic.

تعرض هذه النتائج طريقتين مختلفتين: تستخدم Astra موارد استدلال أكبر لتعظيم إنجاز المهام المعقدة، بينما تتعامل Luna مع عينات أكثر بتكلفة أقل، مما يجعلها مناسبة للمحاكمات الجماعية والتحليلات الأولية والمهام المساعدة ذات المخاطر المنخفضة.

ما يُسمى بالتكلفة هو مجرد تقدير لرسوم واجهة برمجة التطبيقات في التقييم، ولا يشمل التكاليف البشرية المطلوبة لمراجعة المهندسين، وبيئة الاختبار، وقبول الأعمال، وإصلاح الأخطاء. بالنسبة للأنظمة القديمة، غالبًا ما لا تكون تكاليف استدعاء النموذج هي أكبر تكلفة في مشروع النقل.

المطلب الثاني للتقييم يتطلب من النموذج نقل برنامج COBOL إلى C++ أو Java أو Kotlin أو Python أو Rust.

التركيز على الاختبار ليس على نظافة كود الترجمة، بل على ما إذا كانت المخرجات القابلة للملاحظة للبرنامج الجديد والقديم متطابقة بايتًا بايتًا. يجب أن يمر كل نتيجة هجرة بجميع الاختبارات المخفية ليُعتبر ناجحًا.

أشارت OpenAI بشكل خاص إلى مثال الأعداد العشرية الثابتة: قد تقوم COBOL تلقائيًا بحذف الأرقام العشرية الزائدة ما لم يطلب البرنامج صراحةً التقريب. إذا قام النموذج بتغييره تلقائيًا إلى التقريب وفقًا لعادات البرمجة الحديثة، فرغم أن البرنامج سيستمر في العمل بشكل صحيح، فإن النتائج المالية ستتغير.

عند كثافة استدلال منخفضة، تصل دقة نقل GPT-6.1 Sol إلى 86.6٪، بينما تصل إلى 5.4٪ فقط لـ GPT-5.6 Sol؛ كما أن تكلفة API المقدرة للأولى أقل بنسبة 39٪. وبعد زيادة كثافة الاستدلال، تصل GPT-6.1 Sol إلى 97.9٪، مما يجعل هذا التقييم قريبًا من التشبع.

الـ 97.9% هنا تعني "نسبة البرامج التي اجتازت تمامًا الحالات الخفية في اختبارات OpenAI"، وليست "أن أي نظام COBOL لديه 97.9% من الكود الذي يمكن نقله تلقائيًا بأمان".

قد تتصل أنظمة البنوك الحقيقية بحواسيب مركزية، قواعد بيانات حصرية، مجدولين معالجة دُفعية، وبروتوكولات اتصال داخلية، كما توجد سيناريوهات استثنائية غير مغطاة بحالات اختبار. كما أوضحت OpenAI صراحةً أن النقل إلى البيئة الإنتاجية يتطلب مراجعة من قبل خبراء وإعادة اختبار وفقًا للقواعد التجارية الفعلية والاعتماديات.

رفعت OpenAI بيئة التقييم وحزمة الاختبار ونتائج اللغة الفردية الخاصة بـ MultiLangBench إلى GitHub، حيث يمكن للمطورين التحقق من محتوى الاختبار وإعادة تشغيله باستخدام نماذج أو إطارات عوامل أخرى.

هذا أكثر قيمة من عرض جدول نتائج واحد فقط: يمكن للخارجيين مراقبة الدقة التي يفشل فيها النموذج في وظائف SQL، كما يمكنهم مقارنة ما إذا كانت النتائج تتأثر بعبارات التوجيه، وصلاحيات الأدوات، والميزانية الاستدلالية، ومدة التشغيل.

ومع ذلك، أعلنت المقالة الرسمية فقط عن إتاحة MultiLangBench، دون توضيح أن عينات البرنامج الكاملة لتقييم هجرة COBOL واختبارات مخفية قد تم فتحها أيضًا. لا يمكن حاليًا التحقق من النتيجة البالغة 97.9٪ من هذه الأخيرة أو إعادة إنتاجها من قبل الخارجين، على عكس MultiLangBench.

كما تم تصميم كلا التقييمين من قبل OpenAI، ويُستخدمان بشكل أساسي لمقارنة نماذج OpenAI الخاصة بها. ولم تُغطَّ بعد كميات كبيرة من مكتبات الشيفرة التجارية الحقيقية، وتكاليف الصيانة على المدى الطويل، وثغرات الأمان، وانخفاض الأداء، وكم من الوقت يتطلبه المراجعة البشرية. وبالتالي، فإن النتائج تثبت أولاً تقدم النموذج في المهام الخاضعة للرقابة، وليس التحقق النهائي من حل مشكلة تحديث البرمجيات التجارية.

على مدار السنتين الماضيتين، ركّزت عروض منتجات الذكاء الاصطناعي للبرمجة بشكل كبير على إنشاء صفحات ويب وتطبيقات محمولة وأدوات بايثون. هذه السيناريوهات بديهية، لكنها ليست مشكلات البرمجيات الأكثر تكلفة للشركات الكبرى.

ما تواجهه البنوك والتأمين والحكومات والمؤسسات البحثية بصعوبة حقيقية هو الكود الذي يعمل منذ عقود ولا يجرؤ أحد على تعديله بسهولة. قد لا يكون حديثًا، لكنه يحتوي على القواعد التي تعتمد عليها معالجة الحسابات وحساب الضرائب وسلاسل التوريد وتشغيل البنية التحتية.

المعنى وراء MultiLangBench هو هذا: هل يمكن لقدرات النموذج أن تتجاوز لغات التدريب الأكثر شيوعًا، وتنقل مناهج هندسة البرمجيات إلى مجموعات تقنية نادرة البيانات، وأدوات قديمة، وتكاليف أخطاء أعلى؟

إذا استمرت هذه القدرة في التحسن، فقد لا تكون أول تغييرات تجلبها الذكاء الاصطناعي هي "حذف كل COBOL بنقرة واحدة"، بل مساعدة المهندسين على قراءة الكود غير المألوف، وإكمال الاختبارات، واستعادة الوثائق المفقودة، وتحديد قواعد العمل، ثم إتمام النقل تدريجيًا عبر وحدات مُثبتة. لا يزال الخبراء البشريون مسؤولين عن تحديد السلوكيات التي يجب الاحتفاظ بها، والوقت الذي يمكن فيه استبدال الأنظمة القديمة فعليًا.