الأكثر إثارة للدهشة هو: أنني لا أملك أي خلفية في التعلم الآلي، ولا أعرف الإجراءات القياسية لتدريب النماذج، ولا أفهم العديد من التفاصيل التقنية. ما قمت به كان مجرد طلب متكرر من Sol وتقديم ملاحظات حول النتائج، مما سمح له بالبحث عن المشكلات وتصميم التجارب والتحسين المستمر بنفسه.كاتب المقال: Anshu
تجميع المقالة، المصدر: ME News
هذا هو المرة الأولى التي أشعر فيها حقًا أن "AGI قد جاءت فعليًا".
قمت بتدريب نموذج تصحيح تلقائي خاص بي باستخدام GPT-5.6 Sol. في النهاية، تجاوز هذا النموذج المحلي الذي يحتوي فقط على 1.7 مليار معلمة أداء GPT-5.6 Sol على مجموعة الاختبار.
الأكثر إثارة للدهشة هو: أنني لا أملك أي خلفية في التعلم الآلي، ولا أعرف الإجراءات القياسية لتدريب النماذج، ولا أفهم العديد من التفاصيل التقنية. ما قمت به كان مجرد طلب متكرر من Sol وتقديم ملاحظات حول النتائج، مما سمح له بالبحث عن المشكلات وتصميم التجارب والتحسين المستمر بنفسه.
العملية بأكملها مجانية.
كل شيء بدأ من مشكلة كتابة تزداد سوءًا
بعد التحدث مع الذكاء الاصطناعي لفترة طويلة، لاحظت أن قدرتي على الكتابة تدهورت تدريجيًا.
لقد اعتدت على الكتابة السريعة، ولم أعد أتحقق بعناية من الأخطاء الإملائية أو ترتيب الحروف أو الحروف المفقودة. بدلاً من إعادة تدريب مهاراتي في الكتابة، قررت اعتماد حل أكثر ملاءمة لعصر الذكاء الاصطناعي: مواصلة استخدام المزيد من الذكاء الاصطناعي لحل المشكلات.
يقوم التصحيح التلقائي التقليدي بتعديل النص باستمرار أثناء الإدخال، مما قد يعيق التفكير. فكرتي هي السماح للمستخدم بإدخال النص بسرعة دون أي تدخل، حتى لو كان مليئًا بالأخطاء، ثم يُنظفه الذكاء الاصطناعي دفعة واحدة بعد الانتهاء من الإدخال.
في الوقت نفسه، أرغب في أن يكون هذا النموذج بأصغر حجم ممكن.
كلما كان النموذج أصغر، كان أسرع في التشغيل وأقل استهلاكًا للطاقة، وأكثر ملاءمة للتشغيل الكامل محليًا. سواءً من أجل الكفاءة أو عمر البطارية، أو فقط من فضول تجريبي، أريد أن أرى: إلى أي مدى يمكن لنموذج محلي صغير بما يكفي أن يحقق تصحيحًا تلقائيًا دقيقًا؟
فقررت تدريب واحد بنفسي.
اجعل Sol باحثًا تلقائيًا يجري التجارب
استوحي هذا المشروع من تجربة "autoresearch" الخاصة بإندريه كارباتي.
Through Codex's /goal mode, I designed a cyclical workflow for Sol:
اختر تجربة، نفّذ التجربة، وسجّل النتائج في المستند؛ إذا فشلت، تخلَّ عن هذا المسار؛ ثم خطّط للتجربة التالية، مع تجنّب تكرار الأخطاء التي تم التحقق منها بالفعل.
قدمت فقط عدة عينات من المدخلات الضرورية للمرور، وأهداف تأخير صارمة، والنتيجة النهائية المرغوبة، ثم تركت سول تعمل بنفسها.
ما حدث بعد ذلك تجاوز توقعاتي.
Sol قام أولاً بالبحث عن مقارنة بين نماذج أساسية متعددة، بما في ذلك Qwen 3.5 وGemma 4 وLiquid LFM 2.5. ثم وجد مجموعة بيانات مرتبطة بالنصوص المكتوبة الفعلية على Hugging Face.
لكن البيانات الحقيقية غير كافية.
لإنشاء أخطاء إملائية أقرب إلى الإدخال الفعلي للمستخدم، كتب سول محاكيًا لـ "ضرب الأصابع على لوحة مفاتيح ماك". فهو يحاكي نقطة هبوط الأصابع باستخدام توزيع غاوسي بناءً على التصميم المادي للوحة المفاتيح، ويولد أنواعًا متعددة من الأخطاء الشائعة، مثل:
- اضغط على الأزرار المجاورة؛
- الحروف مقلوبة؛
- إعادة الإدخال؛
- 漏掉字符；
- لمس عدة مفاتيح في نفس الوقت بإصبعك.
بعد الحصول على النموذج الأساسي وبيانات النص ومحاكي أخطاء لوحة المفاتيح، قمت بضبط Sol مباشرة على جهاز MacBook الخاص بي باستخدام MLX.
في أقل من ساعة، أنشأ نموذجًا قابلًا للتشغيل.
المشكلة أن دقة الإصدار الأول لم تكن مثالية.
الحاجز الأول: لا يفهم المُقسِّم الأخطاء الإملائية
قرأ Sol الأوراق البحثية ذات الصلة وصمم سلسلة من الاختبارات، وخلص في النهاية إلى أن العائق الرئيسي للنموذج ليس في بيانات التدريب، بل في مُقسّم الرموز (Tokenizer).
عادةً لا تفهم النماذج اللغوية الكبيرة النص حرفًا بحرف، بل تقوم أولاً بتقسيم النص إلى وحدات تُسمى Token. يمكن تفكيك الكلمات العادية إلى وحدات دلالية مستقرة، لكن الأخطاء الإملائية غالبًا ما تُدمّر بنية Token الأصلية.
هذا يعني أن خطأً في الحرف يبدو واضحًا جدًا للإنسان قد يصبح في عين النموذج مجموعة من الرموز完全 غريبة.
من الصعب على النموذج أن "يفهم" الأخطاء حقًا؛ فهو يقتصر على حفظ العلاقات الميكانيكية بين الأخطاء الإملائية والتصحيحات الصحيحة. هذا النهج لا يوفر قدرة تعميم جيدة، ولا يستفيد بشكل كامل من المعرفة اللغوية الأصلية للنموذج.
حاول Sol أولاً ByT5 من Google.
ByT5 هو نموذج لا يعتمد على مُقسِّم تقليدي، بل يعالج سلاسل البايت مباشرة. أدى هذا المحاولة إلى تحسن ملحوظ، لكن ByT5 تم إصداره مبكرًا، ويحتوي النموذج نفسه على معرفة لغوية محدودة، لذا لا يزال أداؤه لا يصل إلى مستوى GPT-5.6 Sol.
بعد مواصلة البحث، أدرك سول أن المشكلة لا تحتاج بالضرورة إلى "إلغاء مُقسّم الرموز بالكامل" لحلها.
اختارت بدلاً من ذلك T5Gemma، وهو نموذج ببنية Encoder-Decoder.
على عكس النماذج التي تتنبأ فقط بالرمز التالي، يمكن لنموذج Encoder-Decoder أن يفهم المدخلات بالكامل عبر المُشفِّر، ثم يُنتج النص المصحح عبر المُفكِّك. والأهم من ذلك، يمكن لـ Sol أيضًا إجراء تدريب إضافي على المُشفِّر لتحسين قدرة النموذج على التعرف على المدخلات التي تحتوي على أخطاء إملائية.
This route significantly raises the model's performance ceiling.
الحاجز الثاني: دوال الخسارة التقليدية تشجع النموذج على "عدم التعديل"
بعد تغيير بنية النموذج، ظهرت مشكلة جديدة.
تمكّن النموذج من تصحيح بعض الأخطاء بدقة، لكنه غالبًا ما يتجاهل مشاكل إملائية واضحة أخرى. حتى عند وجود أخطاء في المدخلات، فإنه يميل إلى نسخها كما هي.
اكتشف Sol أن المشكلة تأتي من دالة خسارة الإنتروبيا المتقاطعة الأكثر شيوعًا.
في بيانات التصحيح التلقائي، تكون معظم الأحرف صحيحة أصلاً، وتمثل الأحرف التي تحتاج فعلاً إلى تعديل نسبة صغيرة جدًا. إذا تم التدريب باستخدام إنتروبيا تقاطعية قياسية مباشرة، فإن أأمن استراتيجية للنموذج هي "محاولة تجنب التعديل قدر الإمكان".
لأن نسخ النص الأصلي يوفر الإجابة الصحيحة في معظم المواقع، بينما التغيير النشط قد يؤدي إلى أخطاء.
بعبارة أخرى، فإن أهداف التدريب التقليدية تكافئ النموذج على البقاء كما هو.
لحل هذه المشكلة، كتب سول مجموعة من وظائف الخسارة المخصصة.
يقوم أولاً بمحاذاة النص الأصلي مع النص الهدف على مستوى البايت، ثم يحسب مسار التحرير الأدنى بين النصين باستخدام خوارزمية البرمجة الديناميكية، ليحدد أي المواقع تُعد نسخًا وأيها تُعد إدراجًا أو حذفًا أو استبدالًا حقيقيًا.
على هذا الأساس، قام Sol بزيادة وزن التدريب المقابل لـ"التعديل الصحيح"، في حين خفض العائد الناتج عن نسخ الأحرف بشكل مجرد.
بعد عدة جولات من ضبط المعلمات، تحسنت دقة تصحيح النموذج بشكل ملحوظ.
الحاجز الثالث: بمجرد أن يخطئ النموذج، لا يمكنه العودة
المشكلة الرئيسية الأخيرة تأتي من آلية التوليد الذاتي التكراري.
عند توليد النص، لا يمكن للنموذج إلا التنبؤ بالرمز التالي بناءً على المحتوى الذي تم توليده مسبقًا. بمجرد حدوث خطأ في خطوة سابقة، سيُبنى التوليد اللاحق على النتيجة الخاطئة، ولا يمكن للنموذج تصحيح الخطأ فعليًا.
نظريًا، يمكن تدريب النموذج على أن يفكر أولاً قبل الإجابة، مثل نموذج الاستدلال، لكن هذا سيزيد بشكل كبير من التأخير، وهو غير مناسب لسيناريوهات التصحيح التلقائي التي تتطلب استجابات فورية.
وجد Sol أخيرًا حلاً أكثر أناقة: Beam Search، أي البحث الشعاعي.
لا يختار النموذج بعد الآن مسارًا واحدًا فقط ذو أعلى احتمال في كل خطوة، بل يحافظ في نفس الوقت على عدة فروع محتملة للإنشاء، ويستكشف بالتوازي نتائج تصحيح مختلفة. بعد انتهاء البحث، يتم اختيار المسار الكامل ذو أعلى احتمال تراكمي للسجل.
This is equivalent to replacing single-threaded reasoning with parallel search.
يُحسّن بحث الشعاع النتائج النهائية بشكل ملحوظ، لكنه يُدخل مشكلة في التجربة: لا يرى المستخدم أي مخرجات حتى اكتمال البحث بالكامل.
ثم أجرى سول ملاحظة ذكية جدًا.
بعد كل جولة بحث، يمكن مقارنة جميع الفروع المحفوظة حاليًا. طالما أن هذه الفروع تملك نفس البداية، فسيظهر بالضرورة هذا "البادئة المشتركة الأطول" في النتيجة النهائية.
لذلك، يمكن للنظام عرض هذا المحتوى للمستخدم على الفور.
مع استمرار البحث، يتم التخلص التدريجي للمسارات الأضعف، ويزداد طول البادئة المشتركة للفرع المتبقي. في النهاية، لا يرى المستخدم النتائج التي تظهر دفعة واحدة، بل نص تصحيح مستمر يُولَّد تدريجيًا.
حول سول العملية بالكامل إلى خط أنابيب استدلال MLX مخصص، مستخدمًا معالج GPU في جهاز MacBook للفك المتوازي.
في النهاية، كان تأخير إخراج أول رمز حوالي 40 مللي ثانية فقط، وهو سريع بما يكفي، وتمت العملية بالكامل محليًا.
النتيجة النهائية: نموذج بـ 1.7 مليار معلمة يتفوق على GPT-5.6 Sol
يُستخدم "معدل تقليل الأخطاء" كمقياس للتقييم النهائي، وكلما ارتفع الرقم، زاد عدد الأخطاء في المدخلات التي أصلحها النموذج.
النتائج التقييمية كالتالي:
- تصحيح Apple التلقائي: 49.66%
- GPT-5.6 Luna: 82.47%
- GPT-5.6 Terra: 87.64%
- GPT-5.6 Sol: 90.56%
- النموذج الذي تدربناه بـ 1.7 مليار معلمة: 91.02%
هذا النموذج المحلي الصغير تفوق في النهاية على GPT-5.6 Sol بميزة ضئيلة جدًا.
كما قمت بالتحقق بشكل خاص من وجود أي تسريب للبيانات أو "غش" من قبل النموذج. أثناء الاختبار، نستبعد بشكل نشط الكلمات التي ظهرت في بيانات التدريب، لضمان أن النموذج لا يعتمد فقط على حفظ العلاقات الميكانيكية بين الأخطاء والإجابات.
التكلفة النهائية للمشروع بأكمله هي:
إعادة ضبط كمية النموذج وصافي نفقات نقدية بقيمة 0 دولار.
ما أدهشني حقًا ليس فقط النتيجة النهائية
خلال عملية المشروع، هناك تجارب كثيرة لم تُستكشف بعد، بما في ذلك تعلم المقارنة، وGRPO، وDPO، والتحجيم الديناميكي، وغيرها من الاتجاهات المختلفة.
لم تنجح جميع المحاولات، لكن Sol تمكّن من قراءة المواد بنشاط، وتحديد المشكلات، وطرح الفرضيات، وتصميم التجارب، وتحليل النتائج، ثم تخطيط المحاولة التالية بناءً على دروس الفشل.
ما يُدهشني حقًا ليس كون "نموذج بـ 1.7 مليار معلمة تفوق على GPT-5.6 Sol" في حد ذاته.
الأهم من ذلك، أن شخصًا لا يمتلك خلفية على الإطلاق في التعلم الآلي، يمكنه الآن استخدام الذكاء الاصطناعي لإتمام عمليات تجريبية كانت تتطلب فرق بحثية متخصصة في الماضي.
لم أكن أمتلك جميع المعرفة الأساسية، ولم أصمم مسارًا تقنيًا كاملًا مسبقًا. كنت فقط أعرف ما أريد حلّه، ثم شجّعت Sol على الاستمرار في البحث عن الإجابات.
إنه لا يكتب الشيفرة فحسب، بل يتحمل أيضًا أدوار الباحث والمهندس وصانع التصميم التجريبي.
قد يكون هذا هو المرة الأولى التي أشعر فيها حقًا بـ AGI.
Don't let inexperience stop you from starting to experiment.
عندما يمكن للذكاء الاصطناعي مساعدة الأشخاص العاديين على تجاوز الحواجز المهنية، قد لم تعد العديد من المشاريع التقنية التي بدت بعيدة المنال غير ممكنة.