مسار الذكاء الاصطناعي نحو الإتقان: حيثما توجد أنظمة التقييم، يتبع الذكاء الاصطناعي

الكاتب: Robonaissance

مُترجم: Deep潮 TechFlow

مقدمة شينتشاو: الألعاب مثل الشطرنج والغو، وطي البروتينات — لماذا تم اختراق هذه المجالات التي تبدو بحاجة إلى حدس وإبداع بشري، واحدة تلو الأخرى؟ تكشف هذه المقالة عن قاعدة مهملة: ما يحدد ما إذا كان يمكن للذكاء الاصطناعي تجاوز الإنسان ليس صعوبة المهمة، بل إمكانية تقييم النجاح. عندما يُنشأ معيار تقييم في مجال ما، فإنه يُفعّل عدًا تنازليًا لاختراقه.

مأخوذ من سلسلة "Whatever You Ask For"، عن الوظيفة الوحيدة التي لا يمكن للآلة أن تفعلها عنّا.

في 10 مارس 2016، في فندق في سيول، أصدرت آلة حركة لم يفهمها أي شخص في الغرفة، بينما كان خصمها غائبًا في ذلك الوقت.

لي شيه سي خرج للتدخين. كان عمره آنذاك 33 عامًا، ويملك 18 لقبًا عالميًا، وكان يُعتبر على نطاق واسع أقوى لاعب شوغي في جيله. لقد خسر الجولة الأولى في اليوم السابق، وعند دخوله الجولة الثانية، تراجع ثقته قبل المباراة وصار أكثر حذرًا. بينما كان خارجًا، اختار AlphaGo الحركة رقم 37، وأوضع الباحث في DeepMind هوانغ شيه جيه، نيابة عن الآلة، القطعة بهدوء على لوحة الشوغي.

القطعة وقعت على الخط الخامس.

بالنسبة لمن لا يفهم لعبة الغو، فهذا لا معنى له. أما بالنسبة لمن يفهمها، فهو شبه هراء. في مرحلة الافتتاح والوسط، تُعتبر المواقع البعيدة عن الحافة غير فعّالة، إذ لا تحقق أرضًا ولا تحمي الأراضي، مما يعادل التنازل عن النقاط للخصم. هذه هي الحركة التي يصححها المدربون لدى المبتدئين. على كرسي التعليق، اعتقد لاعب الغو المحترف الرائد مايكل ريدموند، أثناء البث المباشر للعبة، في البداية أن هناك خللًا في إشارة الرقعة. رفع قطعة، ثم وضعها مرة أخرى.

عاد لي سيك إلى مقعده وجلس يحدق في لوحة الشطرنج لفترة طويلة دون حركة. تراوحت التقديرات بين حوالي 12 إلى 15 دقيقة. كان فان هوا، بطل أوروبا الذي هُزم من قبل ألفاغو قبل خمسة أشهر، يشاهد المبارزة من داخل المبنى. وكان تقييمه بعد أن ظل يحدق لفترة طويلة: "هذا ليس أسلوب لعب بشري. لم أرَ أحدًا يلعب بهذه الطريقة من قبل."

إنه على حق، ويمكن قياس دقة كلامه. يحتوي نظام DeepMind على آلية تقدير داخلية، تتعلم من عدد كبير من المباريات البشرية لتقدير احتمالية أن يلعب الإنسان حركة معينة في أي موقف. بالنسبة للحركة 37، فإن قيمة التقدير هذه تبلغ حوالي واحد من عشرة آلاف.

الآلة ما زالت تلعب، وهذه الحركة فازت باللعبة بأكملها.

هناك تفسير مريح لهذه القصة ينص على أن الآلة بذلت جهدًا كبيرًا في تعلم أساليب الأساتذة البشريين، ووصلت في النهاية إلى مستوى أفضلهم. هذا التفسير خاطئ، ورقم واحد من بين مليون يوضح تمامًا لماذا هو خاطئ. هناك سقف لمنظومة تتعلم وتحاكي حركات البشر، وهذا السقف هو حركات البشر أنفسهم. ما حدث في سيول هو أن النظام لم يعد مقيّدًا بهذا السقف، لأنه لم يُعطَ هدفًا يتمثل في كسب إعجاب أساتذة البشر، بل في الفوز باللعبة.

هذا الفرق يشير إلى اتجاه أكثر فائدة من الإعجاب. إذا كنت تريد معرفة أي الأنشطة البشرية خسرت بالفعل على مستوى القدرة البحتة، وأيها سيأتي بعد ذلك، فالسؤال الذي يجب طرحه ليس مدى صعوبة هذا النشاط، أو مدى حاجته للإبداع، أو كم من الحدس يتطلبه. السؤال أكثر مللًا من ذلك بكثير.

السؤال هو، هل يمكن تقييم النجاح؟

الشطرنج خسر قبل 19 عامًا، وبطريقة مختلفة تمامًا.

في عام 1997، هزم ديب بلو كاسباروف باستخدام بنية كانت في جوهرها تعبيرًا بشريًا ضخمًا. كانت وظيفة التقييم الخاصة به—المكون الذي ينظر إلى موقف ويمنحه رقمًا يُقيّم جودته—تم تجميعها وضبطها بمساعدة خبراء دوليين. تم استخلاص المعرفة البشرية بالشطرنج بصعوبة من لاعبي الشطرنج، ثم إدخالها إلى الجهاز. ما أضافه الجهاز هو القدرة على البحث: التطلع إلى خطوات أكثر تقدمًا بسرعة أكبر، بلا كلل، ولا يفقد القطع بسبب ضياع التركيز.

هذه نصر حقيقي، ويجب اعتبارها نصرًا. لكن انتبه إلى شكلها. فهم الشطرنج للون الأزرق الداكن هو فهم بشري. ميزته هي السرعة. إذا سألته لماذا قيّم موقفًا بهذه الطريقة، فستنتهي الإجابة في النهاية عند شخص أخبره أن يفعل ذلك.

بعد 20 عامًا، أصدرت DeepMind نظامًا يُسمى AlphaZero، وتغير شكله.

تم تزويد AlphaZero بقواعد الشطرنج. لم يتم تزويده بمكتبة فتحات — القائمة المدروسة من الحركات الأولى التي تعتمد عليها كل برنامج جاد. لم يتم تزويده بجداول نهاية اللعبة. لم يتم تزويده بأي مباراة لاعب بشري. لقد لعب ضد نفسه، بدءًا من حركات عشوائية، وضبط نفسه بناءً على ما يفوز.

بعد حوالي أربع ساعات، توقعت DeepMind أن تقييمها تجاوز تقييم أقوى برنامج تقليدي آنذاك، Stockfish 8. وبعد حوالي تسع ساعات، لعبت مائة مباراة ضد Stockfish ضمن شروط زمنية، فازت بـ 28 مباراة، ولم تخسر أي مباراة، وانتهت الـ 72 مباراة المتبقية بالتعادل. أفادت الورقة البحثية أنه خلال 24 ساعة، بلغت مستوى فائقًا للإنسان في الشطرنج والشوجي والغو.

غالبًا ما تُستشهد هذه الأرقام دون ذكر النصف الآخر، والذي يعد مهمًا. تم توليد مباريات الشطرنج الذاتية على خمسة آلاف وحدة معالجة تينسور من الجيل الأول، مع تدريب الشبكة على ستة وثمانين وحدة من الجيل الثاني، وكلها تعمل بالتوازي. أربع ساعات من وقت الساعة الحقيقية تعادل أربع ساعات من الحسابات — كمية لا يمكن لأي فرد، أو حتى عدد قليل من المؤسسات، تجميعها. الإنجاز ليس أن تعلم الشطرنج بسهولة. الإنجاز هو أنه عندما تمتلك هذا الكم الهائل من قوة الحوسبة، لم تعد المعرفة البشرية شيئًا تحتاجه.

كان من حق كاسباروف أن يرى هذا الناتج كهجوم شخصي ضده، إذ كان لديه سبب أكثر من أي شخص حي، لكنه كتب مراجعة في مجلة "Science" بسخاء كبير. لاحظ أن ألفا زيرو لا تلعب الشطرنج الممل والمحترس والمائل نحو التعادل الذي يفترض الجميع أنه سيُلعب من قبل آلة مثالية. بل تفضل النشاط على القوة، وتضحّي بالقطع من أجل مواقف تبدو خطيرة بالنسبة له. وأشار إلى أن البرامج التقليدية تحمل أولويات وتحيزات من كتبوها. أما ألفا زيرو فهي كتبت نفسها. وخلص إلى أن أسلوبها يعكس شيئًا أكثر أصالة من ذوق المبرمجين، ولاحظ أنها تفحص عددًا أقل بكثير من المواقف في الثانية مقارنة بأفضل محركات تقليدية في العالم، ومع ذلك تفوز.

هذا التفصيل الأخير يستحق التذكير به. على الرغم من أن المحركات التقليدية تبحث في احتمالات أكثر بكثير في الثانية، إلا أنها خسرت. ميزة AlphaZero ليست أنها تبحث بجهد أكبر، بل أنها تعرف أين تبحث، وهذا المعرفة تم تجميعها من ملايين المباريات الذاتية وقاعدة واحدة فقط حول من يفوز، ولا شيء آخر.

نتيجة ألعاب الشوغين تبدو أكثر غرابة للذين لديهم المؤهلات لفهمها. الشوغين هو لعبة شطرنج يابانية، حيث تعود القطع المُستَولى عليها إلى اللاعب الذي استولى عليها، مما يزيد من تقلبات الموقف مقارنة بالشطرنج الدولي، كما أن لديها مئات السنين من النظريات حول كيفية حماية الملك. أبلغ اللاعبون الأقوياء الذين شاهدوا مباريات الآلات أن الافتتاحات تخالف النظريات المعروفة، وأن الملك ينتقل إلى وسط الرقعة في اللحظات التي تنص جميع الكتب على أنه يجب أن يُختبئ في الزاوية. هذه المباريات شبه غير قابلة للقراءة للعيون المدربة، لكنها فازت.

ضع النظامين جنبًا إلى جنب، فالنمط واضح بدرجة مقلقة. الأزرق الداكن هو المعرفة البشرية زائد سرعة الآلة. أما AlphaZero فهو سرعة الآلة زائد تعريف الانتصار، حيث تم إزالة المعرفة البشرية عن قصد. النسخة الخالية من المعرفة البشرية أفضل.

لا يعني كل هذا أن الآلة من عام 2016 كانت مثالية تمامًا، حيث شملت نفس المباراة في سيول أدلة على ذلك.

في الجولة الرابعة، مع تأخره بثلاث جولات ومحاربًا من أجل كرامته، أدخل لي سيوك سوك قطعة في وسط لوحة الشطرنج بين قطعتين من AlphaGo. وأصبحت تُعرف لاحقًا باسم "الحركة الإلهية". وقد قدرت AlphaGo بنفسها احتمال أن يلعب البشر هذه الحركة عند حوالي واحد من عشرة آلاف، وهو ما يشكل توازنًا رائعًا. ولم يستطع النظام التعامل معها. وانهار تقييمه لاحتمالات فوزه في الخطوات التالية، وتدهور أداؤه وخسر المباراة.

لذلك، في مارس 2016، كان لا يزال هناك ثقب في الآلة، ووجد إنسان هذا الثقب تحت أقصى ضغط، أمام نظر العالم بأسره. هذا يستحق التوضيح الصريح، وليس التغاضي عنه بهدوء. كما يستحق الذكر ما حدث لاحقًا: تم إصلاح هذه الثغرات بشكل مستمر، ولم يعد خلف هذا النظام يخسر مثل هذه المباريات، ولم يخسر محركات رائدة في مناسبات جادة أي مباراة ضد إنسان منذ فترة طويلة. كانت نتيجة عام 2016 لقطة لحظية للتحول، وليست توازنًا دائمًا للقوة.

ما ينتقل من هذه الألواح إلى كل شيء آخر ليس الانتصار بذاته، بل الآلية. من المقدر أن يكون الشطرنج والغو أول من يسقط، والسبب بسيط ومُحرج بشكل مُربك. في الألعاب، يُعرَّف النجاح بواسطة القواعد بطريقة دقيقة تمامًا. إما أن تربح أو لا تربح، والتقدير مجاني وفوري وغير مثير للجدل. يمكن لنظام أن يلعب أربعين مليون لعبة مع نفسه في عطلة نهاية أسبوع واحدة، ويحصل على أربعين مليون حكم واضح لا لبس فيه.

هذا يشير إلى المكان التالي الذي يجب مراقبته. ليس المهام البسيطة، بل المهام التي تحمل لوحة نقاط خاصة بها.

البروتينات هي سلاسل من الأحماض الأمينية تطوى فور تصنيعها إلى أشكال ثلاثية الأبعاد معقدة. الشكل يحدد وظيفة البروتين. التسلسل يحدد الشكل. استنتاج الشكل من التسلسل كان مشكلة مفتوحة في علم الأحياء منذ أوائل سبعينيات القرن العشرين، وقد ظلت مفتوحة بطريقة مقاومة لجميع المحاولات: سواء من خلال المحاكاة الفيزيائية من المبادئ الأولى، أو التحليل الإحصائي للعلاقات التطورية، أو الحدس الهيكلي المتراكم على مدى عقود، لم ينجح أي منها.

في عام 1994، قاد مجموعة من الباحثين بقيادة جون مولت ما فعله هذا الواقع: الجميع في المجال كانوا يدّعون التقدم، لكن لا أحد يستطيع التحقق منه.

لقد أنشأوا امتحانًا. منذ ذلك الحين، كل سنتين، تُقدّم تقييمات التنبؤ الهيكلي الحاسمة (CASP) هياكل بروتينات تم تحديدها تجريبيًا للتو، وأحيانًا ما زالت قيد التحديد، وتُنشر التسلسلات للعالم بأسره. يمكن لأي فريق تقديم تنبؤات. لا يمكن لأحد الوصول إلى الإجابات، لأن الإجابات لبعض الأهداف لا توجد بعد. عندما تُنشر الهياكل التجريبية، تُقيّم التنبؤات مقارنةً بها.

يتم تقييم الدرجات باستخدام مؤشر يُسمى اختبار المسافة العالمي، على مقياس من 0 إلى 100، ويمكن فهمه تقريبًا على أنه النسبة المئوية التي تشير إلى مدى قرب الموقع النهائي للسلسلة من الموقع الفعلي. قال مولت إن حوالي 90 درجة تُعتبر بشكل غير رسمي مكافئة للهيكل المحدد في المختبر. خلال معظم تاريخ التقييم، ظلت أفضل التنبؤات تتراوح حول 60 درجة.

في CASP14 عام 2020، حقق متسابق مسجل كمجموعة 427 وسطي درجة 92.4 على جميع الأهداف. وفي الفئة الأصعب — الأهداف التي لا تعتمد على أي تقارب هيكلية مفيد — كان الوسطي 87.0. كان الخطأ المتوسط حوالي 1.6 أنغستروم، وهو ما يعادل تقريبًا عرض ذرة واحدة.

كان مولت رئيسًا منذ بداية المسابقة، وقام بإعادة تذكير الجمهور بسجل المسابقة قبل عرض المخططات. وقد أظهرت المخططات القصة بأكملها في رسم واحد: خطان عاشا عشرين عامًا بالقرب من مستوى 60، ثم ظهر خط في مكان لم يصل إليه أي خط آخر من قبل.

المجموعة 427 هي AlphaFold2. أعلنت مولت أن المشكلة قد حُلّت بالنسبة للسلسلة البروتينية الواحدة.

يجب أن تكون القيود موجودة، ويجب أن تكون في كل سرد صادق. السلسلة الواحدة ليست كل شيء في علم البروتينات. كيف تتشكل البروتينات في مجمعات، وكيف تتحرك، وكيف تتصرف داخل الخلايا الحية—كلها لا تزال مسائل مفتوحة. التحدي الكبير المغلق هو تحدي محدد ومُصاغ بدقة.

و正是 هذا الدقة هي جوهر سرد هذه القصة هنا. لم يُسقط التنبؤ الهيكلي لأنه كان بسيطًا في الأصل، لأن فشل نصف قرن يُظهر العكس. بل سقط لأنه في عام 1994، أنشأ هذا المجال لوحة نقاط خاصة به.

عند النظر إلى CASP كهندسة بدلاً من علم، فهي توفر مقياسًا واضحًا للنجاح ينطبق على أي تنبؤ ويمكن حسابه في ثوانٍ. وهي توفر حقيقة مرجعية لا يمكن التلاعب بها، لأن الإجابة محددة فيزيائيًا من قبل آخرين في المختبر. وهي توفر تدفقًا مستمرًا من المشكلات الجديدة وفق جدول زمني ثابت. وهي توفر تاريخًا مدته ثلاثون عامًا من المحاولات المصنفة، أي سجل تقييمي لما هو أفضل وأسوأ في هذا المجال.

مجال قام بكل هذه الأمور، وأعدّ بشكل غير مقصود نفسه لهجمات آلية. إن لوحة النتائج هي الشرط المسبق. كل شيء آخر هو هندسة وحساب، وكلاهما يصبحان أرخص كل عام منذ فترة طويلة.

هذا يُروّج بسهولة مقلقة. أينما وُجدت تخصصات توصلت إلى إجماع مرجعي، تم نشر هدف. للترجمة الآلية هناك معايير تقييم. للتعرف على الصوت هناك معايير تقييم. لتصنيف الصور هناك مجموعة موسومة بمليون صورة ومسابقة سنوية، وكل من شاهد تلك المسابقة يعرف كيف تنتهي القصة. القاعدة ليست أن الأشياء الصعبة تنهار أولاً، أو الأشياء البسيطة تنهار أولاً. القاعدة هي أن الأشياء التي تُقاس تنهار أولاً.

هذا يطرح أسئلة واضحة على كل شيء لم يُقاس بعد.

الخط الدفاعي الأخير يجب أن يكون الأشياء التي لا يمكن تقييمها.

الكتابة مثال قياسي. لا توجد برنامج يمكنه أخذ فقرة وإرجاع رقم يخبرك بمدى جودتها. اثنان من المحررين المؤهلين قد يختلفان في رأيهما. نفس المحرر قد يختلف مع نفسه في أيام مختلفة. جودة اللغة مرتبطة بالسياق والجمهور والهدف والذوق، وكلها لا يمكن تقليلها إلى قيمة قابلة للقياس. إذا كانت الآلات تحتاج إلى لوحة نقاط، واللغة لا تمتلك لوحة نقاط، فإن اللغة آمنة.

هذا الحجة صحيحة. ما حدث له هو السبب الأهم في整個 السرد.

لا توجد معايير موضوعية جيدة لقياس الكتابة في هذا المجال. لا تزال مثل هذه الأشياء غير متوفرة. ما يفعله هو إنشاء درجة باستخدام المواد الوحيدة المتاحة، وهي الحكم البشري نفسه.

تاريخ هذه الطريقة أطول مما يعتقده معظم الناس. في عام 2008، وصف كنوكس وستون نظامًا يُسمى TAMER، حيث يراقب البشر سلوك الوكلاء الذكية ويقدمون تقييمات، تُستخدم هذه التقييمات لتدريب نموذج على التنبؤ بما سيقوله البشر. ثم يتم توفير إشارات التدريب من قبل النموذج بدلاً من البشر. في عام 2017، نشر كريستيانو وزملاؤه عملًا يُعتبر على نطاق واسع المصدر المباشر للممارسة الحالية، وطبقوا هذه الفكرة على وكلاء ألعاب Atari. في عام 2019، طبق زيلجر وزملاؤه هذه الطريقة على نماذج اللغة، حيث تم تحديد معظم المصطلحات المستخدمة اليوم في تلك الورقة. في عام 2022، أظهر أويانغ وزملاؤه هذه الطريقة على نطاق صناعي في مهام اتباع التعليمات، وبعد فترة وجيزة، تعرّف معظم سكان الأرض على هذه النتائج دون علم منهم.

آليته الأساسية تستحق الفهم المفصل، لأنه أبسط مما يبدو على السطح.

يجلس شخص أمام نصين، كلا النصين تم إنشاؤهما بواسطة نموذج لنفس المُحفِّز. المهمة ليست منحهما درجات؛ فالدرجات هي بالضبط ما يسيء البشر إلى أدائه، لأن سبعة من شخص ما هي خمسة من شخص آخر، وحتى الشخص نفسه غير مستقر خلال فترة بعد الظهر. المهمة ببساطة هي تحديد أيهما أفضل. هذه مقارنة يمكن للبشر إجراؤها بثقة، والطرق الرياضية لتحويل مجموعة من هذه المقارنات إلى مقياس متسق أقدم من المجال الذي يستخدمه، وتعود إلى عمل برادلي وتيري عام 1952 حول المقارنات الزوجية.

فكّر في ظروف العمل التي تدفع إلى اتخاذ هذا النوع من القرارات، لأنها تنتج تأثيرات نهائية. يقوم هذا الشخص بعدة مرات في الساعة باتخاذ مثل هذه القرارات، ويُدفع له مقابل ذلك، ويُطلب منه مقارنة إجابتين وفقًا لدليل مكتوب يشرح ما يراه العملاء إجابة أفضل. بعض الأزواج متطابقة تقريبًا تمامًا. وبعضها يتناول مواضيع لا يعرف عنها هذا الشخص شيئًا، وفي هذه الحالة، غالبًا ما تُختار الإجابة الأكثر ثقةً وتنظيمًا، بغض النظر عن دقتها. هذا ليس انتقادًا لهؤلاء الأشخاص. بل هو وصف لما سيقوم به أي شخص في مثل هذه الظروف، والاختيارات الناتجة هي المواد الخام.

بجمع عدد كافٍ من هذه الخيارات، يمكنك تدريب نموذج ثانٍ مهمته التنبؤ بالنص الذي سيُفضل البشره بين نصين. هذا النموذج الثاني يُنتج رقمًا. ورقم واحد هو الشيء الوحيد الذي كان مفقودًا طوال الوقت.

انظر جيدًا إلى ما يتم بناؤه هنا، لأنه من السهل تجاهله. الدرجة المُحسَّنة ليست عن حقائق العالم. بل هي عن نموذجنا. إنها تقليد مضغوط ومُتعلَّم لأحكام مجموعة محددة من الأشخاص، تم توظيفهم في وقت معين وعملوا وفق تعليمات محددة، وشعروا بالتعب في فترة ما بعد الظهر مثل الجميع. تعتمد CASP على الواقع الفيزيائي الذي حددته المختبرات لتقييم التنبؤات، بينما يقيّم هذا النظام النصوص وفقًا للصور الإحصائية المعترف بها من قبل البشر.

هذا الرسم مفيد. لكنه أيضًا بالضرورة تقريب، وهناك فروق بينه وبين الكائن المُصوَّر، ولم يفهم أحد هذه الفروق تمامًا. أي شيء عن تفضيلاتنا الفعلية لم يتم التقاطه من قبل نموذج التفضيلات لدينا لا يُدرج في الهدف، وبالتالي لن يتم تحسينه، وبالتالي سيتأثر بأي ظرف — ولا يوجد سبب يدفع المُحسِّن القوي لحماية هذا المقدار.

هذا حقائق حول البناء، ولا يتم ادعاء أي شيء حول مدى سوء العواقب عند ذكرها هنا. النقطة الحالية أضيق وأصعب في الدحض. فئات الأشياء التي لا يمكن تقييمها أصغر مما تبدو. إذا كان مجال ما يقاوم القياس، يمكن بناء قياس من تفضيلات البشر والاستمرار قُدمًا. هذا الخط الدفاعي فعّال فقط عندما لا يفكر أحد في إنشاء درجات.

هذا يترك سؤالًا عمليًا وإجابةً قابلة للتطبيق.

اختر أي نشاط تحبه: وظيفة، أو حرفة، أو مهنة، أو مهمة قضيت سنوات في تعلمها وتحسينها. اطرح ثلاثة أسئلة.

أولاً، هل يمكن التمييز بين النجاح والفشل بشكل موثوق؟ ليس بشكل مثالي، ولا من قبل الجميع، ولكن بشكل كافٍ لجعل الحكماء المؤهلين يتفقون في معظم الأحيان. تمر اللعبة بهذه المرحلة بسهولة. يمر تنبؤ بنية البروتين بهذه المرحلة لأن المختبرات ستنتج في النهاية إجابة. لا يمر الكتابة بهذه المرحلة بشكل مطلق، لكنه يمر بشكل نسبي، لأن الناس عادةً يستطيعون تحديد أي محاولة أفضل من الأخرى.

ثانيًا، هل يمكن إنتاج هذا الحكم بتكاليف منخفضة وبنطاق واسع؟ هذا السؤال يحدد الموعد وليس الاحتمال. الحكم المجاني وال فوري، مثل ذلك الموجود في الألعاب، يعني أن النظام يمكنه توليد ملايين عينات التدريب بنفسه. الحكم الذي يتطلب مختبرًا أبطأ لكنه لا يزال ممكنًا، مع وجود أرشيف لثلاثين عامًا من محاولات التقييم. أما الحكم الذي يتطلب قراءة نصوص من قبل أشخاص مدفوعي الأجر فهو مكلف للغاية، وهذا بالضبط هو السبب في بذل هذا الجهد الكبير لتدريب النماذج على تقليد هؤلاء الأشخاص وإزالتهم من الدورة.

ثالثًا، لا يدور القرار حول متى سيسقط مجال ما، بل حول ما سيحدث بعد ذلك: هل هذا الدرجات هي بالفعل ما تريده؟ درجات اللعبة هي ما تريده، لأن الفوز في اللعبة هو بتعريفه كل المعنى. البنية البروتينية المقاسة تجريبًا قريبة جدًا مما تريده. نموذج تعلم مبني على تفضيلات المُصنّف ليس ما تريده. إنه صورة لما تريده، وهناك فجوة بين الصورة والوجه.

افحص عملك باستخدام هذه الأسئلة الثلاثة. يجد معظم الناس أن الإجابة على السؤال الأول تأتي بسرعة وتشعر بالقلق. معظم الأشياء التي نسميها مهارات، على الأقل من حيث النسبية، يمكن تقييمها عندما يُنظر إليها مرتين جنبًا إلى جنب من قبل أشخاص مؤهلين. السؤال الثاني هو المكان الحقيقي للشك، لأن التكلفة والحجم هما هدفان متحركان، وقد تحركا في اتجاه واحد لفترة طويلة جدًا. السؤال الثالث هو السؤال الذي نادرًا ما يطرحه أحد، وهو الذي يحدد كيف سيبدو مجالك من الجانب الآخر.

يستحق القيام بهذا التمرين ببطء في بعض الأمور العادية. خذ التصوير الإشعاعي على سبيل المثال. هل يمكن التمييز بين النجاح والفشل؟ نعم، وبشكل دقيق جدًا، لأن التشخيص سيُثبت أو يُنكر في النهاية بناءً على حالة المريض. هل يمكن إنتاج التقييمات بتكاليف منخفضة وبكميات كبيرة؟ يمكن ذلك بشكل أساسي، لأن المستشفيات قد جمعت على مدار عقود عينات تقييم على شكل صور ونتائج مؤكدة. هل هذا التقييم هو ما تريده؟ هنا تصبح الإجابة معقدة، لأن التقييم يُبنى على توافق التشخيص المسجل، بينما الهدف الحقيقي هو تحسين حالة المريض، وهاتان النقطتان تتوافقان غالبًا، لكنهما تنفصلان تمامًا في الحالات الأكثر أهمية.

خذ شيئًا يبدو أكثر أمانًا، مثل الإدارة. السؤال الأول صعب بالفعل، لأن الأشخاص ذوي الكفاءة يختلفون في تقييم ما إذا كان مدير معين ممتازًا، ولا تُحل هذه الخلافات بسرعة. السؤال الثاني أصعب، لأن نتائج قرارات الإدارة لا تظهر إلا بعد سنوات، وهي متشابكة مع كل شيء آخر يحدث. السؤال الثالث الأصعب، لأن أي مؤشر بديل مقترح للإدارة الجيدة — من معدل الاحتفاظ بالموظفين إلى درجات الانخراط إلى الإنتاجية للفرد — لا يمثل بالضرورة جوهر الأمر نفسه. وفقًا لهذا التشخيص، ليست الإدارة آمنة بسبب عمقها، بل لأنها غير قابلة للقياس، وهي نوع مختلف من الحماية، وأقل إرضاءً.

لقد احتلت الآلات محور التحسين. على أي هدف محدد بوضوح، وبوجود حسابات كافية، لم يعد البحث عن الحركات الجيدة منافسة، وغالبًا ما تكون النتائج أقوى ليس فقط من نتائجنا، بل وأكثر غرابة، وتصل إلى أماكن لم تعلمناها تقليداتنا أن ننظر إليها. هذا ليس تنبؤًا. بل هو وصف للشطرنج، والغو، والشوجي، وهياكل البروتين، وعدد متزايد من الأشياء التي كانت سابقًا على قائمة ما يمكن للبشر فقط فعله.

ما تبقى هو الهدف نفسه. شخص ما قرر ما هي النقاط. في كل حالة من الحالات المذكورة أعلاه، استغرق هذا القرار بعد ظهرًا، وكل نتيجة استثنائية نشأت منه، وتمسك به، ولم تهتم بأي شيء تم تجاهله.

إذًا، فإن السؤال الأخير يستحق التفكير العميق. هل لديك بالفعل نقاط؟ إذا كان الأمر كذلك، من كتبها، وهل فكروا فيك عندما كتبوها؟

هذا الجزء الثاني من سلسلة "Whatever You Ask For"، حول ما تحتاجه الآلة منا، ومدى سوء أدائنا.