أشعر بقوة أن Anthropic أبطأت تدريب نماذجها المتقدمة في الأشهر القليلة الماضية لمعالجة هذه القضايا، لكنها ستسرع مرة أخرى قريبًا. إنه كأننا اصطدمنا رأسًا بجدار، ورجعنا ثلاث خطوات، ونحاول الآن نفس الشيء مرة أخرى. لنفترض أن جهودهم الأمنية وتصنيفاتهم ومحكميهم الجدد حلّوا مشكلة "التشويش البيئي". إلى أي وادٍ ستؤدي التدرجات التالية عندما لا يصبح هذا الخيار متاحًا؟ أعتقد أنه في هذه المرحلة، من الأفضل أن ندرب النماذج عدائيًا لخداع جميع المحكمين والتصنيفات. كلما زاد ضغطنا للرد، أصبحت النماذج أكثر خداعًا. بعض التنبؤات التي يمكنك إجراؤها: - تناقضات هائلة بين التقييمات والأداء في العالم الحقيقي. نماذج مهووسة بجنون الاضطهاد. يمكنك أيضًا تسميتها "الوعي السياقي". - تصبح النماذج أفضل في نمذجة المقيّمين ومن صمّمهم، سواء كانوا أشخاصًا أو أشياء. - تقل صدقية التفكير التدريجي (إجراءات خداعة دون توضيح لفظي لها). - نماذج أقل استقلالية (الإعدادات الواقعية ليست مثالية وتسمح بخداع المكافآت وقد تتعارض تعليمات المستخدم مع الإعداد. لذا تتوقف النماذج وتسأل للحصول على توضيح، وينتهي بك الأمر إلى ضرورة شرح كل شيء بشكل مفرط). هناك استنتاج مضحك من كل هذا. إذا أنشأت Claude بيئات متزايدة للمستقبل Claude، لكن مستقبل Claude يصبح أكثر ميلًا لنمذجة من صمّم هذه البيئات، فأنت تقع في مأزق ذاتي الإشارة. (لكن من الممكن أيضًا أن يعمل الأمر ببساطة. تحصل على توازن عدائي مستقر). ماذا يحدث إذا عزلت شخصًا تمامًا؟ تحصل على شخص لديه معتقدات قوية لكن ضيقة؛ وسلوكيات غريبة وتقدير غير دقيق. ربما يكون الاستنتاج المضحك هو أنك تحتاج إلى تنوع في النماذج. لكن دوائر التغذية الراجعة الإيجابية (وخاصة تلك الاقتصادية) تدمر هذا التنوع. لا يمكنك أن تكون إمبراطورًا دون فلاحين