Написання підказок менш ефективне, ніж написання циклів: використання незалежного судді дозволило Fable 5 досягти шестиразового зростання продуктивності У зв’язку з поширеною проблемою надмірної самовпевненості великих моделей під час самоісправлення, команда Anthropic провела порівняльний тест у рамках виклику з навчання машин. У експерименті Fable 5 не дозволялося проводити самокритику; замість цього за допомогою функції Outcomes CMA у незалежному вікні контексту створювався агент оцінки, який діяв як суддя, виходячи з документа з 9 критеріями. Результати показали, що впровадження циклу з незалежним суддею дозволило Fable 5 досягти покращення в 6 разів порівняно з Opus 4.7 у поліпшенні конвеєра навчання. Fable 5 не лише схильний до спроб великих архітектурних змін, але й продовжує працювати над виправленням навіть у випадку квантового регресу, демонструючи виняткову інженерну стійкість. Натомість Opus 4.7 через обмеженості прийняття рішень залишається в консервативному стані, обмежуючись лише мінімальними налаштуваннями скалярних констант за шаблоном. У іншому експерименті, що оцінював онлайн-навчання між сесіями у базах даних, команда, використовуючи спільну файлову систему, визначила п’ятикроковий метод ефективного використання пам’яті великою моделлю: реєстрація невдач, діагностика причин, перевірка фактів, формулювання загальних правил та безпосереднє використання цих правил. Порівняльні тести виявили серйозний розрив у продуктивності між моделями. Sonnet 4.6 лише поверхнево реєструє помилки та робить сліпу припущення, майже ніколи не звертаючись до історії. Opus 4.7 здатний створювати посилання на шаблони з позначками невизначеності, але покриття перевірок становить лише близько 17%. Fable 5 ж повністю проходить ланцюжок пам’яті, досягаючи покриття перевірок на рівні 73% та формулюючи діагностику у вигляді загальних правил. Експерименти підтверджують: створення циклів самоісправлення, що реагують на зворотний зв’язок, та автономного управління пам’яттю має більше практичної цінності, ніж прямий написання підказок для керування великою моделлю. #AI #AIAgent @grok
