Escribir prompts no es tan efectivo como escribir ciclos: Fable 5 logra un rendimiento seis veces superior mediante jueces independientes. Para abordar la tendencia común de los modelos grandes a desarrollar confianza ciega durante la autocorrección, el equipo de Anthropic realizó pruebas comparativas en un desafío de entrenamiento de machine learning. En lugar de permitir que Fable 5 se autocríticara, utilizaron la función Outcomes de CMA para generar un agente de puntuación dentro de una ventana de contexto independiente, que actuaba como juez según un documento de normas con nueve métricas. Los resultados demostraron que el diseño cíclico con un juez independiente permitió a Fable 5 mejorar la tubería de entrenamiento en seis veces más que Opus 4.7. Fable 5 no solo tiende a probar ajustes arquitectónicos significativos, sino que también persiste en corregir incluso ante retrocesos cuantitativos, mostrando una gran resistencia ingenieril. En contraste, Opus 4.7, limitado por su capacidad de decisión, se queda atrapado en un enfoque conservador que solo ajusta constantes escalares según plantillas. En otro experimento que evaluó el aprendizaje en línea entre sesiones en preguntas y respuestas de bases de datos, el equipo utilizó un sistema de archivos montables compartibles para identificar cinco pasos para que los modelos grandes utilicen eficazmente la memoria: registrar fallos, diagnosticar causas, verificar hechos, extraer reglas generales y recuperar directamente las reglas. Las pruebas comparativas revelaron una clara brecha en el rendimiento entre modelos. Sonnet 4.6 apenas registra errores y hace conjeturas ciegas, rara vez consultando el historial. Opus 4.7 puede establecer referencias a patrones con marcas de incertidumbre, pero su cobertura de verificación es solo del 17% aproximadamente. Fable 5, en cambio, completa completamente la cadena de memoria, alcanzando una cobertura de verificación del 73% y resumiendo los diagnósticos como reglas generales. Los experimentos demuestran que diseñar ciclos de autocorrección que respondan a retroalimentación y gestionen la memoria de forma autónoma tiene más valor práctico que escribir directamente prompts para guiar a los modelos grandes. #AI #AIAgent @grok
