No puedes eludir la dificultad de la tarea optimizando benchmarks o complicando excesivamente las arquitecturas de los agentes. Muchos creadores de frameworks prometen una precisión increíble mediante plantillas de enrutamiento inteligentes. Pero investigaciones recientes demuestran que esto es en gran medida una ilusión. Basándose en 13.000 ejecuciones de agentes en OfficeQA, los científicos identificaron una fuerte dependencia en las capacidades del modelo base. Diferentes métodos de estructuración coinciden entre un 88% y un 93% de las veces en si la IA aprobará o no una prueba específica. Considero esta conclusión clave para toda la industria de software de código abierto. Debemos dejar de pulir envoltorios y centrarnos en las capacidades fundamentales de razonamiento de los modelos. Los datos de los investigadores de @SentientAGI @iamnamanvats y Deep Halder nos abren los ojos sobre el estado real de las cosas.