Você não pode contornar a dificuldade da tarefa otimizando benchmarks ou complicando excessivamente as arquiteturas de agentes. Muitos criadores de frameworks prometem precisão incrível por meio de modelos de roteamento inteligentes. Mas pesquisas recentes provam que isso é em grande parte uma ilusão. Com base em 13.000 execuções de agentes no OfficeQA, cientistas identificaram uma forte dependência das capacidades do modelo base. Diferentes métodos de estruturação concordam em 88-93% das vezes sobre se a IA passará em um teste específico. Considero essa conclusão fundamental para toda a indústria de software de código aberto. Precisamos parar de polir wrappers e nos concentrar nas capacidades fundamentais de raciocínio dos modelos. Os dados dos pesquisadores do @SentientAGI @iamnamanvats e Deep Halder abrem nossos olhos para o estado real das coisas.