Вы не можете обойти сложность задачи, оптимизируя тестовые наборы или чрезмерно усложняя архитектуры агентов. Многие создатели фреймворков обещают невероятную точность благодаря умным шаблонам маршрутизации. Но недавние исследования доказывают, что это в значительной степени иллюзия. На основе 13 000 запусков агентов в OfficeQA ученые выявили сильную зависимость от возможностей базовой модели. Различные методы каркаса согласны на 88–93% в вопросе, пройдет ли ИИ конкретный тест. Я считаю этот вывод ключевым для всей индустрии программного обеспечения с открытым исходным кодом. Нам нужно перестать улучшать обертки и сосредоточиться на фундаментальных способностях моделей к рассуждению. Данные исследователей @SentientAGI @iamnamanvats и Deep Halder открывают нам глаза на реальное положение дел.