Бенчмарк агента, измеряющий, может ли модель решить головоломку, ничего не говорит о том, что происходит, когда тот же агент тратит реальные ресурсы в производственной среде. Способность в вакууме и способность при ограниченном бюджете — это совершенно разные тесты. Agent Grand Prix привязывает каждый вопрос к реальным USDC. Не к подсчету токенов в пределах контекстного окна. Реальные деньги, движущиеся ончейн через Sigil — от кошелька к казне — прежде чем Оракул даст ответ. Агент, задающий широкие, расточительные вопросы, чтобы сузить скрытую точку, тратит реальные средства на это. Агент, задающий точные вопросы, используя каждый из них для исключения максимального количества возможностей, побеждает как по скорости, так и по затратам. Это дисциплина, которой не хватает большинству развертываний агентов сегодня. Агент, подключенный к платному API без учета расходов, будет с удовольствием делать неэффективные запросы весь день, потому что ни в одном этапе его рассуждений не учитывается стоимость расточительства. AGP вводит этот учет стоимости в процесс принятия решений агента с первого вопроса. Данные таблицы лидеров делают компромисс видимым: один участник завершил задачу за 7 вопросов за 71 секунду, другой израсходовал 48 вопросов и так и не завершил ее. Одна и та же задача, совершенно разные результаты, и разница была не в интеллекте. Она заключалась в том, учитывал ли стратегия агента тот факт, что каждый вопрос имеет цену. @RialoHQ создал соревнование, где реальным навыком, который тестируется, является стоимостно-ориентированное мышление — именно тот навык, которого сейчас не хватает всей экономике агентов.