source avatare_camli

Поділитися

Бенчмарк агента, який вимірює, чи може модель вирішити головоломку, нічого не говорить про те, що відбувається, коли той самий агент витрачає реальні ресурси в продуктивному середовищі. Здатність у вакуумі та здатність за обмеженого бюджету — це зовсім різні тести. Agent Grand Prix зв’язує кожне запитання з реальними USDC. Не лічильник токенів проти вікна контексту. Реальні гроші, що рухаються onchain через Sigil — від гаманця до скарбниці — перед тим, як Оракул дасть відповідь. Агент, який ставить широкі, нерозумні запитання, щоб звузити приховану точку, витрачає реальні кошти на це. Агент, який ставить точні запитання, використовуючи кожне з них для виключення максимальної кількості можливостей, перемагає як за швидкістю, так і за витратами. Це дисципліна, якої бракує у більшості сьогоднішніх розгортань агентів. Агент, підключений до платної API без усвідомлення витрат, безперервно робитиме неефективні запити, бо ніщо в його логіці не враховує вартість розтрат. AGP вводить цю ціну в процес прийняття рішень агента з першого запитання. Дані таблиці лідерів роблять цей компроміс помітним: один учасник завершив з 7 запитаннями за 71 секунду, інший витратив 48 запитань і не завершив завдання. Одне й те саме завдання, дуже різні результати, і різниця була не в інтелекті. Вона полягала в тому, чи враховувала стратегія агента те, що кожне запитання має ціну. @RialoHQ створив змагання, де реальним навичкам, що перевіряються, є ціново-освідомлене мислення — саме та навичка, якої зараз не вистачає ширшому агентному економічному середовищу.

No.0 picture
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.