Та ж модель, ті ж завдання, і один харнесс коштує вдвічі дорожче за вирішене завдання. Гаррі Тан запускає відкриті оцінки, які змінюють лише обгортку навколо моделі. На Opus, OpenClaw платить близько $0,44 за вирішення та ~99 секунд за спробу. Claude — $0,22 і 40 секунд. На Sol, Codex був найдешевшим — $0,17. Результати зовсім не розходилися: 7 налаштувань, 20 кодових завдань — усі показали 71–79%, і 14 із 20 завдань дали однаковий результат у всіх випадках. Отже, тест був занадто легким (вже запущено повторне тестування на складнішому Terminal-Bench). Зараз усі, хто суперечить про те, який агент найрозумніший, суперечать щодо лише 6 завдань. Я б вибрав найдешевший варіант і чекав на повторне тестування.
Sad CreatorПоділитися
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.