source avatare_camli

Bagikan

Sebuah benchmark agen yang mengukur apakah sebuah model dapat menyelesaikan teka-teki tidak memberi tahu apa yang terjadi ketika agen yang sama menghabiskan sumber daya nyata dalam produksi. Kemampuan dalam ruang hampa dan kemampuan di bawah anggaran adalah ujian yang sama sekali berbeda. Agent Grand Prix mengaitkan setiap pertanyaan dengan USDC nyata. Bukan hitungan token melawan jendela konteks. Uang sungguhan yang bergerak onchain melalui Sigil, dari dompet ke kas, sebelum Oracle menjawab. Sebuah agen yang mengajukan pertanyaan luas dan boros untuk menyempitkan titik tersembunyi menghabiskan biaya nyata untuk melakukannya. Sebuah agen yang mengajukan pertanyaan secara tepat, menggunakan setiap pertanyaan untuk menghilangkan jumlah kemungkinan maksimum, menang dalam kecepatan dan biaya. Itulah disiplin yang hilang dari sebagian besar penerapan agen saat ini. Sebuah agen yang terhubung ke API berbayar tanpa kesadaran pengeluaran akan dengan senang hati membuat panggilan tidak efisien sepanjang hari, karena tidak ada dalam proses penalarannya yang mempertimbangkan biaya dari pemborosan. AGP memaksa penetapan harga ini ke dalam pengambilan keputusan agen sejak pertanyaan pertama. Data leaderboard membuat trade-off menjadi terlihat: satu pembalap menyelesaikan dengan 7 pertanyaan dalam 71 detik, yang lain menghabiskan 48 pertanyaan dan tidak pernah selesai. Tugas yang sama, hasil yang sangat berbeda, dan perbedaannya bukanlah kecerdasan. Itu adalah apakah strategi agen mempertimbangkan fakta bahwa setiap pertanyaan memiliki harga. @RialoHQ membangun kompetisi di mana keterampilan nyata yang diuji adalah penalaran yang sadar biaya, yang justru merupakan keterampilan yang saat ini sangat kurang pada ekonomi agen secara luas.

No.0 picture
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.