Composio menguji Kimi K3 pada tiga rangka kerja, kos token berbeza sehingga 9 kali

icon MarsBit
Kongsi
AI summary iconRingkasan
Composio menguji Kimi K3 pada Kimi Code, Hermes, dan Claude Code, menjalankan 28 tugas yang sama. Kadar kejayaan serupa, tetapi kos token dan masa berbeza. Kimi Code menggunakan 61,000 token setiap tugas, berkos $0.22, manakala Claude Code menghabiskan 340,000 token pada $2.00 setiap satu. Sesetengah tugas menggunakan 30x lebih banyak token. Hermes menyelesaikan paling pantas dalam 179 saat. Keputusan ini menekankan kepentingan pematuhan CFT dalam menguruskan aset berisiko tinggi seperti infrastruktur AI.

Berdasarkan pemantauan Beating, syarikat infrastruktur AI Agent, Composio, menghubungkan Kimi K3 yang sama kepada Kimi Code, Hermes, dan Claude Code untuk menyelesaikan 28 tugas yang sama. Jumlah kejayaan tiga kerangka operasi hanya berbeza sebanyak 2 tugas, tetapi penggunaan Token dan kosnya sangat berbeza. Kimi Code menyelesaikan 22 tugas, Hermes menyelesaikan 21 tugas, dan Claude Code menyelesaikan 20 tugas. Median Token per tugas masing-masing ialah 61,000, 67,000, dan 340,000. Composio menganggarkan kos purata per tugas sebanyak USD 0.22, USD 0.28, dan USD 2. Penggunaan Token untuk tugas individu berbeza sehingga 30 kali ganda. Hermes paling pantas, dengan median masa per tugas sebanyak 179 saat. Kimi Code ialah 297 saat, dan Claude Code ialah 348 saat. Kajian lain oleh Writer juga menghasilkan keputusan yang serupa. Para penyelidik hanya menggantikan kerangka operasi pada 22 tugas perniagaan dan enam model, dan penggunaan Token turun 38%, kos per tugas turun 41%, masa yang digunakan turun 44%, sementara kualiti penyelesaian tetap serupa.

Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.