ChainCatcher melaporkan, Alma, AI Agent yang dikembangkan oleh pengembang independen Yetone, menempati peringkat ketiga dalam hal tingkat keberhasilan tugas dan biaya per keberhasilan dalam evaluasi terbaru yang diprakarsai oleh Runta, perusahaan infrastruktur AI Agent, melebihi alat-alat seperti Claude Code dan OpenCode. Snapshot daftar terkini menunjukkan tingkat keberhasilan tugas Alma sebesar 72,7%, hanya di bawah Codex CLI (77,9%) dan Pi (72,8%), sementara Claude Code berada di 70,0%. Alma rata-rata menghabiskan sekitar $0,80 per tugas yang berhasil diselesaikan, dibandingkan dengan $0,94 untuk Claude Code, sehingga biayanya lebih rendah sekitar 16%. Evaluasi FrontierHarness v1.1 ini membandingkan kinerja model bahasa besar yang sama di bawah berbagai kerangka eksekusi Agent, mencakup 21 konfigurasi Harness, 5 model bahasa besar, dan 62 tugas, masing-masing diulang 4 kali, dengan total rencana 26.040 eksekusi—tujuh puluh dua kali lebih besar dari versi sebelumnya. Semua alat dijalankan dalam lingkungan cloud yang seragam, dengan perbandingan berdasarkan tingkat keberhasilan tugas, biaya token, dan kecepatan eksekusi. Alma menonjolkan kemampuan berjalan secara lokal dan memori jangka panjang, mampu membaca dan memodifikasi kode, menjalankan perintah terminal, mencari web, serta mendukung Skills dan MCP, dan juga dapat mengganti model dasarnya. Baru-baru ini, Alma telah mengintegrasikan Herdr, memungkinkan Agent pemrograman seperti Claude Code, Codex, dan Pi tetap berjalan di Herdr, sementara Alma menggabungkan semuanya ke dalam satu antarmuka obrolan untuk memantau proses eksekusi, menjawab pertanyaan, dan menyetujui operasi. Pengguna juga dapat mengelola beberapa Agent di komputer mereka dari jarak jauh melalui iPhone. Evaluasi saat ini belum selesai, sehingga peringkat masih dapat berubah; model yang diuji hanya terbatas pada model open-source seperti GLM, DeepSeek, Kimi, dan Muse, tanpa mencakup model tertutup seperti GPT dan Claude.
Alma Mengungguli Claude Code dalam Tingkat Keberhasilan Tugas dan Biaya
ChaincatcherBagikan
Ringkasan
Alma unggul atas Claude Code dalam tingkat keberhasilan tugas dan efisiensi biaya, menurut benchmark Runta's FrontierHarness v1.1. Dikembangkan oleh Yetone, Alma mencapai tingkat keberhasilan 72,7% dengan biaya rata-rata $0,80 per tugas, 16% lebih murah daripada Claude Code. Uji coba melibatkan 26.040 kali eksekusi pada 62 tugas. Alma mendukung eksekusi lokal, pengeditan kode, dan terintegrasi dengan Herdr. Sementara pasar kripto tetap volatil, para pengembang secara dekat memantau indeks ketakutan dan keserakahan untuk menandai perubahan sentimen.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.