Agent bisa berjalan hanyalah langkah pertama.Penulis artikel: elune
Artikel diterjemahkan, sumber: ME News
Agent bisa berjalan hanyalah langkah pertama.
Yang benar-benar sulit adalah menilai: apakah itu stabil, apakah itu benar, atau apakah itu secara diam-diam menurun karena satu prompt atau pembaruan model.
10 metode evaluasi berikut ini layak diketahui oleh setiap insinyur AI.
1. Golden Set
Siapkan sekelompok kasus uji yang tetap dan dibekukan.
Setelah setiap perubahan pada prompt, model, alat, atau alur kerja, jalankan kembali serangkaian kasus ini untuk menilai apakah sistem benar-benar menjadi lebih baik, atau secara diam-diam gagal dalam beberapa skenario.
Ini adalah garis dasar paling mendasar dalam sistem evaluasi Agent.
Alat rekomendasi: OpenAI Evals
Dapat digunakan untuk membangun kumpulan pengujian benchmark yang dapat dijalankan berulang kali dan membandingkan kinerja berbagai model atau versi sistem.
2. LLM Hakim｜LLM sebagai Hakim
Gunakan model bahasa besar lainnya untuk menilai jawaban terbuka berdasarkan kriteria penilaian yang telah ditentukan sebelumnya.
Metode ini sangat efektif ketika tugas tidak memiliki jawaban standar tunggal dan tidak dapat dinilai benar atau salah melalui pencocokan string atau output tetap.
Misalnya, model penilai dapat mengevaluasi apakah jawaban akurat, lengkap, relevan, dan mematuhi permintaan pengguna.
Alat rekomendasi: OpenEvals
Menyediakan evaluator siap pakai untuk aplikasi LLM untuk membangun proses peninjauan otomatis dengan cepat.
3. Penilaian Multidimensi | Rubric Scoring
Jangan hanya memberikan Agent skor kualitas yang umum.
Harus dievaluasi secara terpisah:
- Correctness
- Integritas
- Expression style
- Keamanan
- Response speed
- Biaya panggilan
Sebuah skor komprehensif dapat menyembunyikan masalah sebenarnya.
Misalnya, penurunan skor total mungkin bukan karena jawaban salah, tetapi karena biaya pemanggilan alat tiba-tiba meningkat; peningkatan skor total juga mungkin didasarkan pada penurunan keamanan.
Alat rekomendasi: DeepEval
Mendukung pembuatan indikator khusus dan pemberian skor independen untuk berbagai dimensi kualitas.
4. Evaluasi Jejak | Trajectory Eval
Jangan hanya mengevaluasi jawaban akhir yang diberikan oleh Agent, tetapi juga seluruh prosesnya dalam menyelesaikan tugas.
Termasuk:
- Apakah alat yang tepat telah dipilih?
- Apakah alat-alat dipanggil dalam urutan yang masuk akal?
- Apakah mengulangi operasi yang tidak valid?
- Apakah langkah yang diperlukan terlewatkan?
- Apakah keputusan telah disesuaikan dengan benar berdasarkan hasil alat?
Agen mungkin akhirnya mendapatkan jawaban yang benar, tetapi proses tengahnya tidak efisien, rapuh, bahkan berisiko.
Alat rekomendasi: AgentEvals
Dapat memeriksa tindakan, keputusan, dan pemanggilan alat dari Agent dalam lintasan eksekusi lengkap.
5. Pengujian Unit Alat | Tool Unit Tests
Buat pengujian terpisah untuk setiap alat yang digunakan oleh Agent.
Gunakan input tetap, verifikasi output tetap, jangan melibatkan model.
Dengan demikian, masalah dapat dipisahkan:
Apakah masalahnya terletak pada penalaran Agent, atau pada alat, antarmuka, atau MCP Server dasar?
Hanya dengan memastikan bahwa alat itu sendiri andal, maka baru bermakna untuk mengevaluasi apakah Agent telah memanggil alat dengan benar.
Alat rekomendasi: MCP Inspector
Dapat digunakan untuk memeriksa dan menguji MCP Server, parameter alat, serta hasil pengembalian.
6. Regresi Suite
Simpan kasus operasi nyata sebelumnya, dan jalankan ulang setiap kali memperbarui prompt, model, atau kumpulan alat.
Kemudian bandingkan hasil versi baru dan lama, periksa:
- Apakah tugas yang seharusnya benar gagal?
- Apakah format output berubah?
- Apakah pemanggilan alat ditambahkan?
- Apakah keterlambatan dan biaya meningkat?
- Apakah beberapa kasus tepi mengalami degenerasi
Versi baru memiliki kinerja rata-rata yang lebih baik, bukan berarti tidak merusak kemampuan lama.
Alat rekomendasi: Promptfoo
Support running repeatable evaluation suites, capturing regression issues, and integrating check processes into CI.
7. Pengujian A/B di Lingkungan Produksi | A/B Testing in Production
Distribusikan lalu lintas pengguna asli secara acak ke dua versi berbeda untuk membandingkan kinerjanya dalam lingkungan nyata.
Bisa diuji:
- Dua set prompt
- Dua model
- Dua alur kerja Agent
- Kombinasi alat yang berbeda
- Berbagai strategi balasan
Versi dengan skor offline lebih tinggi tidak selalu membawa tingkat keberhasilan pengguna yang lebih tinggi.
Yang benar-benar penting adalah hasil nyata, seperti tingkat penyelesaian tugas, tingkat adopsi pengguna, tingkat konversi, tingkat penanganan manual, dan tingkat penyelesaian masalah.
Alat yang direkomendasikan: GrowthBook
Menyediakan fitur pengaturan, eksperimen terkendali, dan kemampuan analisis produk.
8. Tinjauan manual｜Human Review
Sampling of real operational records conducted periodically and scored by human reviewers.
Pemeriksaan manual tidak hanya dapat mengidentifikasi masalah yang terlewat oleh evaluasi otomatis, tetapi juga dapat digunakan untuk kalibrasi hakim LLM.
Perlu diperiksa secara khusus:
- Apakah skor model sejalan dengan penilaian manusia?
- Apakah kriteria penilaian cukup jelas
- Apakah model penilai lebih menyukai jawaban yang panjang?
- Evaluasi otomatis apakah ada kesalahan serius yang terlewat
Evaluasi otomatis tidak dapat sepenuhnya menggantikan penilaian manusia.
Alat rekomendasi: Argilla
Bantu tim mengumpulkan umpan balik manual, meninjau output model, dan mengolah hasilnya menjadi kumpulan data berkualitas tinggi.
9. Shadow Run
Jalankan versi kandidat secara bersamaan dengan lalu lintas nyata, tetapi jangan menampilkan outputnya kepada pengguna.
Lingkungan produksi masih menggunakan versi lama, sementara versi baru hanya dijalankan di latar belakang untuk membandingkan kinerja keduanya.
Cara ini cocok untuk pembaruan berisiko tinggi, misalnya:
- Ganti model inti
- Rewrite system prompt
- Integrasi alat eksternal baru
- Ubah logika keputusan Agent
- Perluas izin alat
Shadow running helps teams identify issues in real traffic before official release, while avoiding direct impact on users.
Alat rekomendasi: Langfuse
Lacak jalannya produksi, bandingkan versi kandidat, dan pantau hasil evaluasi.
10. Pengujian Tim Merah | Red Teaming
Serang sistem Anda sendiri sebelum penyerang melakukannya.
Ruang lingkup pengujian mencakup:
- Jailbreak attack
- Prompt injection
- Kebocoran data sensitif
- Privilege escalation
- Penyalahgunaan alat
- File atau konten web jahat
- Operasi eksternal tak terduga
Red team testing sangat penting untuk Agent yang dapat memanggil database, mengirim email, mengubah file, mengeksekusi kode, atau mengakses sistem internal.
Rekomendasi alat: Garak
Memindai kerentanan keamanan dan perilaku tidak aman dalam sistem LLM.
Offline evaluation tells you: the system works properly in the testing environment.
The online assessment tells you: the system will continue to function normally after going live.
Anda mungkin belum perlu membangun semua 10 mekanisme evaluasi sekaligus.
Pendekatan yang lebih praktis adalah:
Tinjau kegagalan Agent terbaru, lalu prioritaskan penerapan dua metode evaluasi yang seharusnya dapat mengidentifikasi masalah lebih awal.
Membuat kumpulan pengujian emas terlebih dahulu, lalu menambahkan pengujian regresi atau inspeksi manual, seringkali dapat menghindari sejumlah besar insiden sepele.
Patut disimpan.