LangChain memasukkan Jev ke dalam loop agen mereka sendiri dan menunjukkan tiga tugas yang mereka berikan kepadanya. Dalam demo, sebuah LLM membutuhkan sekitar 5 detik untuk menentukan apakah teks tersebut mengandung PII, sedangkan Jev menjawab segera dengan akurasi 98%. Jadi, agen pemrograman mereka dapat bertanya kepada Jev seberapa sulit suatu tugas dan menyimpan model kuat untuk tugas-tugas yang sulit. Middleware mode otomatis mereka meminta Jev untuk menilai apakah panggilan alat berisiko dan memblokirnya secara real-time, sebuah pemeriksaan yang sebelumnya dimatikannya karena dulu terlalu lambat. Dan model yang sama menilai jawaban agen berdasarkan rubrik dalam evaluasi online: benar, sesuai dengan referensi, berdasarkan fakta, dan mengutip sumber. Panduan saya menunjukkan pengaturan ini pada sumber penelitian, dengan rubrik relevansi 0 hingga 3 atas 50 makalah dan antrian tinjauan untuk panggilan dengan tingkat kepercayaan rendah. Ini juga memeriksa makalah-makalah berguna yang secara diam-diam diarsipkan oleh filter. Tonton sesinya, lalu ambil starter dan prompt di bawah ini