Anthropic melancarkan ciri Beta untuk API Claude: Pembangun boleh menyesuaikan peringkat usaha sewaktu-waktu dalam aliran mesej, menyeimbangkan kelajuan, kecukupan, dan kos, sesuai untuk skenario agen.Penulis artikel, sumber: AIBase
Dalam satu percakapan yang awalnya longgar dan kemudian menjadi lebih ketat, Anthropic membolehkan pembangun akhirnya untuk "menginjak pedal" model secara separuh jalan. Pada 12 November, pembangun Claude ini menambahkan kemampuan Beta ke API: pembangun boleh menyesuaikan usaha sewaktu-waktu dalam aliran mesej, iaitu tahap "usaha" yang ingin digunakan model untuk menjawab soalan, membantu pengguna menimbang antara kecukupan jawapan, kelajuan respons, dan kos penggunaan dengan mudah.
Tukar gear tanpa memulakan semula, cache tidak terputus
Sesi sebelum ini hanya boleh menggunakan parameter tetap, tetapi kini tidak perlu lagi. Caranya adalah dengan menyisipkan satu pesan system kosong ke dalam urutan pesan, kemudian menentukan tahap sasaran menggunakan output_config.effort baru, sambil mempertahankan konfigurasi tingkat atas dan cache petunjuk yang telah dipicu secara utuh. Perlu diingat bahawa arahan ini tidak bersifat retroaktif—ia hanya berkuat kuasa mulai daripada pesan pengguna seterusnya yang membawa input baru, sementara kandungan yang telah dihasilkan tetap tidak berubah. Oleh itu, anda perlu mengira dengan tepat di mana dan bila harus menyisipkan serta menunggu soalan seterusnya.
Dari perbualan ringan hingga keras, satu titik pemisah
Usaha yang dikeluarkan jauh melebihi jumlah perkataan akhir yang ditulis; kedalaman pemikiran, bilangan kali alat digunakan, dan usaha dalam menyusun jawapan semuanya akan terlibat. Penggunaan biasa ialah: separuh pertama perbualan melakukan soal jawab ringan, dan pada ketika beralih kepada analisis kompleks, tahap akan dinaikkan, dan model akan secara automatik meningkatkan usaha. Ini sangat menguntungkan untuk agen rantai panjang—pada peringkat awal, carian menggunakan tahap rendah untuk menjimatkan Token, dan hanya meningkatkan tahap apabila mencapai titik yang memerlukan penalaran sebenar, tanpa perlu membayar penuh untuk keseluruhan perbualan sejak awal. Apabila AI belajar "menyesuaikan makanan mengikut hidangan", kuasa pengiraan dan bil baru benar-benar berada di tangan pembangun.