Anthropic ra mắt tính năng Beta cho Claude API: Các nhà phát triển có thể điều chỉnh cấp độ effort bất kỳ lúc nào trong luồng tin nhắn, cân bằng giữa tốc độ, mức độ đầy đủ và chi phí, phù hợp với các kịch bản tác nhân.Tác giả bài viết, nguồn: AIBase
Trong cùng một đoạn hội thoại, đầu lỏng sau chặt, Anthropic đã giúp các nhà phát triển cuối cùng có thể "đạp ga" cho mô hình giữa chừng. Vào ngày 12 tháng 11, nhà phát triển Claude đã bổ sung một tính năng Beta cho API: các nhà phát triển có thể điều chỉnh mức nỗ lực bất kỳ lúc nào trong luồng tin nhắn, tức là mức độ "nỗ lực" mà mô hình sẵn sàng bỏ ra để trả lời câu hỏi, giúp người dùng dễ dàng cân bằng giữa độ đầy đủ của câu trả lời, tốc độ phản hồi và chi phí sử dụng.
Đổi khung thời gian không cần mở lại, bộ nhớ đệm không bị ngắt kết nối
Trước đây, một phiên hội thoại trước đó chỉ có thể sử dụng một bộ tham số cố định, giờ đây không còn cần như vậy. Cách làm là chèn một tin nhắn system trống vào chuỗi tin nhắn, sau đó sử dụng output_config.effort mới để chỉ định cấp độ mục tiêu, trong khi cấu hình cấp cao nhất và bộ nhớ đệm lời nhắc đã được kích hoạt đều được giữ nguyên. Cần lưu ý rằng lệnh điều chỉnh này không áp dụng ngược lại — nó chỉ có hiệu lực kể từ tin nhắn người dùng tiếp theo có đầu vào mới, các nội dung đã được tạo ra trước đó hoàn toàn không thay đổi, do đó cần tính toán chính xác vị trí chèn và thời điểm chờ tin nhắn hỏi tiếp theo.
Từ những cuộc trò chuyện phiếm đến những nội dung chuyên sâu, một ranh giới phân chia
Effort không chỉ liên quan đến việc cuối cùng viết được bao nhiêu chữ, mà còn bị ảnh hưởng bởi độ sâu tư duy, số lần sử dụng công cụ và mức độ đầu tư vào việc tổ chức câu trả lời. Cách sử dụng điển hình là: trong nửa đầu cuộc hội thoại thực hiện các câu trả lời nhẹ nhàng, khi chuyển sang phân tích phức tạp, mô hình sẽ tự động tăng cấp độ. Điều này đặc biệt có lợi cho các tác nhân có chuỗi dài — giai đoạn đầu dùng cấp độ thấp để tiết kiệm token, chỉ tăng cấp khi đến các nút cần suy luận thực sự, thay vì trả phí trước cho toàn bộ cuộc hội thoại. Khi AI học được cách “ăn gì làm nấy”, thì năng lực tính toán và hóa đơn mới thực sự nằm trong tay nhà phát triển.