Google ra mắt Gemini Decisions API, có thể xử lý 1.000 câu hỏi đa phương thức trong một lần, độ trễ ở mức 150 miligiây, đầu ra miễn phí và đã có mặt trên AI Studio.Tác giả bài viết, nguồn: AIBase
Để AI thay con người đưa ra các quyết định nhanh chóng kiểu “đúng hay sai, chọn cái nào”, Google đã giảm độ trễ xuống mức miligiây. Vào ngày 11 tháng 11, Google công bố ra mắt Gemini Decisions API, dựa trên mô hình Gemini Decision 1 mới hoàn toàn, được thiết kế đặc biệt để xử lý các tình huống đòi hỏi phải liên tục trả lời các câu hỏi đúng/sai, lựa chọn phương án và chấm điểm.
Một lần cho ăn, tính toán tiến trực tiếp cho điểm
Nhà phát triển tải lên một tài liệu đa mô态 bao gồm văn bản, hình ảnh, âm thanh, video hoặc PDF (tối đa 256K Tokens), và có thể đặt tối đa 1.000 câu hỏi không liên quan đến nhau. Gemini Decision 1 chỉ cần thực hiện một lần tính toán thuận để đưa ra xác suất và điểm tự tin cho từng lựa chọn—không cần chia nhỏ thành hàng trăm lần gọi như quy trình truyền thống. Những nhiệm vụ này đặc biệt phù hợp để sử dụng trong việc lựa chọn công cụ, kiểm tra chiến lược, định tuyến mô hình và đánh giá chất lượng ngữ cảnh: ví dụ, cung cấp bản ghi cuộc gọi cùng thông tin tài khoản, hoặc đưa hóa đơn bồi thường quét kèm hình ảnh thiệt hại để mô hình xác minh toàn bộ trong một lần.
Nhanh và rẻ, còn có thể điều chỉnh độ phân giải
Về tốc độ, độ trễ xử lý toàn bộ chuỗi nằm trong khoảng 150 đến 250 miligiây; giá cả cũng rất hợp lý, chỉ 0,10 USD mỗi triệu Tokens đầu vào (khoảng 0,67 nhân dân tệ), và các Tokens đầu ra hoàn toàn miễn phí. Các nhà phát triển còn có thể tự điều chỉnh độ phân giải hình ảnh và video để cân bằng giữa chi tiết trực quan và chi phí Tokens. Hiện tại, API này đã được triển khai trên Google AI Studio, cung cấp hạn mức miễn phí để phát triển bản mẫu.