Google запустил Gemini Decisions API, способный обрабатывать до 1000 мультимодальных запросов за один раз с задержкой на уровне 150 миллисекунд; вывод бесплатен и уже доступен на AI Studio.Автор статьи, источник: AIBase
Позвольте ИИ заменить человека в быстрых решениях «правильно или неправильно, какой выбрать» — Google сократил задержку до миллисекунд. 11 ноября Google объявил о запуске Gemini Decisions API, основанным на новой модели Gemini Decision 1, специально разработанной для задач, требующих многократного ответа на вопросы «да/нет», выбора вариантов и оценки.
Одно кормление — тысяча вопросов, прямой расчет сразу дает баллы
Разработчик загружает мультимодальный материал, состоящий из текста, изображения, аудио, видео или PDF (до 256K токенов), и может задать до 1000 независимых вопросов. Gemini Decision 1 выполняет всего один прямой проход, чтобы выдать вероятности и оценки уверенности для каждого варианта — без необходимости разбивать процесс на сотни отдельных вызовов, как в традиционных подходах. Такие задачи идеально подходят для выбора инструментов, проверки стратегий, маршрутизации моделей и оценки качества контекста: например, можно передать модели аудиозапись разговора вместе с информацией о счете или сканированный страховойclaim вместе с фотографиями повреждений, чтобы модель сразу проверила всё.
Быстро и дешево, можно настроить разрешение
По скорости общая задержка обработки составляет от 150 до 250 миллисекунд; цены также доступны: ввод всего 0,10 доллара США за миллион токенов (примерно 0,67 юаня), а вывод токенов полностью бесплатен. Разработчики также могут вручную настраивать разрешение изображений и видео, чтобы найти баланс между визуальной детализацией и затратами на токены. В настоящее время этот API уже доступен на Google AI Studio и предоставляет бесплатный лимит для разработки прототипов.