Anthropic запускає бета-функцію для Claude API: розробники можуть змінювати рівень зусиль у потоці повідомлень в будь-який момент, щоб балансувати швидкість, повноту та витрати, що корисно для сценаріїв із агентами.Автор статті, джерело: AIBase
У одному діалозі спочатку розслаблено, потім — напружено: Anthropic дала розробникам змогу в будь-який момент «надати газу» моделі. 12 листопада цей розробник Claude додав до API бета-функцію: розробники можуть у будь-який момент регулювати зусилля в потоці повідомлень — тобто рівень «запиту на зусилля», який визначає, наскільки сильно модель прагне надати відповідь, допомагаючи користувачам легко балансувати між повнотою відповіді, швидкістю реакції та витратами.
Переключення без перезапуску, кеш без відключення
Раніше кожен попередній діалог міг використовувати лише фіксовані параметри, тепер це не потрібно. Потрібно вставити порожнє system-повідомлення в послідовність повідомлень і вказати цільовий рівень за допомогою output_config.effort, зберігаючи при цьому всі верхні налаштування та кешовані підказки, що вже були використані. Варто звернути увагу: ця зміна не поширюється назад — вона набирає чинності лише з наступного повідомлення користувача з новим введенням, а вже згенерований контент залишається незмінним. Тому важливо точно визначити, куди вставляти це повідомлення та коли чекати на наступне запитання.
Від пустої розмови до серйозного аналізу — межа
Зусилля відносяться не лише до кінцевої кількості слів: глибина міркувань, кількість використання інструментів та зусилля, вкладені у структуру відповіді, також піддаються впливу. Типове застосування: на початку діалогу використовувати легкі відповіді, а коли настає момент складного аналізу — піднімати рівень, і модель автоматично збільшує зусилля. Це особливо вигідно для інтелектуальних агентів з довгими ланцюжками — на початкових етапах пошук виконується на низькому рівні, щоб зекономити токени, а коли настає справжній момент міркування — рівень піднімається, не потрібно сплачувати за весь діалог заздалегідь. Коли ШІ навчиться «готувати за меню», обчислювальні ресурси та рахунки справді опиняються в руках розробників.