Anthropic запускает бета-функцию для Claude API: разработчики могут в любое время изменять уровень усилий в потоке сообщений, балансируя скорость, полноту и стоимость, что особенно полезно для сценариев с агентами.Автор статьи, источник: AIBase
В одном и том же диалоге сначала легко, потом быстро — Anthropic позволила разработчикам наконец вмешиваться в процесс и «нажать на газ» для модели. 12 ноября этот разработчик Claude добавил в API бета-возможность: разработчики могут в любой момент во время потока сообщений регулировать уровень усилий, то есть степень старания модели при ответе на вопросы, помогая пользователям легко балансировать между полнотой ответа, скоростью реакции и стоимостью использования.
Переключение без перезапуска, кэш без отключения
Раньше в одном сеансе можно было использовать только фиксированные параметры, теперь это не обязательно. Для этого в последовательность сообщений вставляется пустое системное сообщение, а целевой уровень указывается с помощью нового output_config.effort. Верхнеуровневая конфигурация и уже сработавшие кэшированные подсказки остаются неизменными. Следует учитывать, что эта команда не применяется обратно — она вступает в силу только с следующим пользовательским сообщением, содержащим новый ввод; ранее сгенерированный контент остается без изменений, поэтому важно точно определить, где и когда вставить сообщение и когда дождаться следующего вопроса.
От болтовни до серьёзного — одна граница
Усилие — это не только финальное количество написанных слов; глубина мышления, частота использования инструментов и вложенность в организацию ответа также оказываются задействованы. Типичное применение: на первой половине диалога выполняются легкие вопросы и ответы, а в момент перехода к сложному анализу уровень повышается — модель автоматически усиливает усилия. Особенно выгодно для интеллектуальных агентов с длинными цепочками: на этапе поиска используется низкий уровень для экономии токенов, а при достижении узлов, требующих настоящих рассуждений, уровень повышается — не нужно заранее оплачивать всю беседу. Когда ИИ научится «подстраиваться под обстоятельства», вычислительные ресурсы и счета действительно оказываются в руках разработчиков.