Anthropic запускает панель кэширования запросов с визуальными метриками

Согласно новости ME, 22 апреля (UTC+8), по данным мониторинга Beating, на Claude Developer Console запущена панель управления кэшированием запросов по адресу platform.claude.com/usage/cache. Панель позволяет фильтровать данные по рабочей области, модели и временному интервалу, отображая три основных показателя: коэффициент чтения кэша (cache read ratio) — долю запросов, попавших в уже существующий кэш; структуру использования кэша, разбивающую входные токены на четыре категории — некэшированные, записанные в кэш на 5 минут, записанные в кэш на 1 час и считанные из кэша — в виде стековых столбчатых диаграмм; а также коэффициент амортизации записи (write amortization), показывающий, сколько раз одна запись в кэш была повторно использована последующими чтениями. В примере скриншота Claude Opus за 7 дней обработал 27,4 млрд входных токенов с коэффициентом чтения 85,4% и коэффициентом амортизации записи 8,65. В нижней части также представлены временные ряды коэффициента чтения кэша с разрешением от 1 до 24 часов. Механизм кэширования подсказок Anthropic позволяет пользователям API помечать фиксированные элементы, такие как системные подсказки и длинный контекст, как кэшируемые: первоначальная запись оплачивается отдельно, а последующие попадания в кэш оплачиваются примерно по десятой части стандартной цены за входные токены. Кэш по умолчанию сохраняется 5 минут, при оплате — до 1 часа. Ранее пользователи могли лишь косвенно оценивать эффективность кэширования по полям подсчета токенов в ответе API, не имея визуальных инструментов. (Источник: BlockBeats)