Ramp Labs предлагает новое решение для совместного использования памяти многими агентами, использование токенов сокращено до 65%

ME News сообщает, 11 апреля (UTC+8) компания Ramp Labs, специализирующаяся на инфраструктуре ИИ, опубликовала исследование «Latent Briefing», позволяющее обеспечить эффективный обмен памятью между агентами за счет прямого сжатия KV-кэша крупных моделей, значительно сокращая потребление токенов без потери точности. В типичных архитектурах многоагентных систем оркестратор разбивает задачу и многократно вызывает модели-исполнители; по мере удлинения цепочки вывода потребление токенов растет экспоненциально. Основная идея Latent Briefing заключается в использовании механизма внимания для выявления действительно ключевых элементов контекста и прямого удаления избыточной информации на уровне представлений, вместо медленных резюме LLM или нестабильных RAG-поисков. На базовом наборе данных LongBench v2 метод продемонстрировал впечатляющие результаты: потребление токенов исполнителями снизилось на 65%, медиана экономии токенов для документов средней длины (от 32k до 100k) составила 49%, общая точность повысилась примерно на 3 процентных пункта по сравнению с базовой линией, а дополнительное время на каждое сжатие составило всего около 1,7 секунды — примерно в 20 раз быстрее исходного алгоритма. Эксперименты проводились с использованием Claude Sonnet 4 в качестве оркестратора и Qwen3-14B в качестве модели-исполнителя, охватывая различные типы документов: научные статьи, юридические тексты, романы и государственные отчеты. Исследование также выявило, что оптимальный порог сжатия варьируется в зависимости от сложности задачи и длины документа: для сложных задач подходит агрессивное сжатие для фильтрации шума спекулятивных рассуждений, тогда как для длинных документов предпочтительнее легкое сжатие для сохранения рассеянной ключевой информации. (Источник: BlockBeats)