Ramp Labs เสนอโซลูชันการแชร์หน่วยความจำแบบหลายเอเจนต์ ลดการใช้โทเค็นได้สูงสุด 65%

ข่าว ME รายงานว่า เมื่อวันที่ 11 เมษายน (UTC+8) บริษัทโครงสร้างพื้นฐาน AI Ramp Labs ได้เปิดตัวงานวิจัยชื่อ “Latent Briefing” ซึ่งสามารถบรรลุการแชร์หน่วยความจำอย่างมีประสิทธิภาพระหว่างระบบตัวแทนหลายตัว โดยการบีบอัดแคช KV ของโมเดลขนาดใหญ่โดยตรง ลดการใช้โทเค็นอย่างมากโดยไม่ลดความแม่นยำ ในสถาปัตยกรรมตัวแทนหลายตัวหลัก ผู้จัดการ (Orchestrator) จะแบ่งงานออกเป็นส่วนย่อยและเรียกใช้โมเดลผู้ปฏิบัติงาน (Worker) ซ้ำๆ ซึ่งเมื่อสายการให้เหตุผลขยายตัว ปริมาณโทเค็นจะเพิ่มขึ้นแบบทวีคูณ แนวคิดหลักของ Latent Briefing คือการใช้กลไกการให้ความสำคัญเพื่อระบุส่วนที่สำคัญที่สุดในบริบท และตัดข้อมูลที่ซ้ำซ้อนออกโดยตรงที่ระดับการแสดงผล แทนการพึ่งพาการสรุปจาก LLM ที่ช้าหรือการค้นหา RAG ที่ไม่มั่นคง ในการทดสอบมาตรฐาน LongBench v2 วิธีนี้แสดงผลอย่างโดดเด่น: การใช้โทเค็นของโมเดลผู้ปฏิบัติงานลดลง 65% ค่ามัธยฐานของการประหยัดโทเค็นในเอกสารความยาวปานกลาง (32k ถึง 100k) อยู่ที่ 49% ความแม่นยำโดยรวมสูงขึ้นประมาณ 3 เปอร์เซ็นต์เมื่อเทียบกับฐานอ้างอิง โดยเวลาเพิ่มเติมในการบีบอัดแต่ละครั้งอยู่ที่ประมาณ 1.7 วินาที เร็วขึ้นประมาณ 20 เท่าเมื่อเทียบกับอัลกอริธึมดั้งเดิม การทดลองใช้ Claude Sonnet 4 เป็นผู้จัดการและ Qwen3-14B เป็นโมเดลผู้ปฏิบัติงาน โดยครอบคลุมสถานการณ์เอกสารหลากหลาย เช่น บทความวิชาการ หนังสือกฎหมาย นิยาย และรายงานของรัฐบาล การวิจัยยังพบว่าค่าเกณฑ์การบีบอัดที่เหมาะสมแตกต่างกันไปตามความยากของงานและความยาวของเอกสาร—งานที่ยากเหมาะกับการบีบอัดอย่างรุนแรงเพื่อกรองเสียงรบกวนจากการให้เหตุผลแบบเสี่ยงโชค ในขณะที่เอกสารยาวเหมาะกับการบีบอัดแบบเบาๆ เพื่อรักษาข้อมูลสำคัญที่กระจายอยู่ (ที่มา: BlockBeats)