การทำให้สิ่งใดสิ่งหนึ่งเล็กลงและดีขึ้นในเวลาเดียวกันดูเหมือนเป็นการขัดแย้งกับฟิสิกส์พื้นฐาน แต่นักวิจัยจากมหาวิทยาลัยเอดินบะระ ร่วมกับ NVIDIA ได้บรรลุสิ่งนี้กับโมเดลภาษาขนาดใหญ่ เทคนิคของพวกเขาที่เรียกว่า Dynamic Memory Sparsification (DMS) สามารถบีบอัดชิ้นส่วนสำคัญของโครงสร้างพื้นฐานด้านปัญญาประดิษฐ์ได้ถึง 8 เท่า ในขณะที่ทำให้โมเดลเหล่านี้ทำคะแนนสูงขึ้นบนแบบทดสอบที่ยาก
หากโมเดลปัญญาประดิษฐ์สามารถทำงานได้ดีเท่ากันหรือดีกว่าเดิมด้วยหน่วยความจำเพียงส่วนน้อย โอกาสก็เปิดกว้างสำหรับการใช้งานความสามารถในการให้เหตุผลอย่างจริงจังบนอุปกรณ์ที่ปัจจุบันไม่สามารถรองรับได้ รวมถึงอุปกรณ์สวมใส่ ฮาร์ดแวร์บ้านอัจฉริยะ และอุปกรณ์ขอบ
DMS ทำงานอย่างไร
เพื่อเข้าใจความก้าวหน้านี้ คุณต้องรู้จักแคชคีย์-ค่า (KV) เมื่อโมเดลปัญญาประดิษฐ์วิเคราะห์ปัญหา มันจะจัดเก็บผลลัพธ์ชั่วคราวไว้ในแคชนี้ ซึ่งทำหน้าที่เหมือนหน่วยความจำชั่วคราวที่ช่วยให้โมเดลติดตามกระบวนการคิดของตัวเอง ยิ่งโซ่การวิเคราะห์ยาวและซับซ้อนเท่าใด แคชก็จะยิ่งใหญ่ขึ้นเท่านั้น และต้องใช้ทรัพยากรการประมวลผลมากขึ้น
DMS ใช้เครื่องมือที่แม่นยำในการจัดการกระบวนการนี้ แทนที่จะเก็บโทเค็นทั้งหมดไว้ในแคช มันเลือกเก็บเฉพาะโทเค็นที่สำคัญที่สุดและตัดทิ้งที่เหลือ ผลลัพธ์คือแคช KV ถูกบีบอัดให้เหลือเพียงหนึ่งในแปดของขนาดเดิม โดยการลบสิ่งรบกวนออก โมเดลสามารถสำรวจเส้นทางการให้เหตุผลที่ลึกซึ้งและซับซ้อนยิ่งขึ้นภายในงบประมาณการคำนวณเดียวกัน
ผลการทดสอบมาตรฐาน
ในการสอบคัดเลือก AIME 24 แบบจำลองที่บีบอัดโดยใช้ DMS ได้คะแนนเฉลี่ยสูงกว่าแบบไม่บีบอัดถึง 12 คะแนน
บน GPQA Diamond ซึ่งเป็นมาตรฐานที่สร้างจากปัญหาทางวิทยาศาสตร์ระดับบัณฑิตศึกษาในฟิสิกส์ เคมี และชีววิทยา โมเดลที่บีบอัดด้วย DMS มีคะแนนเฉลี่ยสูงกว่า 8 คะแนน
บน LiveCode Bench ซึ่งทดสอบทักษะการเขียนโปรแกรมเชิงปฏิบัติ โมเดลที่บีบอัดได้รับคะแนนเพิ่ม 10 คะแนน เมื่อเทียบกับโมเดลที่ใช้แคชเต็มขณะอ่านข้อมูล KV cache จำนวนเดียวกัน
หัวหน้านักวิจัย ดร.เอโดอาร์โด ปอนตี สรุปประโยชน์สองประการอย่างเรียบง่าย
แบบจำลองสามารถให้เหตุผลได้เร็วขึ้นแต่มีคุณภาพเท่าเดิม
ภายในช่วงเวลาที่กำหนด โมเดล LLM ที่ใช้ DMS สามารถสำรวจเส้นทางการให้เหตุผลได้มากขึ้น และสรุปผลได้แข็งแกร่งยิ่งขึ้น
แนวโน้มที่ยาวนานขึ้น กำลังเร่งตัว
วงการปัญญาประดิษฐ์ได้ตามหาประสิทธิภาพของโมเดลตั้งแต่กลางทศวรรษ 2010 เมื่อเทคนิคต่างๆ เช่น การถ่ายโอนความรู้ การตัดทอน และการลดความละเอียดเริ่มพิสูจน์ว่าโมเดลขนาดเล็กสามารถแข่งขันกับโมเดลขนาดใหญ่ได้ในงานเฉพาะบางอย่าง สิ่งที่ DMS เพิ่มเข้ามาในสายพันธุ์นี้คือการเน้นที่หน่วยความจำในช่วงการประมวลผล ซึ่งเป็นทรัพยากรที่ใช้ไปไม่ใช่ขณะที่โมเดลกำลังถูกฝึก แต่ขณะที่โมเดลกำลังถูกใช้งานจริง การบีบอัดหน่วยความจำในการประมวลผลลง 8 เท่า หมายความว่าการนำโมเดลไปใช้งานทุกครั้งจะมีต้นทุนในการดำเนินการลดลงอย่างมาก
การวิจัยนี้ได้รับการนำเสนอที่การประชุม NeurIPS และอธิบายอย่างละเอียดในบทความที่มีชื่อว่า “Inference-Time Hyper-Scaling with KV Cache Compression” การประเมินผลได้ดำเนินการโดยใช้โมเดล Llama และ Qwen