Membuat sesuatu menjadi lebih kecil sekaligus lebih baik terdengar seperti pelanggaran terhadap fisika dasar. Namun, para peneliti di Universitas Edinburgh, yang bekerja sama dengan NVIDIA, telah berhasil melakukannya pada model bahasa besar. Teknik mereka, yang disebut Dynamic Memory Sparsification (DMS), memampatkan komponen kritis infrastruktur AI sebesar 8x sambil secara ajaib meningkatkan skor model pada berbagai benchmark sulit.
Jika model AI dapat berjalan sebaik, atau lebih baik, dengan sebagian kecil memori, pintu terbuka untuk menerapkan kemampuan penalaran serius pada perangkat yang saat ini tidak mampu menanganinya, termasuk perangkat yang dapat dipakai, perangkat rumah pintar, dan perangkat edge.
Bagaimana DMS sebenarnya bekerja
Untuk memahami terobosan ini, Anda perlu mengetahui tentang cache key-value (KV). Saat model AI melakukan penalaran terhadap suatu masalah, ia menyimpan hasil sementara di cache ini, yang pada dasarnya adalah memori kerja yang memungkinkan model melacak proses berpikirnya sendiri. Semakin panjang dan kompleks rantai penalaran tersebut, semakin besar ukuran cache yang dibutuhkan, dan semakin banyak sumber daya komputasi yang diminta.
DMS menggunakan pisau bedah untuk proses ini. Alih-alih menyimpan setiap token di cache, ia secara selektif mempertahankan hanya token-token yang paling penting dan menghapus sisanya. Hasilnya adalah cache KV yang dikompresi menjadi satu-perdelapan dari ukuran aslinya. Dengan membersihkan kebisingan, model dapat menjelajahi jalur penalaran yang lebih dalam dan lebih rumit dalam anggaran komputasi yang sama.
Hasil benchmark
Pada AIME 24, ujian kualifikasi olimpiade matematika, model terkompresi yang menggunakan DMS mendapatkan rata-rata 12 poin lebih tinggi daripada versi tidak terkompresinya.
Di GPQA Diamond, sebuah tolok ukur yang dibangun dari soal-soal ilmiah tingkat pascasarjana di bidang fisika, kimia, dan biologi, model yang dikompresi DMS mencatat skor rata-rata lebih dari 8 poin lebih tinggi.
Di LiveCode Bench, yang menguji kemampuan pemrograman praktis, model yang dikompresi mendapatkan 10 poin lebih tinggi daripada versi cache penuhnya saat membaca jumlah data cache KV yang sama.
Peneliti utama Dr. Edoardo Ponti merangkum manfaat ganda tersebut dengan sederhana.
Model dapat bernalar lebih cepat tetapi dengan kualitas yang sama.
Dalam jendela waktu yang tetap, LLM yang menggunakan DMS dapat mengeksplorasi lebih banyak jalur penalaran dan sampai pada kesimpulan yang lebih kuat.
Tren lebih panjang, semakin cepat
Bidang AI telah mengejar efisiensi model sejak pertengahan 2010-an, ketika teknik seperti distilasi pengetahuan, pruning, dan kuantisasi mulai membuktikan bahwa model yang lebih kecil dapat bersaing dengan model yang lebih besar pada tugas-tugas tertentu. Yang ditambahkan DMS pada rantai ini adalah fokus pada memori saat inferensi, sumber daya yang dikonsumsi bukan saat model sedang dilatih, tetapi saat benar-benar digunakan. Mengompresi memori inferensi sebesar 8x berarti setiap penyebaran menjadi jauh lebih murah untuk dijalankan.
Penelitian ini disajikan di konferensi NeurIPS dan dijelaskan secara rinci dalam makalah berjudul “Inference-Time Hyper-Scaling with KV Cache Compression.” Evaluasi dilakukan menggunakan model Llama dan Qwen.