Kumpulan Penyelidikan AI Tether telah membuka sumber pelaksanaan siap produksi TurboQuant, algoritma Google Research yang direka untuk mengurangkan keperluan memori AI secara ketara, menurut satu pernyataan pers pada hari Isnin.
Teknologi ini kini sebahagian daripada QVAC Fabric, enjin AI tempatan Tether, dan merangkumi saluran kuantisasi lengkap, integrasi kerangka kerja, dokumentasi, dan profil penghantaran untuk kes penggunaan dunia nyata.
Rilisan ini menargetkan penggunaan memori, salah satu halangan terbesar dalam menjalankan AI canggih pada peranti tempatan. Semasa pembantu AI memproses perbualan yang lebih panjang, fail yang lebih besar, dan tugas yang lebih kompleks, cache KV mereka membesar dan boleh memerlukan sumber peranti keras yang besar.
Menurut penyelidik, TurboQuant mengurangkan permintaan memori sebanyak hingga 5x sambil mengekalkan prestasi model, menjadikannya lebih mudah untuk menjalankan sistem AI yang cekap pada laptop, telefon, GPU pengguna, dan peranti tepi.
“Penyelidikan Google menunjukkan bahawa memori AI boleh dimampatkan dengan lebih cekap berbanding kebanyakan orang sangka. Kerja kami membawa terobosan ini ke perisian pengeluaran yang boleh dibina oleh pembangun, permulaan, dan pengguna,” kata CEO Tether, Paolo Ardoino, mengenai pelancaran tersebut.
Menurut Ardoino, alat AI seharusnya mampu memproses dokumen panjang, mengekalkan konteks projek, menyokong pembangunan perisian, dan bekerja dengan data peribadi secara tempatan daripada menghantar setiap tugas melalui infrastruktur awan. Beliau berkata TurboQuant membantu menjadikan ini mungkin dengan memberikan kapasiti ingatan yang lebih besar dan kesedaran konteks kepada sistem AI tempatan.
“Jika AI konteks panjang hanya berfungsi di dalam pusat data terbesar, maka AI akan dibentuk oleh pihak yang memiliki peralatan paling banyak. TurboQuant mengubah apa yang boleh dilakukan oleh AI tempatan dengan menjadikan memori kurang menjadi dinding,” tambahnya.
Tether percaya bahawa teknologi ini boleh membantu mengalihkan lebih banyak beban kerja AI daripada perkhidmatan awan terpusat dengan membolehkan tetingkap konteks yang lebih panjang dan peningkatan prestasi pada peralatan tempatan.
Termasuk dalam QVAC SDK 0.12.0, rilis ini menyokong matlamat syarikat untuk membina sistem AI yang beroperasi lebih dekat dengan pengguna melalui peranti peribadi, rangkaian tempatan, dan infrastruktur terdesentralisasi.