Tether Melancarkan TurboQuant untuk Membolehkan Model AI yang Lebih Besar pada Peranti

• TurboQuant Tether mengurangkan penggunaan memori AI sehingga 5x, membantu peranti menangani tugas yang lebih panjang secara tempatan.
• QVAC 0.12.0 membenarkan pembangun menjalankan beban AI yang lebih besar di laptop dan telefon dengan beban memori yang kurang.
• TurboQuant mengatasi bottleneck memori AI, membolehkan perbualan yang lebih panjang, fail yang lebih besar, dan projek kod yang lebih besar.

Tether telah menambahkan alat pengoptimuman memori baharu ke dalam QVAC SDK 0.12.0, langkah yang boleh membantu laptop, telefon pintar, dan peranti lain menangani beban kerja yang lebih besar secara tempatan. Dalam pengumuman pembaruan di X, CEO Paolo Ardoino mengatakan rilis ini termasuk TurboQuant, teknologi yang mengurangkan keperluan memori AI sehingga lima kali ganda sambil mengekalkan kualiti output yang hampir sama.

Kemas kini ini berfokus pada satu batasan utama untuk model bahasa besar: memori. Semakin panjang percakapan dan tugas, semakin tinggi permintaan memori. TurboQuant mengurangkan beban ini, membolehkan peranti berfungsi dengan dokumen yang lebih besar, percakapan yang lebih panjang, dan lebih banyak maklumat pada masa yang sama.

Rilisan ini juga menambahkan generasi teks-ke-video, ciri kawalan robot, sokongan pembantu pengaturcaraan, peningkatan pemprosesan suara, dan alat pengelasan imej yang lebih pantas.

TurboQuant berada di pusat rilis QVAC SDK 0.12.0. Teknologi ini memampatkan cache KV, sejenis memori kerja yang digunakan model AI untuk mengikuti perbincangan, dokumen, dan maklumat lain semasa sesi.

Permintaan memori meningkat apabila pengguna memasukkan lebih banyak maklumat ke dalam model. Tether mengatakan model dengan 4 bilion parameter yang memproses sekitar 262,000 token boleh memerlukan kira-kira 8 GB memori semata-mata untuk cache. Menjalankan beberapa sesi pada skala itu boleh dengan cepat melebihi had banyak laptop dan peranti pengguna.

TurboQuant bertujuan untuk mengurangkan tekanan tersebut. Menurut Tether, teknologi ini boleh mengurangkan keperluan memori KV cache sehingga lima kali ganda sambil mengekalkan kualiti output yang hampir sama. Akibatnya, pengguna boleh bekerja dengan perbualan yang lebih panjang, dokumen yang lebih besar, dan pangkalan kod yang lebih besar tanpa bergantung sebanyak sebelumnya pada sumber pengkomputeran jauh.

Kemas kini ini termasuk lebih daripada peningkatan memori. QVAC SDK 0.12.0 menambahkan beberapa alat baru yang bertujuan untuk memperluas apa yang boleh dijalankan oleh pembangun pada peranti tempatan.

Di antara tambahan tersebut ialah sokongan untuk penghasilan teks-ke-video melalui model Wan2.1. Platfom ini juga memperkenalkan ciri vision-language-action yang membolehkan pembangun membina aplikasi untuk kawalan robotik.

Rilisan ini juga menambahkan alat pengklasifikasi gambar ringan yang dirancang untuk tugas-tugas yang tidak memerlukan model penglihatan yang lebih besar. Pada masa yang sama, QVAC memindahkan sistem teks-ke-suara dan transkripsi ke mesin GGML-nya, sebuah perubahan yang memperluas dukungan di seluruh sistem operasi desktop dan seluler utama.

Pembangun juga mendapat pilihan baharu untuk pembantu pengkodean. QVAC kini berintegrasi dengan OpenCode dan OpenClaw melalui pakej penyedia yang mempermudah pengurusan dan pelaksanaan model.

Terkait: Pendiri Multicoin Nyatakan ‘Web3 Mati’ Semasa Krisis Identiti Kripto

pelancaran menunjukkan fokus Tether pada menjalankan lebih banyak tugas pengkomputeran secara langsung pada peranti pengguna berbanding bergantung sepenuhnya pada pusat data terpusat. Syarikat ini semakin memfokuskan diri pada perisian yang boleh beroperasi merentas peranti peribadi, rangkaian tempatan, dan sistem terdesentralisasi.

“Penyelidikan Google menunjukkan bahawa ingatan AI boleh dimampatkan dengan jauh lebih cekap daripada yang kebanyakan orang anggap. Kerja kami membawa terobosan ini ke perisian pengeluaran yang boleh dibina oleh pembangun, permulaan, dan pengguna,” kata Ardoino.

Dia menambah, “Orang seharusnya mampu meminta asisten AI untuk membaca dokumen panjang, mengingat satu projek, membantu dengan kod, atau bekerja melalui maklumat peribadi tanpa setiap tugas dipaksa melalui pusat data jauh.”

Pelancaran ini berlaku semasa Tether memperluaskan usahanya selain daripada alat pengoptimuman memori. Ardoino baru-baru ini mengungkapkan bahawa syarikat tersebut sedang membangunkan enjin carian peer-to-peer sumber terbuka dan berkongsi demonstrasi sistem carian Wikipedia terdesentralisasi.

Terkait: Michael Burry Menyebut Perjanjian GPU $5.4B Nvidia Sebagai ‘Fugazi’