Ang AI Research Group ng Tether ay nag-open source ng production-ready na implementasyon ng TurboQuant, ang Google Research algorithm na disenyo upang malaki ang pagbawas sa mga pangangailangan sa memorya ng AI, ayon sa isang press release noong Lunes.
Ang teknolohiya ay ngayon bahagi ng QVAC Fabric, lokal na AI engine ni Tether, at kasama ang isang kompletong quantization pipeline, mga integrasyon sa framework, dokumentasyon, at deployment profiles para sa mga real-world use cases.
Ang paglabas ay nakatuon sa pagkain ng memorya, isa sa mga pinakamalaking hadlang sa pagpapatakbo ng advanced na AI sa lokal na mga device. Habang proseso ng AI assistant ang mas mahabang pakikipag-usap, mas malalaking file, at mas kumplikadong mga gawain, lumalawak ang kanilang KV cache at maaaring magrequire ng malaking mga yunit ng hardware.
Ayon sa mga siyentipiko, binabawasan ng TurboQuant ang mga pangangailangan sa memorya hanggang 5x habang pinapanatili ang performans ng model, na nagiging mas madaling panaig ang mga kakayahang AI sa mga laptop, telepono, consumer GPUs, at edge devices.
Ipinakita ng pananaliksik ng Google na ang AI memory ay maaaring i-compress nang mas epektibo kaysa sa inakala ng karamihan. Ang aming trabaho ay dinala ang breakthrough na ito sa production software na maaaring gamitin ng mga developer, startups, at mga user,” komento ni Tether CEO Paolo Ardoino sa paglabas.
Ayon kay Ardoino, dapat makapag-proseso ang mga tool ng AI sa mga mahabang dokumento, panatilihin ang konteksto ng proyekto, suportahan ang pag-unlad ng software, at gumana sa lokal na private data替代 sa pagrere-route ng bawat gawain sa cloud infrastructure. Sabi niya, tumutulong ang TurboQuant na gawing posible iyon sa pamamagitan ng pagbibigay ng mas malaking kapasidad sa memorya at contextual awareness sa mga lokal na AI system.
“Kung ang AI na may malawak na konteksto ay nagtatrabaho lamang sa loob ng mga pinakamalaking data center, tatahánan ng AI ang sinumang may pinakamaraming hardware,” dagdag niya.
Paniniwala ni Tether na ang teknolohiya ay makakatulong na ilipat ang higit pang AI workloads mula sa sentralisadong cloud services sa pamamagitan ng pagpapalawak ng mga context window at pagpapabuti ng performance sa lokal na hardware.
Kasama sa QVAC SDK 0.12.0, suporta ng paglabas ang layunin ng kumpanya na bumuo ng mga sistema ng AI na gumagana nang mas malapit sa mga user sa pamamagitan ng mga personal na device, lokal na network, at decentralizadong infrastraktura.