กลุ่มวิจัยปัญญาประดิษฐ์ของ Tether ได้เปิดแหล่งที่มาของ implementation ที่พร้อมใช้งานจริงของ TurboQuant ซึ่งเป็นอัลกอริธึมของ Google Research ที่ออกแบบมาเพื่อลดความต้องการหน่วยความจำของปัญญาประดิษฐ์อย่างมาก ตามประกาศอย่างเป็นทางการเมื่อวันจันทร์ press release
เทคโนโลยีนี้เป็นส่วนหนึ่งของ QVAC Fabric เครื่องมือ AI แบบท้องถิ่นของ Tether และรวมถึงกระบวนการควอนตัมที่สมบูรณ์ การผสานรวมกับเฟรมเวิร์ก เอกสาร และโปรไฟล์การปรับใช้สำหรับกรณีการใช้งานจริง
การเปิดตัวครั้งนี้มุ่งเน้นที่การลดการใช้หน่วยความจำ ซึ่งเป็นอุปสรรคใหญ่ที่สุดประการหนึ่งในการรัน AI ขั้นสูงบนอุปกรณ์ส่วนตัว เมื่อผู้ช่วย AI ประมวลผลการสนทนาที่ยาวขึ้น ไฟล์ขนาดใหญ่ขึ้น และงานที่ซับซ้อนมากขึ้น แคช KV จะขยายตัวและอาจต้องใช้ทรัพยากรฮาร์ดแวร์อย่างมาก
ตามการวิจัย TurboQuant ลดความต้องการหน่วยความจำเหล่านั้นได้สูงสุดถึง 5 เท่า โดยยังคงประสิทธิภาพของโมเดลไว้ ทำให้การรันระบบ AI ที่มีความสามารถบนแล็ปท็อป โทรศัพท์มือถือ GPU สำหรับผู้บริโภค และอุปกรณ์ขอบง่ายขึ้น
“การวิจัยของ Google แสดงให้เห็นว่าหน่วยความจำของ AI สามารถบีบอัดได้อย่างมีประสิทธิภาพมากกว่าที่ผู้คนส่วนใหญ่คิดไว้ งานของเราได้นำนวัตกรรมนี้มาสู่ซอฟต์แวร์ที่ใช้งานจริง ซึ่งนักพัฒนา สตาร์ทอัพ และผู้ใช้สามารถสร้างได้จริง” Paolo Ardoino ซีอีโอของ Tether แสดงความเห็นเกี่ยวกับการเปิดตัว
ตามที่อาร์โดอิโนกล่าว เครื่องมือปัญญาประดิษฐ์ควรสามารถประมวลผลเอกสารยาวๆ รักษาบริบทของโครงการ สนับสนุนการพัฒนาซอฟต์แวร์ และทำงานกับข้อมูลส่วนตัวในท้องถิ่นแทนการส่งทุกงานผ่านโครงสร้างพื้นฐานบนคลาวด์ เขาบอกว่า TurboQuant ช่วยทำให้สิ่งนี้เป็นไปได้โดยให้ระบบปัญญาประดิษฐ์ในท้องถิ่นมีความจุหน่วยความจำและระดับความเข้าใจบริบทที่สูงขึ้น
“หาก AI ที่ใช้บริบทยาวนานทำงานได้เฉพาะในศูนย์ข้อมูลขนาดใหญ่ที่สุด แล้ว AI จะถูกกำหนดรูปแบบโดยผู้ที่เป็นเจ้าของฮาร์ดแวร์มากที่สุด TurboQuant เปลี่ยนสิ่งที่ AI แบบท้องถิ่นสามารถทำได้ โดยทำให้หน่วยความจำไม่ใช่อุปสรรคใหญ่อีกต่อไป” เขากล่าวเพิ่มเติม
Tether เชื่อว่าเทคโนโลยีนี้สามารถช่วยเปลี่ยนภาระงาน AI จำนวนมากให้ห่างจากบริการคลาวด์แบบรวมศูนย์ โดยการเปิดใช้งานหน้าต่างบริบทที่ยาวนานขึ้นและประสิทธิภาพที่ดีขึ้นบนฮาร์ดแวร์ท้องถิ่น
รวมอยู่ใน QVAC SDK 0.12.0 การเปิดตัวนี้สนับสนุนเป้าหมายของบริษัทในการสร้างระบบ AI ที่ทำงานใกล้ผู้ใช้ผ่านอุปกรณ์ส่วนบุคคล เครือข่ายท้องถิ่น และโครงสร้างพื้นฐานแบบกระจายศูนย์