ทีเทอร์เปิดตัว TurboQuant เพื่อให้สามารถใช้งานโมเดลปัญญาประดิษฐ์ขนาดใหญ่ขึ้นบนอุปกรณ์

• Tether’s TurboQuant ลดการใช้หน่วยความจำของ AI ได้สูงสุดถึง 5 เท่า ช่วยให้อุปกรณ์สามารถจัดการงานที่ยาวนานขึ้นได้แบบออฟไลน์
• QVAC 0.12.0 ช่วยให้นักพัฒนาสามารถรันงาน AI ขนาดใหญ่บนแล็ปท็อปและโทรศัพท์มือถือโดยลดภาระหน่วยความจำ
• TurboQuant แก้ไขข้อจำกัดด้านหน่วยความจำของ AI ทำให้สามารถพูดคุยได้นานขึ้น จัดการไฟล์ขนาดใหญ่ขึ้น และโครงการโค้ดที่ใหญ่ขึ้น

Tether ได้เพิ่มเครื่องมือปรับปรุงหน่วยความจำใหม่ลงใน QVAC SDK 0.12.0 ซึ่งอาจช่วยให้อุปกรณ์เช่นแล็ปท็อป สมาร์ทโฟน และอุปกรณ์อื่นๆ จัดการภาระงานที่ใหญ่ขึ้นได้ในท้องถิ่น โดยซีอีโอ Paolo Ardoino ได้ประกาศอัปเดตนี้บน X ว่า เวอร์ชันนี้รวมถึง TurboQuant เทคโนโลยีที่ลดความต้องการหน่วยความจำของ AI ได้สูงสุดห้าเท่า ในขณะที่ยังคงคุณภาพของผลลัพธ์ใกล้เคียงกัน

การอัปเดตนี้มุ่งเน้นที่ข้อจำกัดสำคัญสำหรับโมเดลภาษาขนาดใหญ่: หน่วยความจำ เมื่อการสนทนาและงานต่างๆ ยาวขึ้น ความต้องการหน่วยความจำจะเพิ่มขึ้นอย่างรวดเร็ว TurboQuant ช่วยลดภาระนี้ ทำให้อุปกรณ์สามารถทำงานกับเอกสารขนาดใหญ่ การสนทนาที่ยาวนาน และข้อมูลจำนวนมากได้พร้อมกัน

การเปิดตัวครั้งนี้ยังเพิ่มฟีเจอร์การสร้างวิดีโอจากข้อความ ฟีเจอร์การควบคุมหุ่นยนต์ การสนับสนุนผู้ช่วยเขียนโค้ด การอัปเกรดการประมวลผลเสียง และเครื่องมือจำแนกรูปภาพที่เร็วขึ้น

TurboQuant อยู่ตรงใจกลางของการเปิดตัว QVAC SDK เวอร์ชัน 0.12.0 เทคโนโลยีนี้บีบอัด KV cache ซึ่งเป็นประเภทของหน่วยความจำชั่วคราวที่โมเดล AI ใช้ในการติดตามการสนทนา เอกสาร และข้อมูลอื่นๆ ระหว่างเซสชัน

ความต้องการหน่วยความจำเพิ่มขึ้นเมื่อผู้ใช้ป้อนข้อมูลจำนวนมากเข้าไปในโมเดล Tether ระบุว่า โมเดลที่มีพารามิเตอร์ 4 พันล้านตัวที่ประมวลผลประมาณ 262,000 โทเค็น อาจต้องใช้หน่วยความจำประมาณ 8 GB เฉพาะสำหรับแคชเท่านั้น การรันเซสชันหลายเซสชันในระดับนี้สามารถเกินขีดจำกัดของแล็ปท็อปและอุปกรณ์ผู้บริโภคหลายรายการได้อย่างรวดเร็ว

TurboQuant มีเป้าหมายเพื่อลดแรงกดดันนั้น ตามที่ Tether ระบุ เทคโนโลยีนี้สามารถลดความต้องการหน่วยความจำ KV cache ได้สูงสุดถึงห้าเท่า ในขณะที่รักษาคุณภาพของผลลัพธ์ให้ใกล้เคียงเดิม ผลลัพธ์คือผู้ใช้สามารถทำงานกับการสนทนาที่ยาวขึ้น เอกสารขนาดใหญ่ขึ้น และฐานโค้ดที่ใหญ่ขึ้น โดยไม่ต้องพึ่งพาทรัพยากรการคำนวณระยะไกลมากนัก

การอัปเดตครั้งนี้รวมถึงการปรับปรุงที่เกินกว่าหน่วยความจำเท่านั้น QVAC SDK 0.12.0 เพิ่มเครื่องมือใหม่หลายตัวที่มุ่งขยายสิ่งที่นักพัฒนาสามารถรันบนอุปกรณ์ท้องถิ่น

ในจำนวนการเพิ่มเติมเหล่านี้ ได้แก่ การรองรับการสร้างวิดีโอจากข้อความผ่านโมเดล Wan2.1 แพลตฟอร์มยังเปิดตัวคุณสมบัติการมองเห็น-ภาษา-การกระทำ ที่ช่วยให้นักพัฒนาสามารถสร้างแอปพลิเคชันสำหรับการควบคุมหุ่นยนต์

การเปิดตัวครั้งนี้ยังเพิ่มเครื่องมือจำแนกรูปภาพแบบเบา ซึ่งออกแบบมาสำหรับงานที่ไม่ต้องใช้โมเดลการมองเห็นขนาดใหญ่ ในขณะเดียวกัน QVAC ได้ย้ายระบบแปลงข้อความเป็นเสียงและการถอดเสียงของตนไปยังเครื่องมือ GGML ซึ่งเป็นการเปลี่ยนแปลงที่ขยายการรองรับไปยังระบบปฏิบัติการเดสก์ท็อปและมือถือหลักๆ

นักพัฒนายังได้รับตัวเลือกใหม่สำหรับผู้ช่วยการเขียนโค้ด QVAC ตอนนี้ผสานรวมกับ OpenCode และ OpenClaw ผ่านแพ็กเกจผู้ให้บริการที่ช่วยให้การจัดการและการปรับใช้โมเดลง่ายขึ้น

ที่เกี่ยวข้อง: ผู้ร่วมก่อตั้ง Multicoin ประกาศว่า ‘Web3 ตายแล้ว’ amidst วิกฤตการณ์ตัวตนของคริปโต

การเปิดตัว แสดงให้เห็นถึงความมุ่งมั่นของ Tether ในการรันงานประมวลผลจำนวนมากบนอุปกรณ์ของผู้ใช้โดยตรง แทนที่จะพึ่งพาศูนย์ข้อมูลแบบรวมศูนย์ทั้งหมด บริษัทได้เน้นพัฒนาซอฟต์แวร์ที่สามารถทำงานข้ามอุปกรณ์ส่วนบุคคล เครือข่ายท้องถิ่น และระบบแบบกระจายอำนาจ

“การวิจัยของ Google แสดงให้เห็นว่าหน่วยความจำของ AI สามารถบีบอัดได้อย่างมีประสิทธิภาพมากกว่าที่ผู้คนส่วนใหญ่คิดไว้ งานของเราได้นำนวัตกรรมนี้มาใช้ในซอฟต์แวร์สำหรับการผลิต ซึ่งนักพัฒนา สตาร์ทอัพ และผู้ใช้สามารถสร้างได้จริง” อาร์ดอิโน่กล่าว

เขากล่าวเพิ่มเติมว่า “ผู้คนควรสามารถขอให้ผู้ช่วย AI อ่านเอกสารที่ยาวมาก จดจำโครงการ ช่วยเหลือเกี่ยวกับโค้ด หรือจัดการข้อมูลส่วนตัว โดยไม่ต้องบังคับให้ทุกงานผ่านศูนย์ข้อมูลระยะไกล”

การเปิดตัวครั้งนี้เกิดขึ้นในขณะที่ Tether ขยายความพยายามของตนออกไปนอกเหนือจากเครื่องมือการปรับปรุงหน่วยความจำ อาร์โดอิโนเพิ่งเปิดเผยว่าบริษัทกำลังพัฒนาเครื่องมือค้นหาแบบเพียร์ทูเพียร์แบบโอเพ่นซอร์ส และได้แสดงตัวอย่างระบบค้นหา Wikipedia แบบกระจายศูนย์

ที่เกี่ยวข้อง: Michael Burry เรียกการซื้อ GPU มูลค่า 5.4 พันล้านดอลลาร์ของ Nvidia ว่าเป็น ‘Fugazi’