Odaily Planet Daily รายงานว่า ตามประกาศอย่างเป็นทางการ Tether ได้เปิดตัวกรอบการปรับแต่งแบบข้ามแพลตฟอร์ม BitNet LoRA ใน QVAC Fabric เพื่อเพิ่มประสิทธิภาพการฝึกฝนและการอนุมานสำหรับ Microsoft BitNet (1-bit LLM) กรอบนี้ช่วยลดความต้องการด้านการประมวลผลและหน่วยความจำอย่างมีนัยสำคัญ ทำให้โมเดลขนาดพันล้านพารามิเตอร์สามารถฝึกฝนและปรับแต่งได้บนแล็ปท็อป GPU ระดับผู้บริโภค และสมาร์ทโฟน
โครงการนี้เป็นครั้งแรกที่สามารถปรับแต่งโมเดล BitNet บน GPU สำหรับอุปกรณ์พกพา (รวมถึง Adreno, Mali และ Apple Bionic) โดยผลการทดสอบแสดงว่า โมเดลขนาด 125M พารามิเตอร์สามารถปรับแต่งได้ภายในประมาณ 10 นาที โมเดลขนาด 1B พารามิเตอร์ใช้เวลาประมาณ 1 ชั่วโมง และยังสามารถขยายไปถึงโมเดลขนาด 13B พารามิเตอร์ได้บนโทรศัพท์มือถือ
นอกจากนี้ โครงสร้างนี้รองรับฮาร์ดแวร์แบบฮิบริด เช่น Intel, AMD และ Apple Silicon และเป็นครั้งแรกที่สามารถปรับแต่ง 1-bit LLM LoRA บนอุปกรณ์ที่ไม่ใช่ NVIDIA ในด้านประสิทธิภาพ โมเดล BitNet มีความเร็วในการประมวลผลบน GPU สำหรับอุปกรณ์พกพาเร็วขึ้น 2 ถึง 11 เท่าเมื่อเทียบกับ CPU และลดการใช้หน่วยความจำกราฟิกสูงสุดประมาณ 77.8% เมื่อเปรียบเทียบกับโมเดลแบบดั้งเดิม 16-bit
Tether ระบุว่า เทคโนโลยีนี้มีศักยภาพในการลดการพึ่งพาพลังการประมวลผลระดับสูงและโครงสร้างพื้นฐานแบบคลาวด์ ผลักดันการฝึกอบรม AI ให้เป็นแบบกระจายศูนย์และใกล้ตัวผู้ใช้มากขึ้น พร้อมเป็นรากฐานสำหรับแอปพลิเคชันใหม่ๆ เช่น การเรียนรู้แบบฟีเดอเรชัน