ทีเทอร์เปิดตัวเฟรมเวิร์ก BitNet LoRA ข้ามแพลตฟอร์มสำหรับการฝึกโมเดลพารามิเตอร์พันล้านบนอุปกรณ์ผู้บริโภค

PANews วันที่ 21 มีนาคม รายงานว่า ตามประกาศอย่างเป็นทางการ Tether ได้เปิดตัวกรอบการปรับแต่ง LoRA แบบข้ามแพลตฟอร์ม BitNet ใน QVAC Fabric เพื่อเพิ่มประสิทธิภาพการฝึกและแบบจำลองการอนุมานสำหรับ Microsoft BitNet (1-bit LLM) กรอบนี้ลดความต้องการด้านการประมวลผลและหน่วยความจำอย่างมีนัยสำคัญ ทำให้สามารถฝึกและปรับแต่งโมเดลระดับพันล้านพารามิเตอร์ได้บนแล็ปท็อป GPU ระดับผู้บริโภค และสมาร์ทโฟน แนวทางนี้เป็นครั้งแรกที่สามารถปรับแต่งโมเดล BitNet บน GPU แบบมือถือ (รวมถึง Adreno, Mali และ Apple Bionic) โดยผลการทดสอบแสดงว่า โมเดลขนาด 125M พารามิเตอร์สามารถปรับแต่งได้ภายในประมาณ 10 นาที โมเดลขนาด 1B ใช้เวลาประมาณ 1 ชั่วโมง และยังสามารถขยายไปถึงโมเดลขนาด 13B พารามิเตอร์บนสมาร์ทโฟนได้ นอกจากนี้ กรอบนี้ยังรองรับฮาร์ดแวร์แบบไม่สมมาตร เช่น Intel, AMD และ Apple Silicon และเป็นครั้งแรกที่สามารถปรับแต่ง LoRA สำหรับ 1-bit LLM บนอุปกรณ์ที่ไม่ใช่ NVIDIA ในด้านประสิทธิภาพ ความเร็วในการอนุมานของโมเดล BitNet บน GPU มือถือเร็วขึ้น 2 ถึง 11 เท่าเมื่อเทียบกับ CPU และใช้หน่วยความจำกราฟิกน้อยลงสูงสุดประมาณ 77.8% เมื่อเทียบกับโมเดลแบบดั้งเดิม 16-bit Tether ระบุว่า เทคโนโลยีนี้มีศักยภาพในการทำลายการพึ่งพาทรัพยากรการประมวลผลระดับสูงและโครงสร้างพื้นฐานแบบคลาวด์ ส่งเสริมการฝึก AI ให้เป็นแบบกระจายศูนย์และใกล้ตัวผู้ใช้มากขึ้น และสร้างพื้นฐานสำหรับแอปพลิเคชันใหม่ๆ เช่น การเรียนรู้แบบฟีเดอเรชัน