- กรอบงาน BitNet LoRA ของ Tether ช่วยให้สามารถฝึกโมเดลปัญญาประดิษฐ์ผ่านสมาร์ทโฟน GPU และอุปกรณ์ผู้บริโภค
- ระบบลดการใช้หน่วยความจำและเพิ่มประสิทธิภาพ โดยลดความต้องการ VRAM ได้สูงสุดถึง 77.8%
- ผู้ใช้สามารถปรับแต่งโมเดลให้มีพารามิเตอร์สูงสุดถึง 13 พันล้านบนอุปกรณ์มือถือ ขยายขีดความสามารถของ AI ที่ขอบ
Tether ประกาศ กรอบงานปัญญาประดิษฐ์ใหม่ผ่านแพลตฟอร์ม QVAC Fabric ซึ่งช่วยให้สามารถฝึกโมเดล BitNet LoRA ข้ามแพลตฟอร์มบนอุปกรณ์ผู้บริโภค การอัปเดตนี้อนุญาตให้โมเดลที่มีพารามิเตอร์พันล้านทำงานได้บนสมาร์ทโฟนและ GPU ซีอีโอ Paolo Ardoino ได้แบ่งปันการพัฒนานี้ โดยเน้นถึงต้นทุนที่ลดลงและการเข้าถึงเครื่องมือปัญญาประดิษฐ์ที่กว้างขึ้น
การฝึกอบรม AI ข้ามแพลตฟอร์มขยายการเข้าถึง
การอัปเดต QVAC Fabric นำการรองรับข้ามแพลตฟอร์มสำหรับการปรับแต่ง BitNet LoRA มาใช้ ซึ่งช่วยให้โมเดล AI สามารถทำงานได้บนฮาร์ดแวร์และระบบปฏิบัติการที่แตกต่างกัน
ที่เด่นชัด โครงสร้างนี้รองรับ GPU จาก AMD, Intel และ Apple รวมถึงชิปมือถือ นอกจากนี้ยังใช้ backend ของ Vulkan และ Metal เพื่อความเข้ากันได้
ตามที่ Tether ระบุ นี่เป็นครั้งแรกที่ BitNet LoRA ทำงานข้ามอุปกรณ์จำนวนมากเช่นนี้ ผลลัพธ์คือผู้ใช้สามารถฝึกโมเดลบนฮาร์ดแวร์ทั่วไป
การเพิ่มประสิทธิภาพบนฮาร์ดแวร์ผู้บริโภค
ระบบลดความต้องการหน่วยความจำและการประมวลผลโดยการรวมเทคนิค BitNet และ LoRA โดย BitNet บีบอัดน้ำหนักโมเดลให้เป็นค่าที่เรียบง่ายกว่า ในขณะที่ LoRA จำกัดพารามิเตอร์ที่สามารถฝึกได้
วิธีการเหล่านี้ร่วมกัน ลดข้อกำหนดฮาร์ดแวร์ อย่างมีนัยสำคัญ ตัวอย่างเช่น การประมวลผลด้วย GPU เร็วขึ้นสองถึงสิบเอ็ดเท่าเมื่อเปรียบเทียบกับ CPU บนอุปกรณ์มือถือ
นอกจากนี้ การใช้งานหน่วยความจำลดลงอย่างมากเมื่อเปรียบเทียบกับโมเดลความแม่นยำเต็มรูปแบบ การทดสอบแสดงให้เห็นว่าใช้ VRAM น้อยลงสูงสุดถึง 77.8% เมื่อเทียบกับระบบอื่นๆ ที่เทียบเคียงได้
Tether ยังแสดงให้เห็นถึงการปรับแต่งอย่างละเอียดบนสมาร์ทโฟน การทดสอบแสดงให้เห็นว่าโมเดลที่มีพารามิเตอร์ 125 ล้านค่าสามารถฝึกฝนได้ในไม่กี่นาทีบนอุปกรณ์เช่น Samsung S25
อุปกรณ์มือถือและขอบจัดการโมเดลขนาดใหญ่ขึ้น
กรอบงานนี้ช่วยให้โมเดลขนาดใหญ่สามารถทำงานได้บนอุปกรณ์ขอบ Tether รายงานว่าสามารถปรับแต่งโมเดลที่มีพารามิเตอร์สูงถึง 13 พันล้านพารามิเตอร์บน iPhone 16 ได้สำเร็จ
นอกจากนี้ ระบบยังรองรับ GPU สำหรับมือถือ เช่น Adreno, Mali และ Apple Bionic ซึ่งขยายขอบเขตการพัฒนา AI ให้กว้างขวางกว่าฮาร์ดแวร์เฉพาะทาง
ตามที่ Paolo Ardoino กล่าว การพัฒนาปัญญาประดิษฐ์มักขึ้นอยู่กับโครงสร้างพื้นฐานที่มีต้นทุนสูง เขาระบุว่ากรอบงานนี้เปลี่ยนความสามารถไปสู่อุปกรณ์ท้องถิ่น
Tether ระบุว่าระบบลดการพึ่งพาแพลตฟอร์มแบบศูนย์กลาง นอกจากนี้ยังช่วยให้ผู้ใช้สามารถฝึกฝนและประมวลผลข้อมูลได้โดยตรงบนอุปกรณ์ของตนเอง