Odaily Planet Daily báo cáo, theo thông báo chính thức, Tether công bố triển khai khung tinh chỉnh BitNet LoRA trên nền tảng QVAC Fabric, nhằm tối ưu hóa việc huấn luyện và suy luận cho Microsoft BitNet (1-bit LLM). Khung này làm giảm đáng kể nhu cầu về sức mạnh tính toán và bộ nhớ, cho phép huấn luyện và tinh chỉnh các mô hình có hàng tỷ tham số trên laptop, GPU tiêu dùng và điện thoại thông minh.
Đây là lần đầu tiên mô hình BitNet được tinh chỉnh trên GPU di động (bao gồm Adreno, Mali và Apple Bionic). Kết quả kiểm tra cho thấy mô hình 125M tham số có thể hoàn thành tinh chỉnh trong khoảng 10 phút, mô hình 1B trong khoảng 1 giờ, và thậm chí có thể mở rộng lên mô hình 13B tham số trên điện thoại.
Ngoài ra, khung này hỗ trợ các phần cứng dị cấu như Intel, AMD và Apple Silicon, đồng thời lần đầu tiên thực hiện tinh chỉnh LoRA 1-bit cho LLM trên các thiết bị không phải NVIDIA. Về hiệu năng, mô hình BitNet tăng tốc độ suy luận lên 2 đến 11 lần trên GPU di động so với CPU, đồng thời giảm tối đa khoảng 77,8% dung lượng bộ nhớ đồ họa so với các mô hình 16-bit truyền thống.
Tether cho biết, công nghệ này có tiềm năng phá vỡ sự phụ thuộc vào năng lực tính toán cao cấp và cơ sở hạ tầng đám mây, thúc đẩy việc huấn luyện AI hướng đến tính phi tập trung và địa phương hóa, đồng thời cung cấp nền tảng cho các ứng dụng mới như học liên kết.