- Khung BitNet LoRA của Tether cho phép huấn luyện mô hình AI trên điện thoại thông minh, GPU và các thiết bị tiêu dùng.
- Hệ thống giảm việc sử dụng bộ nhớ và tăng hiệu suất, với yêu cầu VRAM thấp hơn tới 77,8%.
- Người dùng có thể tinh chỉnh các mô hình lên đến 13 tỷ tham số trên các thiết bị di động, mở rộng khả năng AI biên.
Tether đã công bố một khung AI mới thông qua nền tảng QVAC Fabric, cho phép huấn luyện BitNet LoRA đa nền tảng trên các thiết bị người dùng. Bản cập nhật này cho phép các mô hình hàng tỷ tham số chạy trên điện thoại thông minh và GPU. CEO Paolo Ardoino đã chia sẻ về phát triển này, nhấn mạnh vào việc giảm chi phí và mở rộng khả năng tiếp cận các công cụ AI.
Đào tạo AI đa nền tảng mở rộng khả năng tiếp cận
Cập nhật QVAC Fabric giới thiệu hỗ trợ đa nền tảng cho việc tinh chỉnh BitNet LoRA. Điều này cho phép các mô hình AI chạy trên nhiều phần cứng và hệ điều hành khác nhau.
Đáng chú ý, khung này hỗ trợ GPU từ AMD, Intel và Apple, bao gồm cả các bộ vi xử lý di động. Nó cũng sử dụng các backend Vulkan và Metal để đảm bảo tương thích.
Theo Tether, đây là lần đầu tiên BitNet LoRA hoạt động trên một phạm vi thiết bị rộng lớn như vậy. Kết quả là, người dùng có thể huấn luyện các mô hình trên phần cứng hàng ngày.
Tăng hiệu suất trên phần cứng người dùng
Hệ thống giảm nhu cầu bộ nhớ và tính toán bằng cách kết hợp các kỹ thuật BitNet và LoRA. BitNet nén trọng số mô hình thành các giá trị đơn giản hóa, trong khi LoRA giới hạn số tham số có thể huấn luyện.
Cùng nhau, các phương pháp này giảm đáng kể yêu cầu phần cứng. Ví dụ: suy luận GPU nhanh gấp hai đến mười một lần so với CPU trên các thiết bị di động.
Ngoài ra, mức sử dụng bộ nhớ giảm mạnh so với các mô hình độ chính xác đầy đủ. Các bài kiểm tra cho thấy giảm tới 77,8% lượng VRAM so với các hệ thống tương đương.
Tether cũng đã chứng minh việc tinh chỉnh trên điện thoại thông minh. Các bài kiểm tra cho thấy các mô hình 125 triệu tham số được huấn luyện trong vài phút trên các thiết bị như Samsung S25.
Thiết bị di động và cạnh xử lý các mô hình lớn hơn
Khung này cho phép các mô hình lớn hơn chạy trên các thiết bị biên. Tether báo cáo đã tinh chỉnh thành công các mô hình lên đến 13 tỷ tham số trên iPhone 16.
Hơn nữa, hệ thống hỗ trợ các GPU di động như Adreno, Mali và Apple Bionic. Điều này mở rộng phát triển AI ra ngoài phần cứng chuyên dụng.
Theo Paolo Ardoino, việc phát triển AI thường phụ thuộc vào cơ sở hạ tầng đắt tiền. Ông cho biết khung này chuyển dịch khả năng sang các thiết bị cục bộ.
Tether cho biết hệ thống này giảm sự phụ thuộc vào các nền tảng tập trung. Nó cũng cho phép người dùng huấn luyện và xử lý dữ liệu trực tiếp trên thiết bị của họ.