Tether ra mắt khung BitNet LoRA đa nền tảng để đào tạo mô hình hàng tỷ tham số trên các thiết bị người dùng tiêu dùng

PANews ngày 21 tháng 3 thông báo, theo thông báo chính thức, Tether đã ra mắt khung tinh chỉnh LoRA chéo nền tảng trong QVAC Fabric, nhằm tối ưu hóa việc huấn luyện và suy luận cho Microsoft BitNet (1-bit LLM). Khung này làm giảm đáng kể nhu cầu về sức mạnh tính toán và bộ nhớ, cho phép các mô hình có hàng tỷ tham số được huấn luyện và tinh chỉnh trên laptop, GPU tiêu dùng và điện thoại thông minh. Đây là giải pháp đầu tiên cho phép tinh chỉnh mô hình BitNet trên GPU di động (bao gồm Adreno, Mali và Apple Bionic). Kết quả kiểm nghiệm cho thấy mô hình 125M tham số có thể được tinh chỉnh trong khoảng 10 phút, mô hình 1B trong khoảng 1 giờ, và thậm chí có thể mở rộng lên mô hình 13B tham số trên điện thoại. Ngoài ra, khung này hỗ trợ các phần cứng dị cấu trúc như Intel, AMD và Apple Silicon, đồng thời là lần đầu tiên thực hiện tinh chỉnh LoRA cho 1-bit LLM trên thiết bị không phải NVIDIA. Về hiệu năng, tốc độ suy luận của mô hình BitNet trên GPU di động nhanh hơn từ 2 đến 11 lần so với CPU, đồng thời giảm tối đa khoảng 77,8% dung lượng bộ nhớ đồ họa so với các mô hình 16-bit truyền thống. Tether cho biết công nghệ này có tiềm năng phá vỡ sự phụ thuộc vào sức mạnh tính toán cao cấp và cơ sở hạ tầng đám mây, thúc đẩy xu hướng huấn luyện AI hướng tới phi tập trung và cục bộ, đồng thời cung cấp nền tảng cho các ứng dụng mới như học liên kết.