PrismML ra mắt mô hình Ternary Bonsai 1,58-bit với ít hơn 9 lần tham số và trí tuệ cao hơn

Theo tin tức từ ME News, vào ngày 17 tháng 4 (UTC+8), theo giám sát của Beating, PrismML đã ra mắt chuỗi mô hình ngôn ngữ Ternary Bonsai, sử dụng công nghệ 1,58 bit (trọng số ternary), giảm dung lượng VRAM xuống chỉ bằng một phần chín so với mô hình 16 bit mà vẫn duy trì hiệu năng cao. Chuỗi này bao gồm ba quy mô tham số: 8B, 4B và 1,7B, hiện đã được mở nguồn trên Hugging Face và hỗ trợ chạy native trên thiết bị Apple. Mô hình 1,58 bit đề cập đến việc giới hạn trọng số trong mạng nơ-ron ở ba giá trị {-1, 0, +1}. So với các mô hình 1 bit trước đây nhằm tối ưu nén (trọng số chỉ gồm {-1, +1}), việc bổ sung giá trị “0” giúp loại bỏ hiệu quả các kết nối dư thừa, cho phép mô hình duy trì khả năng suy luận phức tạp dù kích thước cực nhỏ. Trọng số của Ternary Bonsai 8B mới ra mắt chỉ nặng 1,75 GB và đạt điểm trung bình benchmark 75,5, cao hơn 5 điểm so với phiên bản 1 bit của chính nó và vượt trội đáng kể về “mật độ thông minh” (hiệu năng trên mỗi GB VRAM) so với các mô hình dày đặc cùng loại như Qwen3. Hiệu suất năng lượng và tốc độ chạy là những lợi thế cốt lõi khác của chuỗi này. Trên iPhone 17 Pro Max, phiên bản 8B đạt tốc độ 27 tok/s và cải thiện hiệu suất năng lượng khoảng 3 đến 4 lần. Điều này có nghĩa là các nhà phát triển muốn triển khai AI hiệu năng cao trên thiết bị đầu cuối như điện thoại hoặc laptop có thể đạt được biểu hiện trí tuệ gần như mô hình độ chính xác đầy đủ với chi phí bộ nhớ cực kỳ nhỏ. Hiện tại, mô hình Ternary Bonsai đã được hỗ trợ native trên thiết bị Apple thông qua khung MLX. Trọng số mô hình được phân phối theo giấy phép Apache 2.0. (Nguồn: BlockBeats)