PrismML mở nguồn mô hình tạo hình ảnh 0,93GB Bonsai4B để sử dụng trên thiết bị

ME AI tin tức, theo giám sát của Beating, mô hình tạo ảnh đầu cuối mở nguồn PrismML Bonsai Image 4B có thể thực hiện suy luận khuếch tán trực tiếp trên các thiết bị cục bộ như laptop và điện thoại. Bonsai Image 4B bao gồm hai phiên bản nén cực kỳ tối giản: 1-bit và Ternary (ba giá trị), với kích thước Transformer khuếch tán cốt lõi chỉ là 0,93 GB và 1,21 GB; kích thước gói triển khai đầy đủ trên thiết bị Apple Silicon lần lượt là 3,42 GB và 3,88 GB, đồng thời đi kèm ứng dụng iOS Bonsai Studio để tạo ảnh ngoại tuyến tại đầu cuối. Trong đó, phiên bản 1-bit được thiết kế đặc biệt cho phần cứng bộ nhớ thấp, giảm kích thước Transformer khuếch tán từ 7,75 GB FLUX.2 Klein 4B xuống còn 0,93 GB, nhỏ hơn 8,3 lần so với phiên bản độ chính xác đầy đủ. Phiên bản Ternary có kích thước Transformer cốt lõi là 1,21 GB, nhỏ hơn 6,4 lần so với phiên bản độ chính xác đầy đủ, nhưng sử dụng trọng số ba giá trị {-1, 0, +1} trong quá lượng tử hóa để tăng tính linh hoạt biểu đạt, từ đó cải thiện chất lượng hình ảnh và độ trung thực với hướng dẫn trong khi vẫn duy trì dung lượng lưu trữ thấp. Theo đánh giá, sau khi nén mạnh mẽ, Bonsai Image 4B vẫn có thể cạnh tranh với các mô hình tạo ảnh phổ biến có số tham số lớn hơn nhiều về các chỉ số như bố cục đối tượng, sở thích của con người, tiêu chí thẩm mỹ và khả năng tuân thủ hướng dẫn phức tạp. Hai phiên bản 1-bit và Ternary lần lượt giữ lại 88% và 95% hiệu suất của mô hình độ chính xác đầy đủ. Ứng dụng di động Bonsai Studio đi kèm cho phép người dùng tạo ảnh hoàn toàn ngoại tuyến trên iPhone, quá trình chạy hoàn toàn diễn ra tại địa phương, không yêu cầu đăng ký và không gửi yêu cầu API nào lên đám mây. PrismML hiện đã phát hành hai phiên bản 1-bit và Ternary dưới giấy phép mã nguồn mở Apache 2.0. (Nguồn: BlockBeats)