Mô hình Laya-MLX có thể chạy trên 1GB bộ nhớ cục bộ, mang lại khả năng ra quyết định nhanh chóng

icon MarsBit
Chia sẻ
AI summary iconTóm tắt
Một thông báo dự án mới cho biết mô hình Laya-MLX hiện có thể chạy trên 1GB bộ nhớ cục bộ, được tối ưu hóa cho khung MLX của Apple. Phiên bản đa ngôn ngữ đạt đỉnh ở 687,6MiB, xử lý 395 câu hỏi mỗi giây trên M3 Max với độ trễ thấp. Bản cập nhật tin tức trên chuỗi này nhấn mạnh hỗ trợ triển khai cục bộ cho các máy Mac Apple Silicon. Dự án mã nguồn mở có sẵn trên GitHub.

Không, Jev mới chỉ nổi được một tuần, vậy mà phiên bản cục bộ dưới 1GB đã ra rồi à???

Một nhà phát triển đã mang phiên bản thay thế mã nguồn mở của Laya nguyên bản lên Apple MLX, tạo ra Laya-MLX—

Phiên bản 421M tham số, mức sử dụng bộ nhớ MLX đỉnh điểm chỉ là 943,6 MiB.

Chuyển sang phiên bản đa ngôn ngữ 322M, nó còn giảm trực tiếp xuống còn 687,6 MiB.

Decision Model

Không cần sử dụng API đám mây, không cần runtime PyTorch và Transformers, mô hình có thể chạy trực tiếp trên Mac.

Mặc dù nhỏ nhưng tốc độ khá nhanh.

Trên M3 Max, Laya-MLX với quyết định ngắn P50 nhanh nhất chỉ mất 7,39 ms; phiên bản 421M cũng chỉ mất 13,42 ms.

Nếu nhét cùng lúc 50 câu hỏi, thông lượng của phiên bản đa ngôn ngữ 322M vẫn có thể đạt tới 395 câu hỏi/giây.

Bản mã nguồn mở Jev

Jev, mọi người chắc đã quen thuộc với anh ấy trong hai ngày qua.

Sự khác biệt lớn nhất so với LLM thông thường là nó loại bỏ hoàn toàn quá trình sinh văn bản tốn nhiều thời gian nhất, không trò chuyện, không viết mã, không viết bài…… mà chỉ tập trung vào một việc duy nhất: đưa ra phán đoán.

(Bert: Ồ? Mình hình như đã nghe thấy nội dung công việc này ở đâu đó rồi?)

Việc thiếu bước tạo từng token khiến tốc độ suy luận tự nhiên bị cách biệt so với các LLM truyền thống.

Chính nhờ cách chơi đơn giản và thô ráp này, Jev đã nhanh chóng trở nên nổi tiếng ngoài cộng đồng.

Decision Model

Ngay sau đó, phiên bản mã nguồn mở thay thế đã ra đời.

Laya, một mô hình ra quyết định System 1 đa ngôn ngữ, không tự hồi quy.

Ý tưởng tương tự Jev, không tốn tài nguyên tính toán để tạo văn bản, mà trực tiếp đưa ra kết quả quyết định cho các vấn đề có cấu trúc, đã đạt hơn 10,4k Star trên GitHub.

Decision Model

Hiện tại, nó chủ yếu làm ba loại công việc:

choice, chọn một trong vài tùy chọn; score, chấm điểm theo tiêu chí đã cho; noul, xác định xác suất một sự việc là True.

Đưa một đoạn state và câu hỏi cần kiểm tra vào cùng nhau, một lần forward sẽ trực tiếp nhận được kết quả.

Laya hiện có ba checkpoint chính.

Bản tiếng Anh dựa trên ModernBERT-large với 421 triệu tham số;

Bản đa ngôn ngữ dựa trên mmBERT-base, chỉ có 322M tham số, hỗ trợ hơn 100 ngôn ngữ;

Ngoài ra, còn có phiên bản 421M dành cho quy trình typed-decisions.

Decision Model

Mô hình chỉ có khoảng ba đến bốn trăm triệu tham số, và tốc độ đã rất nhanh.

Bản gốc của Laya trên Tesla T4, mỗi câu hỏi mất khoảng 33ms; khi xử lý hàng loạt, trung bình có thể đạt 7,2ms/câu hỏi, công suất tối đa của một card lên đến hàng trăm câu hỏi mỗi giây.

Độ trễ của Jev P50 do dự án tham chiếu là 236~276ms, trong khi Laya tự đo được độ trễ cho một câu hỏi là 32,8ms, nhanh khoảng 7~8 lần.

Trong 2.000 lần kiểm tra quyết định của yped-decisions, phiên bản Laya được tinh chỉnh đặc biệt đạt độ chính xác 76,6% (trước đó, thành tích công khai của Jev là 72,7%).

Decision Model

Đã có bản mã nguồn mở, tốc độ cũng không chậm.

Ngay sau đó, có người bắt đầu suy nghĩ liệu có thể nhỏ hơn nữa được không?

Và Laya-MLX đã xuất hiện.

Có thể chạy với 1GB cục bộ

Laya-MLX đang vận hành stack suy luận của Laya.

Các nhà phát triển đã có thể tự triển khai Laya gốc, nhưng chủ yếu chạy trên môi trường PyTorch và Transformers.

mizorewww đã tái hiện toàn bộ kiến trúc mạng thần kinh Laya trên khung Apple MLX, cho phép mô hình chạy native trên Apple Silicon.

Có thể loại bỏ PyTorch và runtime Transformers, đồng thời không cần yêu cầu API trên đám mây.

Và sau khi thay đổi stack suy luận, các kết quả trước đó cũng phải khớp.

Laya-MLX đã xác minh ba checkpoint bằng FP32 và FP16, và trên 63 câu hỏi xác minh, tất cả đều khớp với câu trả lời do Laya gốc lựa chọn.

Ba mô hình, hai độ chính xác, tổng cộng 378/378 lần so sánh đều vượt qua, không xảy ra hiện tượng trôi kết quả suy luận.

Máy thử nghiệm là M3 Max, 40 lõi GPU, 128GB bộ nhớ thống nhất.

Decision Model

Phiên bản 421M khi xử lý một câu hỏi ngắn bằng tiếng Anh, đỉnh allocation MLX là 943,6 MiB; phiên bản 322M đa ngôn ngữ giảm thêm xuống còn 687,6 MiB.

But the speed hasn't slowed down.

Trên cùng một M3 Max, phiên bản 421M xử lý một câu hỏi ngắn với độ trễ P50 là 13,42 ms; phiên bản 322M đa ngôn ngữ là 7,39 ms.

P95 cũng lần lượt chỉ là 13,92 ms và 7,79 ms.

Nếu nhét 50 câu hỏi vào một lần, thông lượng phiên bản đa ngôn ngữ có thể tăng trực tiếp lên 395 câu hỏi/giây.

Decision Model

Hơn nữa, những thời gian này chưa phải là độ trễ thuần của các toán tử cốt lõi trong mô hình.

Thời gian của dự án bao gồm chuẩn bị prompt, tokenization, xây dựng tensor, đồng bộ suy luận, hiệu chuẩn và định dạng kết quả cuối cùng, loại trừ thời gian nạp mô hình.

Nói cách khác, 7,39 ms đo độ trễ đầu đến cuối của một quyết định ngắn từ khi vào đến khi có kết quả.

Laya-MLX có thể đưa ra quyết định khi chơi trò chơi Snake với tốc độ 60 lần mỗi giây.

Mỗi bước thực hiện ở đây đều sẽ gọi Laya một lần để đưa ra quyết định mới dựa trên trạng thái hiện tại, đồng thời lớp bảo vệ chu kỳ bên ngoài sẽ điều chỉnh các hành động nguy hiểm.

Sau khi mở rộng dự án, đã thử nghiệm tối ưu hóa biên dịch và tái sử dụng prefix, chạy liên tục 2400 bước trên cùng một máy M3 Max—

75,40 lần di chuyển/giây, 0 lần tử vong.

Trong suốt quá trình, lớp bảo mật đã can thiệp 2 lần và chỉ điều chỉnh hành động trong một số ít tình huống.

Ba hàng chạy

Những người quan tâm có thể triển khai trực tiếp trên Mac Apple Silicon.

Hiện tại, dự án yêu cầu Python 3.11+ và macOS 14+.

Sau khi cài đặt các phụ thuộc, bạn có thể nhập trực tiếp thư viện để sử dụng và tải checkpoint đã được chuyển đổi:

pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)

Tiếp theo, chỉ cần chuyển state và vấn đề cho agent.predict().

Lần chạy đầu tiên sẽ tự động tải xuống checkpoint, các lần suy luận sau đó có thể hoàn toàn thực hiện tại địa phương.

Decision Model

Of course, there are costs to having small size.

Phiên bản tiếng Anh của 421M chỉ có 512 token;

Phiên bản đa ngôn ngữ 322M và phiên bản typed-decisions 421M chỉ có 1024 token.

1k ngữ cảnh cần đồng thời chứa state, instructions và options, do đó nó phù hợp hơn với các tác vụ ra quyết định có đầu vào ngắn, gọi lặp lại thường xuyên và đầu ra có cấu trúc rõ ràng.

Những điểm yếu vẫn tồn tại, nhưng không ngăn được các chuyên gia mã nguồn mở theo kịp ngay trong đêm, đúng vậy, chúng tôi đã bắt đầu lên kế hoạch cho phiên bản tiếp theo!

Jev: Tôi vừa nổi được một tuần...

Địa chỉ dự án: https://github.com/mizorewww/laya-mlx

Bài viết này đến từ tài khoản chính thức WeChat "Quantum Bit", tác giả: Văn Lạc

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.