Không, Jev mới chỉ nổi được một tuần, vậy mà phiên bản cục bộ dưới 1GB đã ra rồi à???
Một nhà phát triển đã mang phiên bản thay thế mã nguồn mở của Laya nguyên bản lên Apple MLX, tạo ra Laya-MLX—
Phiên bản 421M tham số, mức sử dụng bộ nhớ MLX đỉnh điểm chỉ là 943,6 MiB.
Chuyển sang phiên bản đa ngôn ngữ 322M, nó còn giảm trực tiếp xuống còn 687,6 MiB.

Không cần sử dụng API đám mây, không cần runtime PyTorch và Transformers, mô hình có thể chạy trực tiếp trên Mac.
Mặc dù nhỏ nhưng tốc độ khá nhanh.
Trên M3 Max, Laya-MLX với quyết định ngắn P50 nhanh nhất chỉ mất 7,39 ms; phiên bản 421M cũng chỉ mất 13,42 ms.
Nếu nhét cùng lúc 50 câu hỏi, thông lượng của phiên bản đa ngôn ngữ 322M vẫn có thể đạt tới 395 câu hỏi/giây.
Bản mã nguồn mở Jev
Jev, mọi người chắc đã quen thuộc với anh ấy trong hai ngày qua.
Sự khác biệt lớn nhất so với LLM thông thường là nó loại bỏ hoàn toàn quá trình sinh văn bản tốn nhiều thời gian nhất, không trò chuyện, không viết mã, không viết bài…… mà chỉ tập trung vào một việc duy nhất: đưa ra phán đoán.
(Bert: Ồ? Mình hình như đã nghe thấy nội dung công việc này ở đâu đó rồi?)
Việc thiếu bước tạo từng token khiến tốc độ suy luận tự nhiên bị cách biệt so với các LLM truyền thống.
Chính nhờ cách chơi đơn giản và thô ráp này, Jev đã nhanh chóng trở nên nổi tiếng ngoài cộng đồng.

Ngay sau đó, phiên bản mã nguồn mở thay thế đã ra đời.
Laya, một mô hình ra quyết định System 1 đa ngôn ngữ, không tự hồi quy.
Ý tưởng tương tự Jev, không tốn tài nguyên tính toán để tạo văn bản, mà trực tiếp đưa ra kết quả quyết định cho các vấn đề có cấu trúc, đã đạt hơn 10,4k Star trên GitHub.

Hiện tại, nó chủ yếu làm ba loại công việc:
choice, chọn một trong vài tùy chọn; score, chấm điểm theo tiêu chí đã cho; noul, xác định xác suất một sự việc là True.
Đưa một đoạn state và câu hỏi cần kiểm tra vào cùng nhau, một lần forward sẽ trực tiếp nhận được kết quả.
Laya hiện có ba checkpoint chính.
Bản tiếng Anh dựa trên ModernBERT-large với 421 triệu tham số;
Bản đa ngôn ngữ dựa trên mmBERT-base, chỉ có 322M tham số, hỗ trợ hơn 100 ngôn ngữ;
Ngoài ra, còn có phiên bản 421M dành cho quy trình typed-decisions.

Mô hình chỉ có khoảng ba đến bốn trăm triệu tham số, và tốc độ đã rất nhanh.
Bản gốc của Laya trên Tesla T4, mỗi câu hỏi mất khoảng 33ms; khi xử lý hàng loạt, trung bình có thể đạt 7,2ms/câu hỏi, công suất tối đa của một card lên đến hàng trăm câu hỏi mỗi giây.
Độ trễ của Jev P50 do dự án tham chiếu là 236~276ms, trong khi Laya tự đo được độ trễ cho một câu hỏi là 32,8ms, nhanh khoảng 7~8 lần.
Trong 2.000 lần kiểm tra quyết định của yped-decisions, phiên bản Laya được tinh chỉnh đặc biệt đạt độ chính xác 76,6% (trước đó, thành tích công khai của Jev là 72,7%).

Đã có bản mã nguồn mở, tốc độ cũng không chậm.
Ngay sau đó, có người bắt đầu suy nghĩ liệu có thể nhỏ hơn nữa được không?
Và Laya-MLX đã xuất hiện.
Có thể chạy với 1GB cục bộ
Laya-MLX đang vận hành stack suy luận của Laya.
Các nhà phát triển đã có thể tự triển khai Laya gốc, nhưng chủ yếu chạy trên môi trường PyTorch và Transformers.
mizorewww đã tái hiện toàn bộ kiến trúc mạng thần kinh Laya trên khung Apple MLX, cho phép mô hình chạy native trên Apple Silicon.
Có thể loại bỏ PyTorch và runtime Transformers, đồng thời không cần yêu cầu API trên đám mây.
Và sau khi thay đổi stack suy luận, các kết quả trước đó cũng phải khớp.
Laya-MLX đã xác minh ba checkpoint bằng FP32 và FP16, và trên 63 câu hỏi xác minh, tất cả đều khớp với câu trả lời do Laya gốc lựa chọn.
Ba mô hình, hai độ chính xác, tổng cộng 378/378 lần so sánh đều vượt qua, không xảy ra hiện tượng trôi kết quả suy luận.
Máy thử nghiệm là M3 Max, 40 lõi GPU, 128GB bộ nhớ thống nhất.

Phiên bản 421M khi xử lý một câu hỏi ngắn bằng tiếng Anh, đỉnh allocation MLX là 943,6 MiB; phiên bản 322M đa ngôn ngữ giảm thêm xuống còn 687,6 MiB.
But the speed hasn't slowed down.
Trên cùng một M3 Max, phiên bản 421M xử lý một câu hỏi ngắn với độ trễ P50 là 13,42 ms; phiên bản 322M đa ngôn ngữ là 7,39 ms.
P95 cũng lần lượt chỉ là 13,92 ms và 7,79 ms.
Nếu nhét 50 câu hỏi vào một lần, thông lượng phiên bản đa ngôn ngữ có thể tăng trực tiếp lên 395 câu hỏi/giây.

Hơn nữa, những thời gian này chưa phải là độ trễ thuần của các toán tử cốt lõi trong mô hình.
Thời gian của dự án bao gồm chuẩn bị prompt, tokenization, xây dựng tensor, đồng bộ suy luận, hiệu chuẩn và định dạng kết quả cuối cùng, loại trừ thời gian nạp mô hình.
Nói cách khác, 7,39 ms đo độ trễ đầu đến cuối của một quyết định ngắn từ khi vào đến khi có kết quả.
Laya-MLX có thể đưa ra quyết định khi chơi trò chơi Snake với tốc độ 60 lần mỗi giây.
Mỗi bước thực hiện ở đây đều sẽ gọi Laya một lần để đưa ra quyết định mới dựa trên trạng thái hiện tại, đồng thời lớp bảo vệ chu kỳ bên ngoài sẽ điều chỉnh các hành động nguy hiểm.
Sau khi mở rộng dự án, đã thử nghiệm tối ưu hóa biên dịch và tái sử dụng prefix, chạy liên tục 2400 bước trên cùng một máy M3 Max—
75,40 lần di chuyển/giây, 0 lần tử vong.
Trong suốt quá trình, lớp bảo mật đã can thiệp 2 lần và chỉ điều chỉnh hành động trong một số ít tình huống.
Ba hàng chạy
Những người quan tâm có thể triển khai trực tiếp trên Mac Apple Silicon.
Hiện tại, dự án yêu cầu Python 3.11+ và macOS 14+.
Sau khi cài đặt các phụ thuộc, bạn có thể nhập trực tiếp thư viện để sử dụng và tải checkpoint đã được chuyển đổi:
pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)
Tiếp theo, chỉ cần chuyển state và vấn đề cho agent.predict().
Lần chạy đầu tiên sẽ tự động tải xuống checkpoint, các lần suy luận sau đó có thể hoàn toàn thực hiện tại địa phương.

Of course, there are costs to having small size.
Phiên bản tiếng Anh của 421M chỉ có 512 token;
Phiên bản đa ngôn ngữ 322M và phiên bản typed-decisions 421M chỉ có 1024 token.
1k ngữ cảnh cần đồng thời chứa state, instructions và options, do đó nó phù hợp hơn với các tác vụ ra quyết định có đầu vào ngắn, gọi lặp lại thường xuyên và đầu ra có cấu trúc rõ ràng.
Những điểm yếu vẫn tồn tại, nhưng không ngăn được các chuyên gia mã nguồn mở theo kịp ngay trong đêm, đúng vậy, chúng tôi đã bắt đầu lên kế hoạch cho phiên bản tiếp theo!
Jev: Tôi vừa nổi được một tuần...
Địa chỉ dự án: https://github.com/mizorewww/laya-mlx
Bài viết này đến từ tài khoản chính thức WeChat "Quantum Bit", tác giả: Văn Lạc
