Model Laya-MLX dapat berjalan pada memori lokal 1 GB, menawarkan pengambilan keputusan cepat

icon MarsBit
Bagikan
AI summary iconRingkasan
Pengumuman proyek baru mengungkap bahwa model Laya-MLX kini dapat berjalan pada 1GB memori lokal, dioptimalkan untuk kerangka kerja MLX Apple. Versi multibahasa mencapai 687,6 MiB, memproses 395 pertanyaan per detik pada M3 Max dengan latensi rendah. Pembaruan berita on-chain ini menyoroti dukungan penyebaran lokal untuk Mac Apple Silicon. Proyek open-source ini tersedia di GitHub.

Tidak, Jev baru saja populer selama seminggu, versi lokalnya yang kurang dari 1 GB sudah dibuat??>

Seorang pengembang telah membawa Laya asli sebagai pengganti open-source ke Apple MLX, menciptakan Laya-MLX—

Versi 421M parameter, penggunaan memori MLX puncak hanya 943,6 MiB.

Diganti ke versi multibahasa 322M, malah langsung turun menjadi 687,6 MiB.

Model keputusan

Tidak menggunakan API cloud, tidak memerlukan runtime PyTorch dan Transformers, model bisa langsung dijalankan di dalam Mac.

Dan meskipun kecil, kecepatannya cukup kencang.

Di M3 Max, Laya-MLX versi keputusan singkat P50 paling cepat hanya 7,39 ms; versi 421M hanya 13,42 ms.

Jika dimasukkan sekaligus 50 pertanyaan, throughput versi multi-bahasa 322M masih bisa mencapai 395 pertanyaan/detik.

Jev versi open source

Jev seharusnya sudah familiar bagi kalian selama dua hari ini.

Perbedaan utamanya dengan LLM biasa adalah ia langsung menghilangkan proses generasi teks yang paling memakan waktu, tidak berbicara, tidak menulis kode, tidak menyentuh artikel... hanya fokus pada satu hal: membuat keputusan.

(Bert: Hmm? Sepertinya saya pernah mendengar ini sebelumnya.)

Tanpa langkah generasi token per token, kecepatan inferensi secara alami berbeda dari LLM tradisional.

Dengan cara bermain yang sederhana dan langsung ini, Jev segera menjadi populer setelah dirilis.

Model keputusan

Selanjutnya, alternatif open source pun muncul.

Laya, model keputusan System 1 multibahasa dan non-autoregresif.

Pendekatannya mirip dengan Jev, tidak menghabiskan daya komputasi untuk menghasilkan teks, melainkan langsung menghasilkan keputusan untuk masalah terstruktur, dan telah meraih 10,4k Star di GitHub.

Model keputusan

Saat ini ia terutama melakukan tiga jenis pekerjaan:

choice, memilih satu dari beberapa opsi; score, memberikan skor berdasarkan kriteria yang ditentukan; noul, menilai probabilitas suatu hal sebagai True.

Masukkan satu state dan pertanyaan yang perlu diuji sekaligus, sehingga hasilnya bisa langsung diperoleh dengan satu forward.

Laya saat ini memiliki tiga checkpoint utama.

Versi bahasa Inggris didasarkan pada ModernBERT-large, 421M parameter;

Versi multibahasa berbasis mmBERT-base, hanya memiliki 322M parameter, mendukung lebih dari 100 bahasa;

Selain itu, ada versi 421M khusus untuk alur kerja typed-decisions.

Model keputusan

Model ini hanya memiliki beberapa ratus juta parameter, dan kecepatannya sudah sangat cepat.

Versi asli Laya di Tesla T4, satu pertanyaan sekitar 33ms; saat pemrosesan batch, rata-rata dapat mencapai 7,2 ms/pertanyaan, dengan throughput maksimum satu kartu mencapai ratusan pertanyaan per detik.

Latensi Jev P50 pihak ketiga yang dirujuk proyek adalah 236~276ms, sementara pengukuran sendiri oleh Laya menunjukkan 32,8ms, sekitar 7~8 kali lebih cepat.

Dalam uji coba 2.000 keputusan yped-decisions, versi Laya yang disesuaikan secara khusus mencapai akurasi 76,6% (sebelumnya hasil publik Jev adalah 72,7%).

Model keputusan

Versi open source sudah tersedia, dan kecepatannya juga tidak lambat.

Segera setelah itu, orang-orang mulai memikirkan apakah bisa lebih kecil lagi?

Laya-MLX pun datang.

Lokal 1GB bisa dijalankan

Laya-MLX adalah stack inferensi Laya.

Para pengembang sudah dapat mengdeploy Laya asli sendiri, tetapi sebagian besar berjalan di lingkungan PyTorch dan Transformers.

mizorewww telah mengimplementasikan ulang arsitektur jaringan saraf lengkap Laya di framework Apple MLX, memungkinkan model berjalan secara native di Apple Silicon.

PyTorch dan runtime Transformers dapat dihapus, dan tidak perlu meminta API cloud.

Selain itu, setelah mengganti stack inferensi, hasil sebelumnya juga harus tetap konsisten.

Laya-MLX telah memvalidasi ketiga checkpoint tersebut menggunakan FP32 dan FP16, dan pada 63 pertanyaan validasi, semuanya cocok dengan jawaban yang dipilih oleh Laya asli.

Tiga model, dua presisi, seluruh 378/378 perbandingan lulus, tanpa terjadi drift hasil inferensi.

Mesin uji adalah M3 Max, GPU 40 inti, 128GB memori terpadu.

Model keputusan

Versi 421M menangani pertanyaan singkat dalam bahasa Inggris dengan alokasi MLX puncak sebesar 943,6 MiB; versi multibahasa 322M menurunkannya lebih lanjut menjadi 687,6 MiB.

Tetapi kecepatannya tidak ikut berkurang.

Pada M3 Max yang sama, versi 421M menangani pertanyaan singkat dengan latensi P50 sebesar 13,42 ms; versi multibahasa 322M sebesar 7,39 ms.

P95 juga masing-masing hanya 13,92 ms dan 7,79 ms.

Jika memasukkan 50 pertanyaan sekaligus, throughput versi multibahasa bisa langsung mencapai 395 pertanyaan/detik.

Model keputusan

Dan waktu-waktu ini bukanlah latensi murni dari operator inti model.

Rentang waktu proyek mencakup persiapan prompt, tokenisasi, pembangunan tensor, inferensi sinkronisasi, kalibrasi, dan pemformatan hasil akhir, dengan pengecualian waktu pemuatan model.

Dengan kata lain, 7,39 ms mengukur latensi end-to-end dari keputusan singkat mulai dari masuk hingga hasil keluar.

Laya-MLX dapat membuat keputusan dalam permainan Snake hingga 60 kali per detik.

Setiap langkah di sini akan memanggil Laya secara langsung, membuat keputusan ulang berdasarkan status saat ini, sementara lapisan keselamatan siklus di luar akan memperbaiki tindakan berbahaya.

Setelah membuka proyek yang telah diuji dengan kompilasi dan optimasi reuse prefix, jalankan secara berurutan 2400 langkah di M3 Max yang sama—

75,40 gerakan/detik, 0 kematian.

Selama proses ini, lapisan keamanan terlibat dua kali, dan hanya sedikit skenario yang dilakukan koreksi tindakan.

Three-line run

Teman yang tertarik dapat langsung melakukan deploy lokal di Mac Apple Silicon.

Saat ini, proyek memerlukan Python 3.11+ dan macOS 14+.

Setelah menginstal dependensi, Anda dapat langsung mengimpor library dan memuat checkpoint yang telah dikonversi:

pip install laya-mlx import laya_mlx sebagai laya agent = laya.load(“aac6fef/laya-mlx”)

Selanjutnya, serahkan state dan masalah ke agent.predict().

Pada eksekusi pertama, checkpoint akan diunduh secara otomatis, dan inferensi selanjutnya dapat dilakukan sepenuhnya secara lokal.

Model keputusan

Tentu saja, ada harga yang harus dibayar untuk hal-hal kecil.

Versi bahasa Inggris konteks 421M hanya memiliki 512 token;

Versi multi-bahasa 322M dan versi typed-decisions 421M hanya memiliki 1024 token.

Konteks 1k perlu menampung state, instruksi, dan opsi secara bersamaan, sehingga lebih cocok untuk tugas pengambilan keputusan dengan input singkat, pemanggilan frekuensi tinggi, dan output yang terstruktur jelas.

Kekurangan memang ada secara objektif, tapi tidak menghentikan para ahli open source untuk segera mengikuti—benar, kami sudah memimpikan versi berikutnya!

Jev: Saya baru saja menjadi populer selama seminggu...

Alamat proyek: https://github.com/mizorewww/laya-mlx

Artikel ini berasal dari akun WeChat "Quantum Bit", penulis: Wen Le

Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.