Model Laya-MLX boleh dijalankan pada memori tempatan 1GB, menawarkan pengambilan keputusan pantas

icon MarsBit
Kongsi
AI summary iconRingkasan
Pengumuman projek baharu menunjukkan bahawa model Laya-MLX kini boleh berjalan pada 1GB memori tempatan, dioptimakan untuk kerangka MLX Apple. Versi pelbagai bahasa mencapai 687.6MiB, memproses 395 soalan setiap saat pada M3 Max dengan latensi rendah. Kemas kini berita atas rantai ini menekankan sokongan pelaksanaan tempatan untuk Mac Silicon Apple. Projek sumber terbuka ini tersedia di GitHub.

Tidak, Jev baru saja menjadi popular selama seminggu, versi tempatan kurang dari 1GB pun dah dihasilkan???

Seorang pembangun telah membawa Laya asli sebagai pengganti sumber terbuka ke Apple MLX, menghasilkan Laya-MLX—

Versi 421M parameter, penggunaan memori MLX puncak hanya 943.6MiB.

Ditukar kepada versi pelbagai bahasa 322M, ia terus turun kepada 687.6MiB.

Model keputusan

Tidak perlu menggunakan API awan, tidak memerlukan runtime PyTorch dan Transformers, model boleh dijalankan terus di dalam Mac.

Dan walaupun kecil, kelajuan nya cukup pantas.

Pada M3 Max, Laya-MLX versi keputusan singkat P50 paling cepat hanya 7.39ms; versi 421M hanya 13.42ms.

Jika 50 soalan dimasukkan sekaligus, throughput versi multi-bahasa 322M masih boleh mencapai 395 soalan/s.

Jev versi sumber terbuka

Semua orang seharusnya sudah mengenal Jev dalam dua hari ini.

Perbezaan utamanya dengan LLM biasa ialah ia terus memotong proses penghasilan teks yang paling memakan masa, tidak berbual, tidak menulis kod, tidak menyentuh artikel... hanya fokus pada satu perkara sahaja, membuat keputusan.

(Bert: Hmm? Saya rasa saya pernah dengar isi kerja ini sebelum ini?)

Tanpa langkah penghasilan token demi token, kelajuan inferensinya secara semula berbeza daripada LLM tradisional.

Dengan cara bermain yang ringkas dan langsung ini, Jev selepas dilancarkan dengan cepat menjadi terkenal.

Model keputusan

Seterusnya, pengganti sumber terbuka muncul.

Laya, model keputusan System 1 yang bersifat pelbagai bahasa dan bukan auto-regresif.

Pendekatannya serupa dengan Jev, tidak menghabiskan daya pengiraan untuk menghasilkan teks, tetapi secara langsung mengeluarkan keputusan untuk masalah terstruktur, dan telah memperoleh 10,4k Star di GitHub.

Model keputusan

Ia kini terutama melakukan tiga jenis tugas:

choice, memilih satu daripada beberapa pilihan; score, memberi markah mengikut kriteria yang diberikan; noul, menilai kebarangkalian suatu perkara sebagai True.

Masukkan satu state dan soalan yang perlu dinilai bersama-sama, sekali forward langsung dapat hasil.

Laya kini mempunyai tiga checkpoint utama.

Versi bahasa Inggeris berdasarkan ModernBERT-large, 421M parameter;

Versi pelbagai bahasa berdasarkan mmBERT-base, hanya mempunyai 322M parameter, menyokong lebih daripada 100 bahasa;

Selain itu, terdapat versi 421M khusus untuk alur kerja typed-decisions.

Model keputusan

Model ini hanya mempunyai beberapa ratus juta parameter sahaja, dan kelajuan sudah sangat pantas.

Versi asal Laya pada Tesla T4, setiap soal memakan masa sekitar 33ms; semasa pemprosesan berkelompok, purata boleh mencapai 7.2ms/soal, dengan throughput maksimum satu kad mencapai ratusan soal setiap saat.

Pengujian pihak ketiga yang dirujuk oleh projek menunjukkan latensi Jev P50 antara 236~276ms, manakala Laya sendiri mengukur latensi satu soalan pada 32.8ms, kira-kira 7~8 kali lebih pantas.

Dalam ujian 2000 keputusan yped-decisions, versi Laya yang disesuaikan secara khusus mencapai ketepatan 76.6% (keputusan sebelumnya yang diumumkan oleh Jev ialah 72.7%).

Model keputusan

Versi sumber terbuka sudah ada, dan kelajuan juga tidak perlahan.

Seterusnya, orang mulai memikirkan sama ada ia boleh lebih kecil lagi?

Laya-MLX pun datang.

1GB tempatan boleh dijalankan

Laya-MLX adalah stack inferensia Laya.

Pembangun telah mampu menghuraikan Laya asli sendiri, tetapi terutama berjalan dalam persekitaran PyTorch dan Transformers.

mizorewww telah mengimplementasikan semula arsitektur jaringan saraf lengkap Laya pada kerangka kerja Apple MLX, membolehkan model berjalan secara asli di atas Apple Silicon.

PyTorch dan runtime Transformers boleh dibuang, dan tidak perlu meminta API awan.

Selain itu, selepas menukar stak penalaran, keputusan asal juga perlu sepadan.

Laya-MLX telah mengesahkan tiga checkpoint masing-masing dengan FP32 dan FP16, dan pada 63 soalan pengesahan, semuanya sejajar dengan jawapan yang dipilih oleh Laya asal.

Tiga model, dua ketepatan, keseluruhan 378/378 perbandingan lulus, tiada pergerakan hasil inferens.

Mesin ujian adalah M3 Max, GPU 40 inti, 128GB memori seragam.

Model keputusan

Versi bahasa Inggeris 421M mencapai alokasi MLX puncak 943.6MiB semasa menangani soalan ringkas; versi pelbagai bahasa 322M menurun lebih lanjut kepada 687.6MiB.

Tetapi kelajuan tidak turut menyusut.

Pada M3 Max yang sama, versi 421M menangani soalan singkat dengan latensi P50 sebanyak 13.42ms; versi multibahasa 322M ialah 7.39ms.

P95 juga masing-masing hanya 13.92ms dan 7.79ms.

Jika 50 soalan dimasukkan sekaligus, throughput versi pelbagai bahasa boleh mencapai 395 soalan/s.

Model keputusan

Dan masa-masa ini bukan latensi telanjang bagi operator inti model.

Jangka masa projek merangkumi persiapan prompt, tokenisasi, pembinaan tensor, inferens selari, kalibrasi, dan pemformatan hasil akhir, dengan pengecualian masa pemuatan model.

Dengan kata lain, 7.39ms mengukur latensi end-to-end dari keputusan singkat dari masuk hingga hasil keluar.

Laya-MLX dapat membuat keputusan untuk memainkan permainan Snake pada kadar 60 kali setiap saat.

Setiap langkah di sini akan memanggil Laya secara langsung, membuat keputusan semula berdasarkan keadaan semasa, sementara lapisan keselamatan kitaran di luar akan membetulkan tindakan berbahaya.

Setelah membuka kompilasi yang telah diuji projek dan pengoptimuman semula penggunaan prefix, jalankan secara berterusan 2400 langkah di M3 Max yang sama—

75.40 gerakan/detik, 0 kematian.

Dalam sepanjang proses, lapisan keselamatan telah terlibat sebanyak dua kali, dengan hanya sedikit skenario yang mengalami penyesuaian tindakan.

Tiga baris berjalan

Pengguna yang berminat boleh melaksanakan secara tempatan di Mac Apple Silicon.

Sekarang, projek ini memerlukan Python 3.11+ dan macOS 14+.

Setelah memasang dependensi, anda boleh mengimport pustaka secara langsung dan memuat checkpoint yang telah ditukar:

pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)

Cukup serahkan state dan soalan kepada agent.predict().

Pengunduhan checkpoint akan berlaku secara automatik semasa pemeriksaan pertama, dan inferens seterusnya boleh dilakukan sepenuhnya secara tempatan.

Model keputusan

Tentu saja, ada harga yang perlu dibayar untuk hal-hal kecil.

Versi bahasa Inggeris 421M hanya mempunyai 512 token;

Versi pelbagai bahasa 322M dan versi typed-decisions 421M, hanya 1024 token.

Konteks 1k perlu menampung state, arahan, dan pilihan secara serentak, jadi ia lebih sesuai untuk input pendek, pemanggilan berfrekuensi tinggi, dan tugas pengambilan keputusan dengan output yang jelas.

Kekurangan itu wujud secara objektif, tetapi tidak menghalang para pakar sumber terbuka untuk mengikuti semalaman, ya, kami sudah bermimpi versi seterusnya!

Jev: Saya baru saja menjadi terkenal selama seminggu...

Alamat projek: https://github.com/mizorewww/laya-mlx

Artikel ini berasal daripada akaun微信公众号 "Quantum Bit", penulis: Wen Le

Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.