Tidak, Jev baru saja menjadi popular selama seminggu, versi tempatan kurang dari 1GB pun dah dihasilkan???
Seorang pembangun telah membawa Laya asli sebagai pengganti sumber terbuka ke Apple MLX, menghasilkan Laya-MLX—
Versi 421M parameter, penggunaan memori MLX puncak hanya 943.6MiB.
Ditukar kepada versi pelbagai bahasa 322M, ia terus turun kepada 687.6MiB.

Tidak perlu menggunakan API awan, tidak memerlukan runtime PyTorch dan Transformers, model boleh dijalankan terus di dalam Mac.
Dan walaupun kecil, kelajuan nya cukup pantas.
Pada M3 Max, Laya-MLX versi keputusan singkat P50 paling cepat hanya 7.39ms; versi 421M hanya 13.42ms.
Jika 50 soalan dimasukkan sekaligus, throughput versi multi-bahasa 322M masih boleh mencapai 395 soalan/s.
Jev versi sumber terbuka
Semua orang seharusnya sudah mengenal Jev dalam dua hari ini.
Perbezaan utamanya dengan LLM biasa ialah ia terus memotong proses penghasilan teks yang paling memakan masa, tidak berbual, tidak menulis kod, tidak menyentuh artikel... hanya fokus pada satu perkara sahaja, membuat keputusan.
(Bert: Hmm? Saya rasa saya pernah dengar isi kerja ini sebelum ini?)
Tanpa langkah penghasilan token demi token, kelajuan inferensinya secara semula berbeza daripada LLM tradisional.
Dengan cara bermain yang ringkas dan langsung ini, Jev selepas dilancarkan dengan cepat menjadi terkenal.

Seterusnya, pengganti sumber terbuka muncul.
Laya, model keputusan System 1 yang bersifat pelbagai bahasa dan bukan auto-regresif.
Pendekatannya serupa dengan Jev, tidak menghabiskan daya pengiraan untuk menghasilkan teks, tetapi secara langsung mengeluarkan keputusan untuk masalah terstruktur, dan telah memperoleh 10,4k Star di GitHub.

Ia kini terutama melakukan tiga jenis tugas:
choice, memilih satu daripada beberapa pilihan; score, memberi markah mengikut kriteria yang diberikan; noul, menilai kebarangkalian suatu perkara sebagai True.
Masukkan satu state dan soalan yang perlu dinilai bersama-sama, sekali forward langsung dapat hasil.
Laya kini mempunyai tiga checkpoint utama.
Versi bahasa Inggeris berdasarkan ModernBERT-large, 421M parameter;
Versi pelbagai bahasa berdasarkan mmBERT-base, hanya mempunyai 322M parameter, menyokong lebih daripada 100 bahasa;
Selain itu, terdapat versi 421M khusus untuk alur kerja typed-decisions.

Model ini hanya mempunyai beberapa ratus juta parameter sahaja, dan kelajuan sudah sangat pantas.
Versi asal Laya pada Tesla T4, setiap soal memakan masa sekitar 33ms; semasa pemprosesan berkelompok, purata boleh mencapai 7.2ms/soal, dengan throughput maksimum satu kad mencapai ratusan soal setiap saat.
Pengujian pihak ketiga yang dirujuk oleh projek menunjukkan latensi Jev P50 antara 236~276ms, manakala Laya sendiri mengukur latensi satu soalan pada 32.8ms, kira-kira 7~8 kali lebih pantas.
Dalam ujian 2000 keputusan yped-decisions, versi Laya yang disesuaikan secara khusus mencapai ketepatan 76.6% (keputusan sebelumnya yang diumumkan oleh Jev ialah 72.7%).

Versi sumber terbuka sudah ada, dan kelajuan juga tidak perlahan.
Seterusnya, orang mulai memikirkan sama ada ia boleh lebih kecil lagi?
Laya-MLX pun datang.
1GB tempatan boleh dijalankan
Laya-MLX adalah stack inferensia Laya.
Pembangun telah mampu menghuraikan Laya asli sendiri, tetapi terutama berjalan dalam persekitaran PyTorch dan Transformers.
mizorewww telah mengimplementasikan semula arsitektur jaringan saraf lengkap Laya pada kerangka kerja Apple MLX, membolehkan model berjalan secara asli di atas Apple Silicon.
PyTorch dan runtime Transformers boleh dibuang, dan tidak perlu meminta API awan.
Selain itu, selepas menukar stak penalaran, keputusan asal juga perlu sepadan.
Laya-MLX telah mengesahkan tiga checkpoint masing-masing dengan FP32 dan FP16, dan pada 63 soalan pengesahan, semuanya sejajar dengan jawapan yang dipilih oleh Laya asal.
Tiga model, dua ketepatan, keseluruhan 378/378 perbandingan lulus, tiada pergerakan hasil inferens.
Mesin ujian adalah M3 Max, GPU 40 inti, 128GB memori seragam.

Versi bahasa Inggeris 421M mencapai alokasi MLX puncak 943.6MiB semasa menangani soalan ringkas; versi pelbagai bahasa 322M menurun lebih lanjut kepada 687.6MiB.
Tetapi kelajuan tidak turut menyusut.
Pada M3 Max yang sama, versi 421M menangani soalan singkat dengan latensi P50 sebanyak 13.42ms; versi multibahasa 322M ialah 7.39ms.
P95 juga masing-masing hanya 13.92ms dan 7.79ms.
Jika 50 soalan dimasukkan sekaligus, throughput versi pelbagai bahasa boleh mencapai 395 soalan/s.

Dan masa-masa ini bukan latensi telanjang bagi operator inti model.
Jangka masa projek merangkumi persiapan prompt, tokenisasi, pembinaan tensor, inferens selari, kalibrasi, dan pemformatan hasil akhir, dengan pengecualian masa pemuatan model.
Dengan kata lain, 7.39ms mengukur latensi end-to-end dari keputusan singkat dari masuk hingga hasil keluar.
Laya-MLX dapat membuat keputusan untuk memainkan permainan Snake pada kadar 60 kali setiap saat.
Setiap langkah di sini akan memanggil Laya secara langsung, membuat keputusan semula berdasarkan keadaan semasa, sementara lapisan keselamatan kitaran di luar akan membetulkan tindakan berbahaya.
Setelah membuka kompilasi yang telah diuji projek dan pengoptimuman semula penggunaan prefix, jalankan secara berterusan 2400 langkah di M3 Max yang sama—
75.40 gerakan/detik, 0 kematian.
Dalam sepanjang proses, lapisan keselamatan telah terlibat sebanyak dua kali, dengan hanya sedikit skenario yang mengalami penyesuaian tindakan.
Tiga baris berjalan
Pengguna yang berminat boleh melaksanakan secara tempatan di Mac Apple Silicon.
Sekarang, projek ini memerlukan Python 3.11+ dan macOS 14+.
Setelah memasang dependensi, anda boleh mengimport pustaka secara langsung dan memuat checkpoint yang telah ditukar:
pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)
Cukup serahkan state dan soalan kepada agent.predict().
Pengunduhan checkpoint akan berlaku secara automatik semasa pemeriksaan pertama, dan inferens seterusnya boleh dilakukan sepenuhnya secara tempatan.

Tentu saja, ada harga yang perlu dibayar untuk hal-hal kecil.
Versi bahasa Inggeris 421M hanya mempunyai 512 token;
Versi pelbagai bahasa 322M dan versi typed-decisions 421M, hanya 1024 token.
Konteks 1k perlu menampung state, arahan, dan pilihan secara serentak, jadi ia lebih sesuai untuk input pendek, pemanggilan berfrekuensi tinggi, dan tugas pengambilan keputusan dengan output yang jelas.
Kekurangan itu wujud secara objektif, tetapi tidak menghalang para pakar sumber terbuka untuk mengikuti semalaman, ya, kami sudah bermimpi versi seterusnya!
Jev: Saya baru saja menjadi terkenal selama seminggu...
Alamat projek: https://github.com/mizorewww/laya-mlx
Artikel ini berasal daripada akaun微信公众号 "Quantum Bit", penulis: Wen Le
