Non, Jev vient à peine de devenir populaire depuis une semaine, et ils ont déjà sorti une version locale de moins de 1 Go ????
Un développeur a porté la version native open source de Laya sur Apple MLX, créant Laya-MLX —
Version avec 421M paramètres, occupation maximale de la mémoire MLX de seulement 943,6 MiB.
Passer à la version multilingue de 322 Mo a réduit la taille à 687,6 Mo.

Pas besoin d'API cloud, pas besoin d'exécuter PyTorch et Transformers ; le modèle peut être exécuté directement sur un Mac.
Et même s'il est petit, il est assez rapide.
Sur M3 Max, Laya-MLX nécessite seulement 7,39 ms pour une décision courte P50 ; la version 421M prend seulement 13,42 ms.
Si 50 questions sont introduites en une seule fois, le débit de la version multilingue de 322 Mo peut atteindre 395 questions/s.
Version open source de Jev
Jev, vous devriez déjà être familiers avec lui ces deux derniers jours.
La principale différence avec un LLM classique est qu'il élimine directement la génération de texte, la plus chronophage : pas de discussion, pas d'écriture de code, pas d'articles... Il se concentre exclusivement sur une seule tâche : prendre des décisions.
(Bert : Hmm ? J'ai l'impression d'avoir déjà entendu ce contenu de travail ?)
En l'absence de la génération token par token, la vitesse d'inférence est naturellement en décalage par rapport aux LLM traditionnels.
C’est grâce à ce type de méthode simple et directe que Jev a rapidement dépassé son cercle initial.

Ensuite, une alternative open source est arrivée.
Laya, un modèle de décision System 1 multilingue et non autoregressif.
Idée similaire à Jev : ne consacre pas de puissance de calcul à la génération de texte, mais produit directement des résultats de décision pour des problèmes structurés ; déjà plus de 10,4k étoiles sur GitHub.

Il effectue actuellement principalement trois types de tâches :
choice, choisir parmi plusieurs options ; score, attribuer une note selon les critères donnés ; noul, évaluer la probabilité qu'un événement soit vrai.
Insérez un état et la question à vérifier ensemble, afin d'obtenir directement le résultat lors d'une seule passe forward.
Laya a actuellement trois points de contrôle principaux.
La version anglaise est basée sur ModernBERT-large, 421 M paramètres ;
La version multilingue est basée sur mmBERT-base, avec seulement 322 millions de paramètres, et prend en charge plus de 100 langues ;
Il existe également une version 421M dédiée au workflow typed-decisions.

Le modèle ne possède que quelques centaines de millions de paramètres et est déjà très rapide.
La version originale de Laya sur Tesla T4 prend environ 33 ms par question individuelle ; en traitement par lot, elle atteint en moyenne 7,2 ms/question, avec un débit maximal d'une seule carte atteignant plusieurs centaines de questions par seconde.
Le délai de la référence du projet par un tiers Jev P50 est de 236 à 276 ms, tandis que Laya a mesuré un seul problème à 32,8 ms, soit environ 7 à 8 fois plus rapide.
Lors des 2 000 tests de décisions sur yped-decisions, la version Laya spécifiquement fine-tunée a atteint une précision de 76,6 % (le précédent résultat public de Jev était de 72,7 %).

La version open source est disponible, et elle n'est pas lente.
Immédiatement après, certaines personnes ont commencé à se demander si on pouvait encore réduire davantage.
Alors Laya-MLX est arrivé.
Local 1 Go suffit
Laya-MLX concerne la pile d'inférence de Laya.
Les développeurs peuvent déjà déployer Laya d'origine, mais ils l'exécutent principalement dans l'environnement PyTorch et Transformers.
mizorewww a réimplémenté l'architecture complète du réseau neuronal Laya sur le framework Apple MLX, permettant au modèle de s'exécuter nativement sur Apple Silicon.
PyTorch et le runtime Transformers peuvent être supprimés, et aucune requête à l’API cloud n’est nécessaire.
De plus, après le changement de la pile d'inférence, les résultats précédents doivent toujours être cohérents.
Laya-MLX a validé les trois points de contrôle respectivement en FP32 et FP16, et a coïncidé avec les réponses choisies par la version originale de Laya sur les 63 questions de validation.
Trois modèles, deux précisions, 378/378 comparaisons réussies, aucune dérive des résultats d'inférence.
La machine de test est une M3 Max, avec 40 cœurs GPU et 128 Go de mémoire unifiée.

Lors du traitement d'une courte question, l'allocation maximale MLX pour la version anglaise de 421M est de 943,6 MiB ; la version multilingue de 322M réduit davantage cette valeur à 687,6 MiB.
Mais la vitesse n'a pas diminué.
Sur le même M3 Max, la version 421M traite une courte question avec une latence P50 de 13,42 ms ; la version multilingue 322M présente une latence de 7,39 ms.
Le P95 est respectivement de 13,92 ms et 7,79 ms.
Si vous en insérez 50 à la fois, le débit des versions multilingues peut atteindre directement 395 questions/s.

Et ces temps ne représentent pas la latence brute des opérateurs principaux du modèle.
La plage horaire du projet inclut la préparation du prompt, la tokenisation, la construction des tenseurs, l'inférence synchronisée, la calibration et la mise en forme du résultat final, en excluant uniquement le temps de chargement du modèle.
En d'autres termes, les 7,39 ms mesurent la latence de bout en bout d'une courte décision, de l'entrée au résultat.
Laya-MLX peut prendre des décisions jusqu'à 60 fois par seconde lorsqu'il joue au jeu de Snake.
Chaque étape effectue un appel réel à Laya, qui prend une nouvelle décision en fonction de l'état actuel, tandis qu'une couche de sécurité cyclique corrige les actions dangereuses à l'extérieur.
Après avoir ouvert le projet, testé la compilation et optimisé la réutilisation du prefix, exécutez 2400 étapes consécutives sur le même M3 Max —
75,40 mouvements/s, 0 décès.
Au cours de tout le processus, la couche de sécurité a intervenu deux fois, avec des ajustements d'actions uniquement dans de rares scénarios.
Three-line run
Les utilisateurs intéressés peuvent déployer localement sur un Mac Apple Silicon.
Le projet nécessite actuellement Python 3.11+ et macOS 14+.
Après l'installation des dépendances, vous pouvez directement importer la bibliothèque et charger le checkpoint déjà converti :
pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)
Ensuite, il suffit de passer l'état et la question à agent.predict().
La première exécution télécharge automatiquement le checkpoint ; les inférences suivantes peuvent être effectuées entièrement en local.

Bien sûr, il y a un prix à payer pour les petites choses.
421M la version anglaise ne contient que 512 tokens ;
Les versions multilingues 322M et 421M typed-decisions n'ont que 1024 tokens.
Un contexte de 1k doit également accueillir simultanément l'état, les instructions et les options, ce qui le rend plus adapté aux entrées courtes, aux appels fréquents et aux tâches de décision à sortie structurée.
Les lacunes existent objectivement, mais elles n'empêchent pas les grands contributeurs open source de suivre la nuit même — oui, nous sommes déjà en train de concevoir la prochaine version de Dream !
Jev : Je viens à peine de devenir populaire pendant une semaine...
Adresse du projet : https://github.com/mizorewww/laya-mlx
Cet article provient du compte officiel WeChat « Quantum Bit », auteur : Wen Le
