O modelo Laya-MLX pode ser executado com 1 GB de memória local, oferecendo tomada de decisão rápida

icon MarsBit
Compartilhar
AI summary iconResumo
Um anúncio de novo projeto revela que o modelo Laya-MLX agora pode ser executado com 1 GB de memória local, otimizado para o framework MLX da Apple. A versão multilíngue atinge 687,6 MiB, processando 395 perguntas por segundo no M3 Max com baixa latência. Esta atualização de notícias on-chain destaca o suporte à implantação local em Macs com Apple Silicon. O projeto de código aberto está disponível no GitHub.

Não, Jev acabou de ficar popular há uma semana, e já saiu uma versão local de menos de 1 GB???

Um desenvolvedor trouxe a versão nativa do Laya, um substituto de código aberto, para o Apple MLX, criando o Laya-MLX—

Versão de 421M parâmetros, uso máximo de memória MLX de apenas 943,6 MiB.

Trocar para a versão multilíngue de 322M reduziu diretamente para 687,6 MiB.

Modelo de decisão

Não precisa da API em nuvem, nem do runtime do PyTorch e Transformers; o modelo pode ser executado diretamente no Mac.

E, embora seja pequeno, a velocidade é bem intensa.

No M3 Max, a versão Laya-MLX com uma decisão curta P50 leva apenas 7,39 ms; a versão de 421M leva apenas 13,42 ms.

Se 50 perguntas forem inseridas de uma vez, o throughput da versão multilíngue de 322M ainda pode atingir 395 perguntas/s.

Versão open source do Jev

Jev, todos vocês já devem estar familiarizados nos últimos dois dias.

A maior diferença em relação aos LLMs tradicionais é que ele eliminou diretamente a geração de texto, que é a parte mais demorada: não conversa, não escreve código, não toca em artigos... só se concentra em uma única tarefa: fazer julgamentos.

(Bert: Hum? Parece que já ouvi esse conteúdo de trabalho antes.)

Sem o passo de geração token por token, a velocidade de inferência naturalmente se distanciou dos LLM tradicionais.

Foi graças a esse método simples e direto que Jev se tornou popular rapidamente após seu lançamento.

Modelo de decisão

Em seguida, veio a alternativa de código aberto.

Laya, um modelo de decisão System 1 multilíngue e não autoregressivo.

Pensamento semelhante ao Jev, não gasta poder de processamento na geração de texto, mas produz diretamente resultados de decisão para problemas estruturados, já acumulando 10,4k estrelas no GitHub.

Modelo de decisão

Atualmente, ele realiza principalmente três tipos de tarefas:

choice, escolher um entre várias opções; score, atribuir uma pontuação conforme critérios definidos; noul, avaliar a probabilidade de um evento ser True.

Inserir um estado e a pergunta a ser avaliada juntos, para obter o resultado diretamente em uma única forward.

Laya atualmente possui principalmente três checkpoint.

A versão em inglês é baseada no ModernBERT-large, com 421 milhões de parâmetros;

A versão multilíngue é baseada no mmBERT-base, possui apenas 322 milhões de parâmetros e suporta mais de 100 idiomas;

Há também uma versão 421M para o fluxo de trabalho typed-decisions.

Modelo de decisão

O modelo possui apenas algumas centenas de milhões de parâmetros e já é bastante rápido.

A versão original da Laya no Tesla T4 leva cerca de 33 ms por pergunta individual; em processamento em lote, consegue uma média de 7,2 ms/pergunta, com uma taxa de transferência por cartão chegando a centenas de perguntas por segundo.

O atraso do Jev P50 referenciado no projeto está entre 236 e 276 ms, enquanto a Laya mediu individualmente 32,8 ms, cerca de 7 a 8 vezes mais rápido.

Na avaliação de 2.000 decisões do yped-decisions, a versão Laya especificamente ajustada alcançou uma precisão de 76,6% (o recorde anterior divulgado por Jev era de 72,7%).

Modelo de decisão

A versão de código aberto já está disponível e não é lenta.

Logo em seguida, algumas pessoas começaram a se perguntar se ainda poderia ser menor.

Então chegou o Laya-MLX.

Executável com 1 GB local

Laya-MLX está ativando a pilha de inferência da Laya.

Os desenvolvedores já conseguem implantar a versão original do Laya, mas principalmente a executam no ambiente PyTorch e Transformers.

mizorewww reimplementou a arquitetura completa da rede neural Laya no framework Apple MLX, permitindo que o modelo seja executado nativamente no Apple Silicon.

O runtime do PyTorch e do Transformers podem ser removidos, e não é necessário fazer chamadas à API em nuvem.

E após a troca da pilha de inferência, os resultados anteriores também devem corresponder.

Laya-MLX validou os três checkpoints separadamente em FP32 e FP16, em 63 questões de validação, correspondendo totalmente às respostas escolhidas pela versão original do Laya.

Três modelos, duas precisões, total de 378/378 comparações aprovadas, sem desvio nos resultados de inferência.

A máquina de teste é um M3 Max, com 40 núcleos de GPU e 128 GB de memória unificada.

Modelo de decisão

Ao processar uma pergunta curta em inglês, a versão de 421M atingiu um pico de alocação MLX de 943,6 MiB; a versão multilíngue de 322M reduziu ainda mais para 687,6 MiB.

Mas a velocidade não diminuiu.

Na mesma M3 Max, a versão de 421M processa uma pergunta curta com uma latência P50 de 13,42 ms; a versão multilíngue de 322M tem 7,39 ms.

O P95 também é apenas 13,92 ms e 7,79 ms, respectivamente.

Se inserir 50 perguntas de uma vez, o throughput das versões multilíngues pode atingir diretamente 395 perguntas/s.

Modelo de decisão

E esses tempos não são a latência nua dos operadores centrais do modelo.

O intervalo de tempo do projeto inclui preparação do prompt, tokenização, construção de tensores, inferência sincronizada, calibração e formatação final dos resultados, excluindo apenas o tempo de carregamento do modelo.

Em outras palavras, os 7,39 ms medem a latência de ponta a ponta de uma decisão curta, desde a entrada até o resultado.

Laya-MLX can make decisions at a speed of 60 times per second while playing Snake.

Aqui, a cada passo, é feita uma chamada real ao Laya para tomar uma nova decisão com base no estado atual, enquanto uma camada de segurança cíclica corrige ações perigosas externamente.

Após abrir o projeto, testar a compilação e otimizar a reutilização de prefixos, execute 2400 passos consecutivos no mesmo M3 Max—

75,40 movimentos/s, 0 mortes.

Ao longo de todo o processo, a camada de segurança介入ou duas vezes, com ajustes de ação realizados apenas em cenários limitados.

Three-line run

Amigos interessados podem implantar localmente diretamente em um Mac com Apple Silicon.

Atualmente, o projeto exige Python 3.11+ e macOS 14+.

Após instalar as dependências, você pode importar diretamente a biblioteca e carregar o checkpoint já convertido:

pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)

Basta passar o state e a questão para agent.predict().

A primeira execução baixará automaticamente o checkpoint; as inferências subsequentes poderão ser realizadas inteiramente localmente.

Modelo de decisão

Claro, pequeno também tem seu custo.

A versão em inglês do contexto tem 421M e apenas 512 tokens;

A versão multilíngue de 322M e a versão typed-decisions de 421M têm apenas 1024 tokens.

Um contexto de 1k ainda precisa acomodar simultaneamente state, instructions e options, portanto é mais adequado para entradas curtas, chamadas frequentes e tarefas de decisão com saída estruturada.

As limitações existem objetivamente, mas não impedem os grandes desenvolvedores de código aberto de acompanharem na madrugada — sim, já estamos sonhando com a próxima versão!

Jev: Eu só acabei de ficar famoso há uma semana...

Endereço do projeto: https://github.com/mizorewww/laya-mlx

Este artigo é do canal oficial do WeChat "Quantum Bit", autor: Wen Le

Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.