PANews, 21 de março: De acordo com comunicado oficial, a Tether anunciou o lançamento do framework de fine-tuning BitNet LoRA no QVAC Fabric, otimizando o treinamento e a inferência do Microsoft BitNet (LLM de 1-bit). Esse framework reduz significativamente as exigências de poder computacional e memória, permitindo que modelos de bilhões de parâmetros sejam treinados e ajustados em laptops, GPUs de consumo e smartphones. Esta solução é a primeira a permitir o fine-tuning de modelos BitNet em GPUs móveis (incluindo Adreno, Mali e Apple Bionic). Testes mostram que um modelo de 125M parâmetros pode ser ajustado em cerca de 10 minutos, um modelo de 1B em aproximadamente 1 hora, e até mesmo escalado para modelos de 13B parâmetros em dispositivos móveis. Além disso, o framework suporta hardware heterogêneo, incluindo Intel, AMD e Apple Silicon, e é o primeiro a permitir fine-tuning LoRA de LLMs de 1-bit em dispositivos não NVIDIA. Em termos de desempenho, a inferência de modelos BitNet em GPUs móveis é de 2 a 11 vezes mais rápida do que em CPUs, com redução de até 77,8% no uso de memória de vídeo em comparação com modelos tradicionais de 16-bit. A Tether afirmou que essa tecnologia tem o potencial de quebrar a dependência de infraestrutura de alto poder computacional e nuvem, impulsionando o treinamento de IA em direção à descentralização e localização, e fornecendo base para novos cenários de aplicação, como aprendizado federado.
Tether lança o framework BitNet LoRA multiplataforma para treinamento de modelos de bilhões de parâmetros em dispositivos de consumo
PANewsCompartilhar
Resumo
A Tether apresentou um framework cross-platform BitNet LoRA para notícias on-chain e notícias de criptomoedas, permitindo o treinamento dos modelos 1-bit BitNet da Microsoft em hardware de consumo. A ferramenta permite que modelos de bilhões de parâmetros funcionem em laptops, smartphones e GPUs como Adreno, Mali e Apple Bionic. Um modelo de 1 bilhão de parâmetros leva cerca de uma hora para ser ajustado. O sistema suporta Intel, AMD e Apple Silicon, trazendo pela primeira vez o ajuste LoRA de LLMs de 1-bit para dispositivos não NVIDIA. Os modelos BitNet operam de 2 a 11 vezes mais rápido em GPUs móveis em comparação com CPUs, usando 77,8% menos memória do que versões de 16 bits. A Tether afirma que a tecnologia pode reduzir a dependência de nuvem, permitindo treinamento descentralizado de IA.
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações.
Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.