Notícia do ME, 8 de abril (UTC+8): O oficial do PyTorch recentemente avaliou e aprimorou o desempenho dos dois métodos básicos de normalização, LayerNorm e RMSNorm, ao usar torch.compile nas GPUs NVIDIA H100 e B200. O objetivo é alcançar um desempenho quase de ponta para essas operações em nível de kernel individual, enquanto fornece funcionalidade de fusão automática. A mensagem oficial inclui um link para mais detalhes. (Fonte: InFoQ)
PyTorch otimiza o desempenho do LayerNorm e RMSNorm em GPUs H100 e B200
KuCoinFlashCompartilhar
Resumo
O PyTorch lançou um anúncio de projeto otimizando o desempenho do LayerNorm e RMSNorm nas GPUs NVIDIA H100 e B200. Usando o torch.compile, a equipe melhorou a eficiência por kernel e habilitou a fusão automática. A atualização faz parte das notícias contínuas na cadeia da comunidade de aprendizado profundo. Mais detalhes estão disponíveis no blog oficial.
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações.
Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.