merda... esse é o projeto de inferência distribuída mais louco da internet Um motor WebGPU do zero, uma malha WebRTC em todos os dispositivos da sala, decodificação especulativa que supera o llama.cpp nativo na mesma GPU, tudo rodando em uma aba do navegador abra uma URL, escolha um modelo... você está ao vivo. Salve isso antes que seus amigos descubram que o telefone deles pode ajudar a executar um modelo de 27B.
NeilXbtCompartilhar
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações.
Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.