
Semana movimentada para @TPN_Labs, o Gratis acabou de ir ao ar e é exatamente o tipo de coisa que as pessoas diziam que subnets nunca lançariam. É um aplicativo gratuito que executa modelos de código aberto diretamente na sua aba do navegador ou no desktop, sem conta, sem instalação, nada que você digite jamais sai do seu computador. A engenharia foi o que me impressionou. Navegadores normalmente limitam uma aba a 4 GB de memória, muito abaixo do que um modelo real precisa. A equipe forkou o runtime de inferência para endereçamento de 64 bits e elevou o limite para 16 GB. É por isso que um modelo de tamanho real consegue rodar em uma aba. Ele também carrega modelos das mais de 900.000 opções de código aberto no Hugging Face, gratuitamente e sem limite de uso, pois roda no hardware que você já possui. A vantagem para as pessoas aqui é simples. Da próxima vez que alguém perguntar o que subnets realmente produzem, você envia um link e eles executam um modelo por conta própria em cerca de um minuto. Crédito genuíno à equipe, é assim que você torna a IA local algo que qualquer um pode tocar. Postagem completa com os números por trás disso amanhã. 1/2





