Vals-Smith lança plataforma de avaliação de código por IA para repositórios do GitHub

Notícia da ME, 23 de julho (UTC+8): De acordo com o monitoramento da Beating, a plataforma de avaliação de IA Vals lançou o Vals-Smith. Ele lê repositórios do GitHub, extrai tarefas de desenvolvimento reais de PRs já incorporados e gera um conjunto exclusivo de avaliações de programação. Cada questão inclui descrição do problema, testes ocultos e ambiente reprodutível. O modelo avaliado só consegue ver o código antes da correção e não tem acesso ao patch original. A tarefa só é considerada concluída quando o modelo passa nos testes ocultos sem comprometer a funcionalidade existente. As equipes podem fazer diferentes modelos e Coding Agents executarem o mesmo conjunto de questões, comparando diretamente as taxas de aprovação. A lista pública mostra quem é geralmente mais forte; o Vals-Smith mede quem é mais adequado ao próprio repositório. Atualmente, suporta repositórios públicos e privados, mas o produto ainda requer inscrição em lista de espera. O site já divulgou os resultados das avaliações de projetos open source como Linux, Next.js, Bun e Spark. (Fonte: BlockBeats)