Novo benchmark: "StarCraft: Brood War Benchmark" Sempre que um novo modelo de ponta é lançado, vídeos de youtubers costumam ser carregados com análises — talvez você já tenha visto alguns. Trata-se literalmente de um benchmark que avalia o desempenho de modelos de IA no jogo StarCraft. Todos os modelos testados não conseguiram ultrapassar o nível de iniciantes. Também se observaram estilos de jogo distintos por modelo: o CodeLlama preferia táticas não convencionais e golpes de surpresa; o Claude adotava um estilo mais clássico e estratégico; e o Grok simplesmente parou de jogar durante a partida. Todas as combinações de modelos e configurações de inferência foram enfrentadas em um formato de rodada completa. Para mais detalhes, consulte o relatório original. 🥹 Classificação 1. Astra (xhigh) 18 vitórias, 0 derrotas 2. Astra (medium) 16 vitórias, 2 derrotas 3. Fable 15 vitórias, 3 derrotas 4. Astra (low) 14 vitórias, 4 derrotas 5. Sol (medium) 13 vitórias, 5 derrotas ...