Nueva prueba de referencia: "StarCraft: Brood War Benchmark" Cada vez que se lanza un nuevo modelo de vanguardia, suele subirse como contenido a YouTube; es posible que algunos ya lo hayan visto. Es una prueba que evalúa el rendimiento de los modelos de IA en el juego StarCraft, y se dice que todos los modelos probados no superaron el nivel de principiante. También se observaron patrones distintivos en el estilo de juego de cada modelo: Codex tendía a usar tácticas inusuales y trucos, en lugar de estrategias convencionales; Claude jugaba de forma convencional; y Gloc se detuvo simplemente durante la partida. Se realizaron partidas en formato round-robin con todas las combinaciones posibles de modelos y configuraciones de inferencia. Para más detalles, consulte el informe original. 🥹 Clasificación 1. Astra (xhigh) 18 victorias, 0 derrotas 2. Astra (medium) 16 victorias, 2 derrotas 3. Fable 15 victorias, 3 derrotas 4. Astra (low) 14 victorias, 4 derrotas 5. Sol (medium) 13 victorias, 5 derrotas ...