O H100 da NVIDIA custa até US$ 40.000. O RTX 5090, uma placa de jogo, custa cerca de US$ 2.000. Para executar IA de fato, quanto dessa diferença de 15x é real? Menos do que você imagina, para a maioria das pessoas. Para qualquer carga de trabalho que caiba em 32GB (modelos até ~13B em precisão total, ~32B quantizados), o 5090 de US$ 2.000 é a melhor relação desempenho por dólar que você pode comprar. Não nem perto. Fazer fine-tuning de um modelo pequeno? Uma execução que custa cerca de US$ 2 em eletricidade em um 5090 que você possui custa cerca de US$ 50 para alugar o tempo equivalente de H100 na nuvem. A placa se paga em um ano. Mas o H100 justifica seu preço no momento em que você ultrapassa três limites: - Memória: um modelo de 70B precisa de ~40GB mesmo em 4-bit. Os 32GB do 5090 não conseguem armazená-lo. - Confiabilidade: a memória ECC detecta bit-flips que corrompem silenciosamente uma execução de treinamento de 48 horas. O 5090 não tem nenhuma. - Escala: o NVLink conecta H100s a 7x a velocidade do PCIe. O 5090 não tem NVLink nem de longe. O erro caro não é escolher a placa "pior". É escolher a errada para o seu trabalho: pagar demais por um H100 que você nunca usará plenamente, ou comprar pouco e atingir um limite que não consegue contornar com quantização.
