El H100 de NVIDIA cuesta hasta $40,000. La RTX 5090, una tarjeta para juegos, cuesta aproximadamente $2,000. Para ejecutar IA realmente, ¿cuánto de esa brecha de 15x es real? Menos de lo que pensarías, para la mayoría de las personas. Para cualquier carga de trabajo que quepa en 32 GB (modelos hasta ~13B en precisión completa, ~32B cuantizados), la 5090 de $2,000 es la mejor relación rendimiento por dólar que puedes comprar. No hay competencia. ¿Afinar un modelo pequeño? Una ejecución que cuesta ~$2 en electricidad en una 5090 que posees cuesta ~$50 alquilar el tiempo equivalente en la nube con un H100. La tarjeta se paga sola en un año. Pero el H100 justifica su precio en el momento en que cruzas tres líneas: - Memoria: un modelo de 70B necesita ~40 GB incluso a 4 bits. Los 32 GB de la 5090 no pueden alojarlo. - Confiabilidad: la memoria ECC detecta los errores de bit que corrompen silenciosamente una ejecución de entrenamiento de 48 horas. La 5090 no tiene ninguna. - Escalabilidad: NVLink conecta H100s a 7x la velocidad de PCIe. La 5090 no tiene NVLink en absoluto. El error costoso no es elegir la tarjeta "peor". Es elegir la incorrecta para tu tarea: pagar de más por un H100 que nunca utilizarás completamente, o subestimar una 5090 y chocar contra un límite que no puedes superar con cuantización.
