NVIDIA'nin H100'u en fazla 40.000 dolar. RTX 5090, bir oyun kartı, yaklaşık 2.000 dolar. AI'yi gerçekten çalıştırmak için bu 15 katlık farkın ne kadarı gerçek? Çoğu kişi için, beklentinizden daha azı. 32 GB'a sığan herhangi bir iş yükü için (tam hassasiyetle yaklaşık 13B'a kadar modeller, kuantize edilmiş şekilde yaklaşık 32B), 2.000 dolarlık 5090, satın alabileceğiniz en iyi performans/para oranına sahip. Bu çok yakın değil. Küçük bir modeli ince ayarlamak mı istiyorsunuz? Kendi sahibi olduğunuz 5090'da yaklaşık 2 dolarlık elektrik maliyetiyle yapacağınız bir işlem, eşdeğer bulut H100 zamanını kiralamak için yaklaşık 50 dolar maliyetine mal olur. Bu kart bir yıl içinde kendi maliyetini karşılar. Ancak H100, üç hatı aştığınız anda fiyatını hak eder: - Bellek: 70B bir model, hatta 4-bit'te bile yaklaşık 40 GB gerektirir. 5090'ın 32 GB'ı bunu tutamaz. - Güvenilirlik: ECC bellek, 48 saatlik bir eğitim işlemini sessizce bozan bit hatalarını tespit eder. 5090'nın bunu yapacak bir özelliği yoktur. - Ölçeklenebilirlik: NVLink, H100'leri PCIe hızının 7 katı hızda bağlar. 5090'nın hiç NVLink'i yoktur. Pahalı hata, "daha kötü" kartı seçmek değil; işiniz için yanlış kartı seçmek: Tamamen kullanmayacağınız bir H100 için fazla ödeme yapmak ya da 5090'ı yetersiz almak ve kuantizasyonla aşamayacağınız bir duvara çarpmak.