NVIDIA-এর H100-এর দাম পর্যন্ত $40,000। একটি গেমিং কার্ড RTX 5090-এর দাম প্রায় $2,000। AI চালানোর জন্য, এই 15x পার্থক্যের মধ্যে কতটা বাস্তব? অধিকাংশ মানুষের জন্য, আপনি যা ভাবছেন তার চেয়ে কম। যেকোনো কাজের জন্য যা 32GB-এ ফিট হয় (পূর্ণ প্রিসিশনে ~13B পর্যন্ত মডেল, কোয়ান্টাইজড ~32B), $2,000-এর 5090 হল আপনি কিনতে পারবেন এমন সবচেয়ে ভালো পারফরম্যান্স-পার-ডলার। এটি খুবই দূরে। একটি ছোট মডেল ফাইন-টিউন করছেন? 5090-এর মালিকানাধীন একটি রানের বিদ্যুৎখরচ ~$2, যখন সমতুল্য ক্লাউড H100 সময় ভাড়া করলে খরচ ~$50। এই কার্ডটি এক বছরের মধ্যেই নিজেকে ফিরিয়ে আনবে। কিন্তু H100-এর দামটি তখনই যুক্তিসঙ্গত হয়, যখন আপনি তিনটি সীমানা অতিক্রম করেন: - মেমোরি: 70B মডেলের জন্য 4-বিটেও ~40GB-এর প্রয়োজন। 5090-এর 32GB-এর মধ্যে এটি ফিট হয় না। - বিশ্বস্ততা: ECC মেমোরি 48-ঘণ্টার ট্রেনিং রানকে চুপচাপভাবেক্ষতির কারণকারী bit-flips-গুলি ধরে। 5090-এর কোনো ECC-ই নেই। - স্কেল: NVLink H100-গুলিকে PCIe-এর 7xগুণ গতিতে সংযুক্ত করে। 5090-এর NVLink-এরই অস্তিত্ব নেই। মহানভুলটি "খারাপ" কার্ডটি বাছা। এটি হলো—আপনার কাজের জন্যভুল্‌কার্ডটি: H100-এরজন্যঅতিরিক্তপরিশ্রমকরা,যাআপনিকখনওপূর্ণভাবেব্যবহারকরবেননা,অথবা5090-এরজন্যঅপর্যাপ্তভাবেকিনা,যাআপনিকখনওকোয়ান্টাইজকরতেপারবেননা।