
У цій економіці ніхто не викидає VRAM. Але б/у локальна AI-система все ще може бути справжньою угодою. Можливість зазвичай полягає у застарілих серверних платформах та терплячому пошуку, а не у магічному GPU, знайденому у сміттєвому баку. VRAM показує, що може підійти. Пропускна здатність пам’яті, CPU, сховище, живлення, охолодження, PCIe-канали та підтримка програмного забезпечення вирішують, чи виглядає система придатною для використання. DDR4 все ще може мати сенс. DDR5 має бути швидшою. Для деяких навантажень MoE слабкий CPU може знищити здавалося б вигідну пропозицію GPU. Один зібирач повідомив, що зібрав Z440 з 12-ядерним/24-потоковим Xeon, 128 ГБ DDR4 та змішаним сховищем за близько 250 євро протягом кількох місяців. Корисна ідея, але не універсальний рецепт збирання. Спочатку виберіть модель та швидкість, які ви можете терпіти. Потім купуйте обмеження. Змішані GPU та 150 t/s — це питання, специфічні для стеку, а не обіцянки, які може виконати купа деталей.
