Walang nagtatapon ng VRAM sa ekonomiyang ito.
Ngunit ang isang ginamit na local-AI rig ay maaari pa ring maging tunay na bargain. Ang pagkakataon ay karaniwang nasa mga lumang server platform at matiyagang paghahanap, hindi sa isang magic GPU na natagpuan sa basurahan.
Ang VRAM ang nagpapakita kung ano ang maaaring magsuot.
Ang memory bandwidth, CPU, storage, power, cooling, PCIe lanes, at software support ang nagpapasya kung gaano kagamit ang sistema.
Ang DDR4 ay maaari pa ring magiging makabuluhan. Ang DDR5 ay dapat na mas mabilis. Para sa ilang MoE workloads, ang isang mahina CPU ay maaaring sirain ang apparenth na GPU bargain.
Isang builder ay nagsalaysay na nag-ayos ng Z440, 12-core/24-thread Xeon, 128GB DDR4, at mixed storage para sa halos €250 sa loob ng ilang buwan. Magandang lead, hindi universal na build recipe.
Piliin muna ang model at speed na kayang tanggapin mo. Pagkatapos ay bumili ng bottleneck. Ang mixed GPUs at 150 t/s ay mga tanong na specific sa stack, hindi mga pangako na maaaring sagutin ng isang pile ng mga parte.