Tidak ada yang membuang VRAM dalam ekonomi ini.
Namun, rig AI tempatan yang sudah digunakan masih boleh menjadi tawaran yang sangat baik. Peluangnya biasanya terletak pada platform server lama dan sumber yang sabar, bukan GPU ajaib yang ditemui di tong sampah.
VRAM memberitahu anda apa yang mungkin sesuai.
Lebar pita memori, CPU, penyimpanan, kuasa, penyejukan, salur PCIe, dan sokongan perisian menentukan sama ada ia kelihatan boleh digunakan.
DDR4 masih boleh bermakna. DDR5 sepatutnya lebih pantas. Untuk beberapa beban kerja MoE, CPU yang lemah boleh merusak tawaran GPU yang kelihatan.
Seorang pembina melaporkan bahawa mereka membina Z440, Xeon 12-inti/24-benang, 128GB DDR4, dan penyimpanan campuran dengan kos sekitar €250 dalam tempoh beberapa bulan. Petunjuk yang berguna, bukan resepi pembinaan universal.
Pilih model dan kelajuan yang anda tahan terlebih dahulu. Kemudian beli bottleneck tersebut. GPU campuran dan 150 t/s adalah soalan khusus stack, bukan janji yang boleh dipenuhi oleh tumpukan komponen.