
Menanggapi soal tentang jendela konteks yang lebih besar untuk LLM: “ya, pada GPU dengan jejak memori yang sesuai. Perlu diperhatikan bahawa sejak M1 Max, GPU Apple telah menyediakan VRAM sebanyak 64 - 192 GB yang boleh digunakan untuk beban kerja latihan dan inferens. Ujian untuk melatih alat AI generatif kami sendiri untuk seniman memerlukan 64 GB VRAM, walaupun lebih perlahan, ia sekurang-kurangnya berfungsi pada Silicon Apple. GPU RTX 6000 Ada teratas hanya mencapai 48 GB, jadi A100 atau H100 80 GB adalah satu-satunya pilihan Nvidia, dan kartu-kartu ini bukanlah kelas desktop yang biasa kita jumpai dalam jumlah besar” @JulesUrbach 28.07.23 $RENDER
