
Menanggapi pertanyaan tentang jendela konteks yang lebih besar untuk LLM: “ya, pada GPU dengan footprint memori yang sesuai. Perlu dicatat bahwa sejak M1 Max, GPU Apple memiliki VRAM sebesar 64 - 192 GB yang tersedia untuk beban kerja pelatihan dan inferensi. Uji coba untuk melatih alat gen AI kami sendiri bagi seniman membutuhkan 64 GB VRAM, meskipun lebih lambat, setidaknya berfungsi di Apple silicon. GPU RTX 6000 Ada teratas hanya mencapai 48 GB, sehingga A100 atau H100 80 GB adalah satu-satunya pilihan NVIDIA, dan kartu-kartu tersebut bukan kartu kelas desktop yang bisa kita temukan dalam jumlah besar” @JulesUrbach 28.07.23 $RENDER
