Sagot sa tanong tungkol sa mas malalaking context window para sa LLMs: “oo, sa GPUs na may angkop na memory footprint. Tandaan na mula pa sa M1 Max, ang Apple GPUs ay may nakakagulo na 64–192 GB ng VRAM na available para sa parehong training at inference workloads. Ang mga pagsubok para sa pagtatayo ng aming sariling gen AI tools para sa mga artista ay nangangailangan ng 64 GB VRAM, kahit mas mabagal, kumikilos pa rin ito sa Apple silicon. Ang pinakamataas na klase na Ada RTX 6000 ay nakakapag-antay lamang sa 48 GB, kaya ang 80 GB A100 o H100 ay ang tanging opsyon ng Nvidia, at hindi ito desktop-class na mga card na maaaring makita sa malaking bilang.” @JulesUrbach 28.07.23 $RENDER
