
У відповідь на питання про більші контекстні вікна для LLM: “так, на GPU з відповідним об’ємом пам’яті. Зверніть увагу, що з моменту M1 Max, GPU Apple мають дуже великий об’єм VRAM — від 64 до 192 ГБ, доступний як для навчання, так і для висновків. Тести для навчання наших власних інструментів генеративного ІІ для художників вимагають 64 ГБ VRAM, і хоча це повільніше, хоча б працює на Apple Silicon. Навіть найпотужніша Ada RTX 6000 має максимум 48 ГБ, тому 80 ГБ A100 або H100 — єдиний варіант від NVIDIA, але це не настільні карти, які ми зустрінемо в масовому використанні” @JulesUrbach 28.07.23 $RENDER
