Дописи
avatar

У відповідь на питання про більші контекстні вікна для LLM: “так, на GPU з відповідним об’ємом пам’яті. Зверніть увагу, що з моменту M1 Max, GPU Apple мають дуже великий об’єм VRAM — від 64 до 192 ГБ, доступний як для навчання, так і для висновків. Тести для навчання наших власних інструментів генеративного ІІ для художників вимагають 64 ГБ VRAM, і хоча це повільніше, хоча б працює на Apple Silicon. Навіть найпотужніша Ada RTX 6000 має максимум 48 ГБ, тому 80 ГБ A100 або H100 — єдиний варіант від NVIDIA, але це не настільні карти, які ми зустрінемо в масовому використанні” @JulesUrbach 28.07.23 $RENDER

Цей контент призначений виключно для інформаційних та освітніх цілей. Він може містити думки третіх осіб, спонсорований контент або рекламні матеріали, за які автор може отримувати оплату. Жодна інформація в цій стрічці не є інвестиційною порадою чи гарантією прибутковості. Ви несете повну відповідальність за власні інвестиційні рішення. Перед початком торгівлі завжди проводьте власне дослідження та дотримуйтесь обережності. Ми не гарантуємо точність інформації від третіх осіб і не несемо відповідальності за будь-які збитки. Минулі результати не є показником майбутніх. Дивіться наші Умови спільноти та Заяву про ризики для отримання детальної інформації.

avatarОпублікуйте відповідь

Коментувати