
Để trả lời câu hỏi về các cửa sổ ngữ cảnh lớn hơn cho LLMs: “có, trên các GPU có dung lượng bộ nhớ phù hợp. Lưu ý rằng kể từ M1 Max, GPU của Apple đã có dung lượng VRAM khổng lồ từ 64 - 192 GB dành cho cả tải công việc huấn luyện và suy luận. Các bài kiểm tra để huấn luyện các công cụ AI tạo sinh của riêng chúng tôi cho nghệ sĩ cần 64 GB VRAM, dù chậm hơn, nhưng ít nhất vẫn hoạt động được trên Apple Silicon. Ngay cả GPU RTX 6000 Ada cao cấp nhất cũng chỉ đạt tối đa 48 GB, nên chỉ có A100 hoặc H100 80 GB là lựa chọn duy nhất của NVIDIA, và những card này không phải là dòng desktop mà chúng ta thường gặp phổ biến ngoài kia” @JulesUrbach 28.07.23 $RENDER
