Em resposta a uma pergunta sobre janelas de contexto maiores para LLMs: “sim, em GPUs com footprint de memória adequado. Observe que, desde o M1 Max, as GPUs da Apple têm disponibilizado 64 a 192 GB de VRAM para cargas de trabalho de treinamento e inferência. Os testes para treinar nossas próprias ferramentas de IA generativa para artistas exigem 64 GB de VRAM; mesmo que mais lento, pelo menos funciona no Apple Silicon. A melhor RTX Ada 6000 alcança no máximo 48 GB, então a A100 ou H100 de 80 GB é a única opção da NVIDIA, e essas não são placas de classe desktop que encontraríamos em grande quantidade por aí” @JulesUrbach 28.07.23 $RENDER