En respuesta a una pregunta sobre ventanas de contexto más grandes para LLMs: “sí, en GPUs con una huella de memoria adecuada. Tenga en cuenta que desde el M1 Max, las GPUs de Apple tienen una cantidad increíble de 64 a 192 GB de VRAM disponible para cargas de trabajo de entrenamiento e inferencia. Las pruebas para entrenar nuestras propias herramientas de IA generativa para artistas requieren 64 GB de VRAM; incluso si es más lento, al menos funciona en Apple Silicon. La mejor RTX Ada 6000 alcanza un máximo de 48 GB, por lo que la A100 o H100 de 80 GB es la única opción de NVIDIA, y esas no son tarjetas de escritorio que encontremos en masa por ahí” @JulesUrbach 28.07.23 $RENDER