En réponse à une question sur des fenêtres de contexte plus grandes pour les LLM : « oui, sur des GPU avec une empreinte mémoire adaptée. Notez que depuis le M1 Max, les GPU Apple disposent de 64 à 192 Go de VRAM disponibles pour les charges de travail d’entraînement et d’inférence. Les tests pour l’entraînement de nos propres outils d’IA générative pour artistes nécessitent 64 Go de VRAM ; même si c’est plus lent, cela fonctionne au moins sur Apple Silicon. La meilleure carte RTX Ada 6000 atteint tout juste 48 Go, donc les 80 Go des A100 ou H100 ne sont disponibles que chez NVIDIA, et ce ne sont pas des cartes de bureau que l’on trouve en grand nombre. » @JulesUrbach 28.07.23 $RENDER