
L'architecture du modèle commence à ressembler moins à un réseau neuronal fixe et davantage à un environnement d'exécution. Acheminer différentes entrées à travers différents experts. Allouer les ressources de calcul de manière dynamique. Modifier la profondeur. Mettre à jour la mémoire. Adapter les paramètres lors de l'inférence. La question intéressante n'est plus seulement : « Quelle est la taille du modèle ? » Mais : « Que choisit le modèle d'exécuter ? »
