NVIDIA publie un guide d'inférence IA, une accélération sans perte de 6x menée par des équipes chinoises

Récemment, NVIDIA a publié un guide officiel sur l'inférence de grands modèles, mais en le parcourant, on a presque l'impression de lire une collection d'articles d'équipes chinoises.

C'est comme ça.

Le 2 septembre, le blog technique de NVIDIA a publié un long article intitulé « Déchiffrer la conception collaborative de modèles d'IA à l'aide de la spéculation ».

Le cœur de l'article est un tableau de comparaison qui présente côte à côte les six solutions d'accélération de l'inférence les plus répandues, en détaillant clairement les coûts d'entraînement et les scénarios d'application.

Son importance réside dans le fait que ce leader des puces a rarement, sous une forme officielle, établi des normes sur la manière dont les modèles doivent être conçus en s'adaptant aux limites physiques du matériel.

Et lorsqu'ils regardent autour d'eux pour trouver la solution optimale qui danse aux limites de la puce, les solutions centrales du guide sont presque toutes dirigées par des équipes chinoises.

Cela dépasse largement le cadre d'une simple revue d'algorithmes. Quels secrets cette table révèle-t-elle ? Décortiquons-la ligne par ligne.

Pour comprendre ce tableau, il faut d'abord comprendre ce que signifie « speculative decoding ».

Les grands modèles émettent les mots un par un. Chaque fois qu’un mot est généré, plusieurs centaines de Go de paramètres doivent parcourir intégralement la mémoire GPU. En réalité, la plupart du temps, la puissance de calcul attend simplement que les données soient transférées depuis la mémoire.

La solution de « Déchiffrage spéculatif » est très simple et directe —

Commencez par utiliser un petit modèle léger pour une prédiction préliminaire et devinez sept caractères d'un coup ; puis faites valider ces sept caractères en une seule fois par le grand modèle.

Vérifier 7 caractères prend à peu près autant de temps qu’en écrire soi-même 1, puisque les poids doivent tous être déplacés de toute façon.

Celui qui devine juste reçoit directement, celui qui se trompe recommence à partir du point d'arrêt. Étant donné que le grand modèle n'accepte que les caractères qu'il écrit naturellement, la sortie finale ne nécessite aucun changement de ponctuation. C'est ce qu'on appelle l'« accélération sans perte ».

Dans ce jeu, toute la pression sur la puissance de calcul est centrée sur une formule mathématique fondamentale :

Speedup = 𝔼[L] × TtargetTdraft + Tverify

Le numérateur est l'espérance 𝔼[L], qui représente la longueur attendue acceptée (le nombre moyen de caractères que le grand modèle sélectionne par tour).

The denominator is the additional cost you incur: the time for the small model to make a prediction (Tdraft) plus the time for the large model to perform final verification (Tverify).

Pour faire exploser le facteur d'accélération, il n'y a que deux chemins : soit augmenter le numérateur (deviner plus précisément), soit comprimer au maximum le dénominateur (deviner plus rapidement).

En suivant le tableau de NVIDIA de haut en bas, vous verrez une ligne directrice claire de la bataille.

La première ligne est le plus ancien « modèle de brouillon externe », il faut entraîner un petit modèle séparé en tant qu'assistant.

NVIDIA a directement révélé une facture exorbitante : l'entraînement depuis le début consomme entre 1T et 10T de tokens, ce qui représente un coût très élevé.

Cependant, il reste sur la liste parce que NVIDIA lui a assigné une destination spécifique — les puces Groq (LPU) qu'ils ont acquises pour 20 milliards de dollars.

La dernière ligne utilise une méthode de recherche dans une table n-gram sans entraînement, qui copie directement des fragments répétés trouvés dans le texte précédent, et ne convient qu'à des scénarios rigides nécessitant une copie-collage de longs extraits.

Ce qui représente véritablement l'évolution technologique, ce sont les quatre lignes du milieu.

Deuxième ligne : EAGLE-3.

Équipe de Yuhui Li de l'Université de Pékin et Hongyang Zhang de l'Université de Waterloo, entre autres.

De l'ICML à l'EMNLP, puis jusqu'au NeurIPS, trois générations en trois ans, poussant le chemin traditionnel de « deviner mot par mot » à sa limite physique.

Il était autrefois le dominateur absolu de ce domaine, mais dans le nouveau classement d'NVIDIA, il a été relégué au « poste de référence » pour une raison très courte : sa longueur d'acceptation a été dépassée par les nouvelles vagues.

Troisième ligne : MTP (Multi-Token Prediction).

Bien que l'idée ait été introduite par Meta en 2024, c'est elle qui a été établie comme la norme pour l'inférence des grands modèles DeepSeek -V3.

NVIDIA reçoit d'excellentes évaluations — le meilleur choix pour les grands modèles sur GPU. L'essentiel est que cette solution doive être entraînée en parallèle avec le modèle principal dès la phase de pré-entraînement.

Ligne 4 : DFlash. Le joueur sérieux qui obtient une accélération sans perte de 6 fois.

Les trois auteurs Jian Chen, Yesheng Liang et Zhijian Liu. Il rejette complètement la méthode séquentielle « un mot à la fois » utilisée par EAGLE et MTP, et s'inspire au lieu de cela des modèles de diffusion pour générer directement, en un seul calcul avant, la séquence de 7 tokens, réduisant ainsi le dénominateur (le temps) à son minimum.

By the way, the advisor Zhijian Liu is an assistant professor at UCSD, but he is also a research scientist at NVIDIA Research.

Ligne 5 : DSpark. Développé par une équipe mixte de 24 personnes de DeepSeek et de l'Université de Pékin.

L'architecture parallèle de DFlash est rapide, mais présente un défaut fatal : plus on avance, moins les prédictions sont précises. Pour forcer l'augmentation du numérateur (longueur acceptée), DSpark ajoute à sa base parallèle un module sériel extrêmement léger.

Les données réelles sont très claires : la longueur acceptée est augmentée de près de 30 % par rapport à EAGLE-3 et de 18 % par rapport à DFlash. Dans DeepSeek Dans l'environnement de production en ligne V4, la vitesse est supérieure de 60 % à 85 % à celle de MTP.

Ces quatre générations de technologie parviennent à exploiter la puissance de calcul à ce point, non seulement grâce à des idées algorithmiques ingénieuses.

Beaucoup pensent que plus ils devinent de choses en une seule tentative, plus ils gagnent, mais cela ignore complètement les lois physiques des puces.

Lorsque l'attention représente la majeure partie du temps de décodage, le nombre total de tokens à traiter lors de la phase de validation du modèle est de 1+D (1 entrée réelle + D prédictions de brouillon).

Pour alimenter ces données à la GPU, le matériel regroupe en bas niveau les en-têtes Query et KV, et la taille des blocs de noyaux d'attention par groupe doit être strictement limitée par les limites physiques de la matrice GPU (Tile Size, généralement de 128 dans les architectures actuelles).

Voici la formule d'alignement de base : G × (1 + D) ≤ 128

En déduisant légèrement, on obtient le principe fondamental du guide NVIDIA :

D = 128G − 1

Parmi ceux-ci, G est le nombre de groupes d'attention (rapport entre les têtes Query et les têtes KV).

Cela signifie que la façon dont votre modèle regroupe l'attention dès sa conception détermine directement le nombre de caractères que le brouillon doit deviner pour remplir parfaitement les blocs GPU.

Si G=8, vous pouvez deviner exactement 15 drafts ; si G=32, vous ne pouvez deviner que 3. Le matériel ne peut pas franchir la limite : même si vous n'utilisez que la moitié du dernier Tile, la puissance de calcul est facturée pour un Tile entier.

Auparavant, le décodage par anticipation était un package d'accélération ajouté en externe par l'équipe d'ingénierie après la formation du modèle. Mais aujourd'hui, les lois physiques fondamentales vous indiquent qu'une constante de matrice matérielle est directement rétro-injectée dans les paramètres de conception de l'architecture du modèle.

Dans notre mémoire, peu de fabricants de puces ont jamais intégré ainsi une équation de contrainte matérielle de base dans le schéma de conception d’un grand modèle.

Le centre de la compétition en matière d'efficacité d'exécution des modèles a complètement changé.

L'ère de l'accumulation pure et simple de paramètres massifs est en train de s'achever ; aujourd'hui, la victoire dépend de qui comprend le mieux les limites physiques de ce morceau de silicium sous nos pieds.

Sur ce nouveau terrain où les géants des puces ont inversé les règles, l'équipe chinoise est devenue la réponse par défaut pour briser la situation.

Un géant de la puissance de calcul comme NVIDIA ne se soucie évidemment pas de quel algorithme est affiché sur l’étagère.

Mais qui a conçu cette solution optimale pour exploiter jusqu'aux limites des wafers, c'est écrit noir sur blanc, clairement indiqué.

Cet article provient du compte WeChat « Nouvelle Intelligence », auteur : ASI Révélation