Anthropic a déployé une optimisation de l'interface utilisateur sur le rendu des réponses en streaming de Claude le 24 août, pour résoudre un problème bien connu de ceux qui ont essayé d'obtenir une réponse longue d'un chatbot IA sur un ancien appareil : le cycle frustrant de saccades et de gel qui transforme une conversation en diaporama.
La mise à jour s'applique aux applications web et bureau de Claude. Selon Anthropic, les réponses longues sont désormais diffusées environ 4 fois plus fluidement, les interruptions sur les ordinateurs portables lents diminuent de 9 fois, et les blocages dans les pires cas sont réduits de 4,5 fois. Sur le matériel qui le prend en charge, comme les MacBook 120 Hz, le moteur d'affichage peut maintenir 120 images par seconde pendant la diffusion de la sortie.
Qu'est-ce qui a réellement changé en coulisses
La correction principale est élégante par sa simplicité. Auparavant, chaque jeton entrant du modèle de Claude déclenchait un rafraîchissement complet du conteneur de réponse, ou du moins une grande partie de celui-ci. La nouvelle approche limite les mises à jour de l'interface aux seuls éléments qui ont réellement changé, ce qui réduit considérablement la charge informatique par jeton, ce qui est crucial sur les machines avec une capacité GPU limitée ou des processeurs plus anciens.
Critiquement, Anthropic n'a apporté aucune modification à ses modèles ou à son API avec cette version. La vitesse de génération, la qualité des sorties et le pipeline d'inférence sous-jacent restent inchangés. Il s'agit uniquement d'une amélioration au niveau de la couche de présentation.
Pourquoi la performance de l'interface utilisateur compte dans la course à l'IA
Le chiffre de 120 images par seconde en régime soutenu est particulièrement révélateur. La plupart des applications web n'ont pas à se préoccuper des fréquences d'images, mais les rendus de texte en streaming sont effectivement des animations. Chaque nouveau jeton constitue une mise à jour d'image. Lorsque vous générez des centaines de jetons pour une réponse longue, cela correspond à des centaines de mises à jour d'images séquentielles, et toute interruption devient visible sous forme de saccade ou de gel.
Atteindre 120 images par seconde sur du matériel compatible permet au moteur de rendu d'Anthropic de correspondre désormais à la fréquence de rafraîchissement des écrans ProMotion d'Apple sans perdre d'images.
La boucle de rétroaction et ses limites
La réception des utilisateurs sur les réseaux sociaux a été largement positive, de nombreux utilisateurs notant que l'amélioration était immédiatement perceptible lors de conversations prolongées. Toutefois, certaines réponses ont mis en lumière une tension à laquelle Anthropic et toutes les autres entreprises d'IA font face : polir l'interface ne corrige pas le modèle. Plusieurs utilisateurs ont souligné qu'un streaming plus fluide ne suffit pas lorsque Claude invente une citation ou fournit avec confiance des informations incorrectes.
La mise à jour a également des implications pour les ambitions entreprises d'Anthropic. Les utilisateurs professionnels utilisent souvent du matériel standardisé qui est plus ancien que celui utilisé par les développeurs et les premiers adoptants. Une réduction de 9 fois des blocages sur les ordinateurs portables plus lents n'est pas seulement une statistique agréable pour un article de blog. C'est la différence entre un déploiement entreprise que les employés utilisent réellement et un autre qu'ils abandonnent au bout d'une semaine de gelings frustrants au profit d'un concurrent.