Le 30 octobre, IT之家 a rapporté que les utilisateurs de langues moins répandues pourraient devoir payer des frais plus élevés pour utiliser les services d'IA par rapport aux utilisateurs de l'anglais et d'autres langues principales.
Le 28, selon un rapport du média étranger Rest of World, une étude publiée le mois dernier par l'Alliance pour la recherche sur l'équité linguistique en IA a révélé que les modèles d'IA peuvent consommer des quantités de tokens très différentes selon les langues traitées. Les tokens, unités de base que les modèles d'IA utilisent pour traiter des données telles que le texte, les images ou l'audio, sont générés par des tokenizeurs qui divisent ces contenus. Les chercheurs ont désigné ce coût supplémentaire induit par les langues comme un « impôt sur le tokenizeur » implicite, particulièrement pénalisant pour les langues avec moins de contenu en ligne.
Des études révèlent que même parmi les 20 langues les plus utilisées sur Internet, la consommation de tokens présente des différences marquées, allant jusqu'à un écart de 1,5 à 5 fois entre la plus élevée et la plus faible. Si l'échantillon est élargi à 200 langues, cet écart s'agrandit encore davantage. Dans l'un des modèles d'IA, la consommation de tokens varie jusqu'à 17 fois entre les langues.
Une étude de marché indique qu'une startup de Bangalore paie un coût plus élevé à chaque fois qu'elle envoie une instruction à l'IA et reçoit une réponse, par rapport à ses concurrents d'Austin. Le problème posé par la « taxe sur les tokens » ne se limite pas à une augmentation des coûts : plus il y a de tokens consommés, plus la réponse de l'IA est lente et moins de contexte peut être traité efficacement.
Les régions déjà limitées en ressources informatiques et en conditions réseau sont particulièrement touchées. L’inégalité dans le traitement des tokens limite également les opportunités de participer à l’économie de l’IA.
Pratyoosh Chaudhuri, cofondateur d'Activate AI, le premier fonds de capital-risque indien axé sur l'investissement dans l'IA, a souligné que, lors de l'utilisation de langues non anglaises, la même capacité de contexte permet de contenir moins de documents et d'historiques de conversations, et que les réponses générées par l'IA sont plus difficiles à produire.
Choudhury a expliqué en prenant l’exemple de l’enseignement : « Pour bien enseigner, un professeur doit se souvenir des erreurs précédentes des élèves et des explications qu’ils ont déjà reçues. Si, lors de l’utilisation d’une certaine langue, ces historiques remplissent rapidement la fenêtre de contexte, la qualité de l’enseignement en sera finalement affectée. »
Choudhury estime que l'efficacité du traitement des langues devrait devenir une exigence fondamentale pour les produits d'IA, au même titre que l'exactitude, la vitesse et la fiabilité. « Exiger un traitement entièrement égal pour toutes les langues peut sembler irréaliste, mais les écarts considérables et persistants nécessitent une explication raisonnable et un plan d'amélioration. J'espère que tous les principaux laboratoires d'IA publieront les résultats d'évaluation pour chaque langue, en précisant le coût nécessaire pour accomplir des tâches de difficulté équivalente dans différentes langues, et s'engageront à améliorer le soutien aux langues les plus défavorisées, en réalisant des progrès mesurables. »
IT之家 a appris que l'une des solutions pour améliorer ce problème consiste à augmenter la qualité des données sous-jacentes.
Cependant, l'Alliance pour la recherche sur l'équité linguistique en intelligence artificielle a constaté que ce n'est pas seulement le nombre d'utilisateurs d'une langue qui détermine la consommation de jetons, mais aussi le type d'écriture utilisé.
Par exemple, l'asturien, qui compte peu de locuteurs et n'est pas inclus dans l'ensemble de données Common Crawl, bénéficie de l'utilisation de l'alphabet latin. Des langues apparentées, comme l'italien, qui font partie de la même famille romane et sont présentes dans les données, profitent également à l'asturien.
Maya Research CEO Diment Reddy a souligné que de nombreux tokenizeurs actuels sont toujours principalement optimisés pour des langues riches en données comme l'anglais, le problème fondamental étant le manque de données numérisées de haute qualité.
Radhi a souligné qu'améliorer les données d'entraînement en soi n'était pas suffisant : « Les prix des tokens baissent rapidement, et l'impact direct des différences de frais devrait s'atténuer progressivement. De meilleures données multilingues et des données synthétiques contribuent également à améliorer la qualité du modèle. Toutefois, pour réellement réduire l'écart de segmentation entre les différentes langues, les laboratoires d'IA doivent toujours améliorer spécifiquement la conception des prochains segmenteurs afin qu'ils gèrent mieux ces langues et ces écritures. »