IT之家, 30 de octubre: Los usuarios de idiomas con menor uso pueden tener que pagar más por los servicios de IA que los usuarios de inglés y otros idiomas principales.
El 28, según informó el medio extranjero Rest of World, un estudio publicado el mes pasado por la Alianza para la Investigación de la Equidad Lingüística en IA descubrió que los modelos de IA pueden consumir cantidades muy distintas de Tokens al procesar diferentes idiomas. Los Tokens son la unidad básica que los modelos de IA utilizan para procesar datos como texto, imagen o audio, generados mediante un tokenizador que divide el texto, la imagen o el audio. Los investigadores denominaron a este costo adicional provocado por los distintos idiomas "impuesto del tokenizador" implícito, y los idiomas con menos contenido en la red son particularmente afectados.
Los estudios revelan que incluso entre las 20 lenguas más utilizadas en internet, el consumo de tokens presenta diferencias significativas, con una variación de hasta 1.5 a 5 veces entre el más alto y el más bajo. Si se amplía el rango de prueba a 200 idiomas, esta brecha se amplía aún más. En uno de los modelos de IA, el consumo de tokens entre diferentes idiomas varía hasta en 17 veces.
Un informe de investigación indica que una startup en Bangalore puede incurrir en costos más altos cada vez que ingresa instrucciones a la IA y recibe una respuesta en comparación con sus competidores en Austin. El problema causado por el "impuesto del tokenizador" no se limita solo al aumento de costos: cuanto más se consumen los tokens, más lenta se vuelve la respuesta de la IA y menor es la cantidad de contexto que puede procesar eficazmente.
Las regiones con recursos computacionales y condiciones de red limitadas se ven afectadas particularmente gravemente. La desigualdad en el procesamiento de tokens también limita la participación de las personas en la economía de la IA.
El cofundador de Activate AI, la primera firma de capital de riesgo de la India enfocada en inversiones en IA, Pratyush Choudhury, señaló que al usar idiomas que no son el inglés, la misma capacidad de contexto puede contener menos documentos y registros de conversaciones, y las respuestas generadas por IA requieren más esfuerzo.
Choudhury explicó con el ejemplo de la enseñanza: “Para que un profesor enseñe bien a sus estudiantes, debe recordar qué errores cometieron anteriormente y qué explicaciones ya recibieron. Si se utiliza un cierto idioma, estos registros históricos llenan rápidamente la ventana de contexto, lo que finalmente afecta la calidad de la enseñanza.”
Choudhury cree que la eficiencia en el procesamiento del lenguaje debe convertirse en un requisito básico para los productos de IA, al igual que la precisión, la velocidad y la confiabilidad. “Quizá no sea realista exigir un trato completamente igualitario para todos los idiomas, pero las grandes brechas persistentes aún requieren una explicación razonable y un plan de mejora. Espero que todos los principales laboratorios de IA publiquen los resultados de evaluación para cada idioma, indicando cuánto cuesta realizar tareas de la misma dificultad en diferentes idiomas, y se comprometan a mejorar el soporte para los idiomas más débiles, logrando progresos cuantificables.”
IT之家 ha sabido por el informe que una de las formas de mejorar este problema es aumentar la calidad de los datos subyacentes.
Sin embargo, la Alianza para la Investigación sobre la Equidad Lingüística en la Inteligencia Artificial descubrió que no solo el número de hablantes de un idioma determina el consumo de tokens, sino que también es importante qué escritura se utiliza.
Por ejemplo, el asturiano tiene pocos hablantes y no está incluido en el conjunto de datos Common Crawl, pero su uso del alfabeto latino le brinda ventajas. Idiomas romances como el italiano, que sí están cubiertos en los datos, también benefician al asturiano.
El CEO de Maya Research, Diment Reddy, señaló que muchos tokenizadores actuales aún están optimizados principalmente para idiomas con abundantes recursos de datos, como el inglés, y el problema fundamental radica en la falta de datos digitales de alta calidad.
Reddy enfatizó que mejorar los propios datos de entrenamiento no es suficiente: "El precio de los tokens está cayendo rápidamente, y el impacto directo de las diferencias en tarifas debería disminuir gradualmente. Datos multilingües y sintéticos de mejor calidad también ayudan a mejorar la calidad del modelo. Pero para cerrar realmente la brecha de tokenización entre diferentes idiomas, los laboratorios de IA aún necesitan mejorar específicamente el diseño del próximo generación de tokenizadores, para que manejen mejor estos idiomas y escrituras."