IT之家, 30 de outubro: usuários de idiomas com menos usuários podem precisar pagar mais por serviços de IA do que usuários de inglês e outros idiomas principais.
Em 28 de abril, segundo relato da mídia externa Rest of World, um estudo lançado no mês passado pelo Consórcio de Pesquisa em Equidade Linguística de IA descobriu que os modelos de IA podem consumir quantidades drasticamente diferentes de Tokens ao processar diferentes idiomas. Tokens são as unidades básicas que os modelos de IA usam para processar dados como texto, com os segmentadores dividindo texto, imagens ou áudio. Os pesquisadores chamaram esse custo adicional implícito gerado por diferentes idiomas de “imposto do segmentador”, e idiomas com menos conteúdo na web são particularmente afetados.
Estudos revelam que mesmo entre as 20 línguas mais utilizadas na internet, há diferenças significativas no consumo de tokens, variando de 1,5 a 5 vezes entre o mais alto e o mais baixo. Se a amostra for expandida para 200 línguas, essa disparidade aumenta ainda mais. Em um dos modelos de IA, o consumo de tokens entre diferentes línguas pode variar até 17 vezes.
Um relatório de pesquisa indica que uma startup em Bangalore pode enfrentar custos mais altos cada vez que envia instruções ao AI e recebe uma resposta em comparação com seus concorrentes em Austin. O problema causado pelo "imposto do token" vai além do aumento de custos: quanto mais tokens forem consumidos, mais lenta será a resposta da IA e menor será a quantidade de contexto que pode ser processada efetivamente.
As regiões com recursos computacionais e condições de rede já limitados são particularmente afetadas. A desigualdade no processamento de tokens também limita a participação das pessoas na economia de IA.
Pratyush Chaudhuri, cofundador do Activate AI, o primeiro fundo de risco da Índia focado em investimentos em IA, apontou que, ao usar idiomas não ingleses, a mesma capacidade de contexto pode acomodar menos documentos e registros de conversas, e as respostas geradas por IA exigem mais esforço.
Choudhury explicou, usando o ensino como exemplo: “Para um professor ensinar bem os alunos, precisa lembrar quais erros os alunos cometeram no passado e quais explicações já receberam. Se, ao usar um determinado idioma, esses registros históricos preenchem rapidamente a janela de contexto, acabará afetando até a qualidade do ensino.”
Choudhury acredita que a eficiência no processamento de idiomas deve se tornar um requisito básico para produtos de IA, assim como precisão, velocidade e confiabilidade. “Talvez não seja realista exigir tratamento totalmente igual para todos os idiomas, mas as grandes disparidades persistentes ainda precisam de explicações razoáveis e planos de melhoria. Espero que todos os principais laboratórios de IA publiquem resultados de avaliação por idioma, indicando o custo para realizar tarefas de mesma dificuldade em diferentes idiomas, e se comprometam a melhorar o suporte aos idiomas mais fracos, alcançando progressos mensuráveis.”
A IT之家 soube pela reportagem que uma das maneiras de resolver esse problema é melhorar a qualidade dos dados subjacentes.
No entanto, a Aliança de Pesquisa sobre Equidade Linguística em Inteligência Artificial descobriu que não é apenas o número de usuários de uma língua que determina o consumo de tokens, mas também o tipo de escrita utilizado.
Por exemplo, o asturiano tem poucos falantes e não está incluído no conjunto de dados Common Crawl, mas seu uso do alfabeto latino traz vantagens. Línguas românicas como o italiano, que estão presentes nos dados, também beneficiam o asturiano.
O CEO da Maya Research, Dimant Reddy, apontou que muitos segmentadores atuais ainda são principalmente otimizados para idiomas com recursos de dados abundantes, como o inglês; a questão fundamental é a falta de dados digitais de alta qualidade.
Redi enfatizou que melhorar os próprios dados de treinamento não é suficiente: "O preço dos tokens está caindo rapidamente, e o impacto direto das diferenças de taxas deve diminuir gradualmente. Dados multilíngues e sintéticos de melhor qualidade também ajudam a elevar a qualidade do modelo. Mas para realmente reduzir a lacuna de tokenização entre diferentes idiomas, os laboratórios de IA ainda precisam aprimorar especificamente o design do próximo gerador de token, para que ele lide melhor com esses idiomas e escritas."