IT之家 10月30日情報、使用人数の少ない言語のユーザーは、AIサービスを利用する際に、英語およびその他の主要言語のユーザーよりも高い料金を支払う必要がある可能性があります。
現地時間28日、海外メディアRest of Worldの報道によると、人工知能言語公平研究連盟は先月、AIモデルが異なる言語を処理する際に消費するトークン数に大きな差が生じる可能性があるという研究結果を発表した。トークンは、AIモデルがテキストなどのデータを処理する基本単位であり、トークナイザーによってテキスト、画像、音声が分割されて形成される。研究者たちは、この言語ごとの追加コストを「トークナイザー税」と呼んでおり、ネット上のコンテンツが少ない言語ほど影響を受けやすい。
研究によると、インターネットで最も一般的な20言語でも、トークン消費量に顕著な差が見られ、最も高い言語は最も低い言語の1.5倍から5倍です。テスト対象を200言語に拡大すると、この差はさらに広がります。あるAIモデルでは、言語間のトークン消費量の差が最大で17倍に達しました。
研究報告によると、バンガロールのスタートアップ企業は、AIに指示を入力し回答を得るたびに、オースティンの競合他社よりも高いコストを支払う可能性がある。「トークン化税」の問題は、コストの上昇だけにとどまらない。消費されるトークンが増えるほど、AIの応答速度は遅くなり、効果的に処理できるコンテキストの量も減少する。
計算リソースやネットワーク環境が元々限られている地域ほど、その影響が深刻です。分詞処理における不平等は、人々がAI経済に参加する機会を制限しています。
インド初のAI投資に特化したベンチャーキャピタル、Activate AIの共同設立者プラティユシュ・チョードリーは、英語以外の言語を使用する場合、同じコンテキスト容量ではより少ないドキュメントや対話履歴を収容でき、AIが回答を生成するのもより困難になると指摘した。
ジョドゥリーは教育の例を挙げて説明した。「教師が生徒を効果的に教えるには、生徒が過去にどのような誤りを犯し、どのような説明を受けたかを覚えておく必要がある。ある言語を使用する際、これらの履歴がすぐにコンテキストウィンドウを満たし、最終的には教育の質にも影響を及ぼす可能性がある。」
ジョドゥリーは、言語処理の効率性を、正確性、速度、信頼性と同様に、AI製品の基本的な要件とすべきだと考えている。「すべての言語に完全な平等な扱いを求めるのは現実的ではないかもしれないが、長年にわたって存在する大きな格差には合理的な説明が必要であり、改善計画を策定すべきである。私は、すべての主要なAI研究所が、各言語の評価結果を公表し、同じ難易度のタスクを異なる言語で実行するのにそれぞれいくらかかるかを明示し、最も弱い言語のサポートを改善して定量的な進展を達成することを約束することを望む。」
IT之家の報道によると、この問題を改善する方法の一つは、基盤データの品質を向上させることである。
しかし、AI言語公平研究コンソーシアムは、トークン消費量を決定する要因は、ある言語の使用人数だけでなく、使用される文字体系も同様に重要であることを発見しました。
例えば、アストゥリアス語の話者は少なく、Common Crawlデータセットにも含まれていないが、ラテン文字を使用していることが利点となっている。イタリア語など同じロマン語族に属する言語がデータに含まれているため、アストゥリアス語も恩恵を受けている。
Maya ResearchのCEOであるディマンテ・レディは、現在多くのトークナイザーが、英語などのデータリソースが豊富な言語に最適化されており、根本的な問題は高品質なデジタルデータの欠如であると指摘した。
レディは、訓練データ自体の改善だけでは不十分だと強調した。「トークン価格は急速に下落しており、料金差による直接的な影響は徐々に軽減されるだろう。より優れた多言語データや合成データもモデル品質の向上に貢献する。しかし、異なる言語間のトークナイズギャップを真正に縮小するには、AI研究所が次世代のトークナイザー設計を専門的に改善し、これらの言語や文字をより適切に処理できるようにする必要がある。」