IT之家 10 октября сообщило, что пользователи языков с низким уровнем распространения могут платить более высокую плату за использование услуг ИИ по сравнению с пользователями английского и других основных языков.
28-го числа по местному времени, по сообщению зарубежных СМИ Rest of World, исследование, опубликованное в прошлом месяце Консорциумом по этическому изучению ИИ, выявило, что модели ИИ могут потреблять значительно разное количество токенов при обработке различных языков. Токены — это базовые единицы, которыми ИИ-модели обрабатывают текстовые и другие данные, и они создаются токенизаторами путем разбиения текста, изображений или аудио. Исследователи назвали дополнительные затраты, возникающие из-за различий между языками, скрытой «налогом на токенизацию», и языки с меньшим объемом онлайн-контента особенно подвержены этому влиянию.
Исследования показывают, что даже среди 20 самых распространенных языков в интернете наблюдается значительная разница в потреблении токенов — до 1,5–5 раз между самым высоким и самым низким показателями. Если расширить тестирование до 200 языков, разрыв станет еще больше. В одном из ИИ-моделей потребление токенов различалось до 17 раз между языками.
Исследование показывает, что стартап из Бангалора платит более высокую стоимость за каждый ввод команды и получение ответа от ИИ по сравнению с конкурентами из Остина. Проблема «налога на токенизацию» выходит за рамки роста затрат: чем больше токенов потребляется, тем медленнее отвечает ИИ и тем меньше контекста он может эффективно обработать.
Особенно сильно пострадали регионы с ограниченными вычислительными ресурсами и условиями сети. Неравенство в обработке текстов также ограничивает возможности людей участвовать в экономике ИИ.
Пракаш Чоудхари, сооснователь первой в Индии венчурной инвестиционной компании, специализирующейся на инвестициях в ИИ, Activate AI, отметил, что при использовании неанглийских языков один и тот же объем контекста может вместить меньше документов и записей диалогов, а ответы, генерируемые ИИ, требуют больше усилий.
Чоудхури объяснил на примере обучения: «Чтобы хорошо обучать студентов, преподаватель должен помнить, какие ошибки студенты допускали ранее и какие объяснения им уже давались. Если при использовании некоторого языка эти исторические данные быстро заполняют окно контекста, в конечном итоге это повлияет даже на качество обучения».
Чодхури считает, что эффективность обработки языков должна стать базовым требованием для продуктов ИИ, наравне с точностью, скоростью и надежностью. «Требовать полного равенства для всех языков, возможно, нереалистично, но длительные и значительные различия все же требуют разумного объяснения и плана улучшений. Я надеюсь, что все крупные лаборатории ИИ опубликуют оценки по каждому языку, указав, сколько стоит выполнение задач одинаковой сложности на разных языках, и обязуются улучшить поддержку самых слабых языков, добившись измеримого прогресса.»
IT之家 узнал из отчета, что одним из способов улучшения этой проблемы является повышение качества базовых данных.
Однако Альянс по исследованию справедливости языков в области искусственного интеллекта обнаружил, что на количество потребляемых токенов влияет не только количество пользователей того или иного языка, но и то, какая письменность используется.
Например, число носителей астурийского языка невелико, и он не включен в набор данных Common Crawl, но использование латинского алфавита приносит ему преимущества. Языки-родственники из романской группы, такие как итальянский, представлены в данных и также способствуют развитию астурийского языка.
Генеральный директор Maya Research Димант Редди отметил, что многие существующие токенизаторы все еще в основном оптимизированы для языков с богатыми ресурсами, таких как английский, и основная проблема заключается в отсутствии качественных цифровых данных.
Рэди подчеркнул, что улучшение самих обучающих данных недостаточно: «Цены на токены быстро падают, и прямое влияние различий в комиссиях постепенно ослабнет. Более качественные многоязычные и синтетические данные также помогут повысить качество модели. Однако для настоящего сокращения разрыва в токенизации между различными языками лабораториям ИИ все еще необходимо специально улучшить дизайн следующего поколения токенизаторов, чтобы они лучше справлялись с этими языками и письменностями».