IT之家, 30 жовтня: користувачі мов з меншою кількістю користувачів можуть сплачувати більші платежі за використання AI-сервісів порівняно з користувачами англійської та інших основних мов.
28-го числа за місцевим часом, за повідомленням іноземних ЗМІ Rest of World, дослідження, опубліковане минулого місяця Альянсом з дослідження справедливості мов штучного інтелекту, виявило, що моделі ШІ можуть витрачати значно різну кількість токенів при обробці різних мов. Токени — це базові одиниці, які використовуються моделями ШІ для обробки тексту та інших даних, і вони створюються розбивачем тексту, зображення чи аудіо. Дослідники назвали додаткові витрати, спричинені цим, прихованим «податком на розбивач», і мови з меншою кількістю онлайн-контенту особливо піддаються цьому впливу.
Дослідження показало, що навіть серед 20 найпоширеніших мов у Інтернеті спостерігається значна різниця у споживанні токенів — до 1,5–5 разів між найвищим і найнижчим показниками. Якщо розширити тестування до 200 мов, розрив ще більше збільшиться. У одній з моделей ШІ різниця у споживанні токенів між мовами досягала 17 разів.
Дослідження вказує, що стартап з Бангалору платить більше за кожне введення команди та отримання відповіді від ШІ, ніж його конкуренти з Остіна. Проблема «податку на токени» полягає не лише у зростанні витрат: чим більше токенів споживається, тим повільніше відповідає ШІ і тим менше контексту можна ефективно обробити.
Регіони з обмеженими обчислювальними ресурсами та умовами мережі постраждали особливо сильно. Нерівність у обробці токенів також обмежує можливості людей брати участь у AI-економіці.
Пратіюш Чоудхарі, співзасновник Activate AI — першого в Індії венчурного фонду, що спеціалізується на інвестиціях у ІІ — зазначив, що при використанні мов, відмінних від англійської, той самий обсяг контексту може містити менше документів та історій діалогів, а генерація відповідей ІІ вимагає більше зусиль.
Чоудхурі пояснив на прикладі навчання: «Щоб добре викладати, викладачеві потрібно пам’ятати, які помилки робили студенти раніше та які пояснення вони вже отримували. Якщо при використанні певної мови ці історичні дані швидко заповнюють вікно контексту, це в кінцевому підсумку впливає на якість навчання».
Чоудхурі вважає, що ефективність обробки мов повинна стати базовою вимогою для продуктів ШІ, як і точність, швидкість і надійність. «Можливо, вимагати повної рівності для всіх мов нереалістично, але довготривалі значні розбіжності все ще потребують обґрунтування та плану покращення. Я бажаю, щоб усі головні лабораторії ШІ публікували результати оцінки для кожної мови, зазначаючи, скільки коштує виконання завдань однакової складності на різних мовах, та обіцяли досягти вимірюваних результатів у покращенні підтримки найслабших мов.»
IT之家 з джерел дізнався, що одним із способів вирішення цієї проблеми є підвищення якості базових даних.
Проте, Консорціум з дослідження справедливості мов штучного інтелекту виявив, що на кількість споживання токенів впливає не лише кількість користувачів певної мови, а й те, яким письмом користуються.
Наприклад, кількість користувачів астурійської мови невелика, і вона не включена в набір даних Common Crawl, але латинський алфавіт надає їй перевагу. Інші мови романської групи, такі як італійська, які присутні в даних, також корисні для астурійської мови.
Генеральний директор Maya Research Дімантер Редді зазначив, що багато сучасних токенізаторів все ще оптимізовані переважно для мов з багатими даними, таких як англійська, і основна проблема полягає у відсутності якісних цифрових даних.
Реді підкреслив, що покращення самих даних для навчання недостатнє: «Ціни на токени швидко падають, і прямий вплив різниці в комісіях поступово зменшиться. Кращі багатомовні та синтетичні дані також допоможуть підвищити якість моделі. Але щоб справді зменшити розрив у токенізації між різними мовами, лабораторіям ШІ все ще потрібно спеціально вдосконалювати дизайн наступного покоління токенізаторів, щоб вони краще обробляли ці мови та письма».