CLEAR измерила налог на токенизатор в разных языках

📌CLEAR измерила налог на токенизатор в разных языках Объединение Coalition for Language Equity in AI Research (CLEAR), опубликовало первое из своих исследований языкового равенства. Поставщики моделей берут плату за токен независимо от языка, а токенизаторы обучены в основном на английском и десятке высокоресурсных языков, поэтому текст на остальных распадается на более мелкие куски и обходится дороже при том же смысле. На одну фразу токенизатор GPT-5 расходует 13 токенов в английском варианте, 26 в малаялам и 78 в амхарском, потому что каждый знак эфиопского письма разбивается на два токена по одному байту. Ввод на амхарском выходит в шесть раз дороже английского при том же содержании и почти том же числе символов. Замеры проводили на наборе фраз FLORES-200, в анализ взяли 203 пары языка и письменности. Главная метрика - отношение числа токенов у самого дорогого языка к самому дешёвому, в дополнение считали коэффициент Джини, взятую из экономики меру неравномерности распределения, которой обычно описывают расслоение доходов. CLEAR придумала шкалу оценки: до трёх раз A, до шести B, до девяти C, до двенадцати D, выше - F. 🟡 Результаты На двадцати самых представленных в интернете языках модели почти равны между собой, разброс от 1,5 до 3,1 раза. На всех 200 языках единственная модель, кто получил высший грейд А - это переводческая NLLB-200, собранная под 200+ языков изначально. Gemini и Gemma получили оценку B. Китайский стек (Qwen 3, DeepSeek V4.1 Flash и Kimi K3) вместе с Fable 5, Opus 4.8 и Llama 4 Scout - D , у GPT-5 - F. 🟡Письменность важнее числа говорящих Латинские языки экономнее даже при малом распространении - астурийский в данных Common Crawl не встречается, но выигрывает от латиницы и родственных романских языков. Хуже всего приходится бирманскому, тибетскому, тифинагу, кхмерскому, лаосскому и ол-чики. Под налог попадают и крупные языки - урду с 288 млн говорящих, бенгальский с 266 млн, панджаби с 200 млн. Кроме цены авторы называют ещё два следствия, которые идут от того же лишнего объёма токенов: 🟠задержка ответа растёт, потому что на тот же текст модель считает больше токенов; 🟠полезная ёмкость контекста уменьшается - в редком языке в те же номинальные 128 тысяч токенов влезает лишь часть текста, который по-английски уместился бы целиком. От ИИ-вендоров CLEAR просит публиковать обе метрики в карточках моделей, закладывать долю языков в словарь следующего поколения токенизаторов и, поскольку токенизатор до обучения новой базовой модели не поменять, прямо сейчас нормировать цену по символам. Код для запуска теста на других моделях лежит в репозитории проекта. Продолжение про равенство качества ответов по языкам CLEAR обещает опубликовать позже. @ai_machinelearning_big_data