Общение с ИИ на некоторых языках может обходиться до 17 раз дороже
3@ru3dnewsмедиа / агрегатор
1 чИсследователи обнаружили, что запросы на языках с низким представительством в ИИ могут требовать до 17 раз больше токенов.
Пользователи некоторых языков могут тратить больше денег и получать меньше места для общения с ИИ.
- Одинаковые запросы могут занимать в 1,5–5 раз больше токенов, а в отдельных случаях — до 17 раз.
- Большее число токенов может повышать расходы и уменьшать доступное место в контексте.
- В посте среди особенно уязвимых названы бирманский, тибетский, кхмерский и лаосский языки.
Налог на родной язык: общение с ИИ не по-английски обходится до 17 раз дороже
Исследователи нашли новый вид цифрового неравенства — «налог токенизатора» для языков, которые хуже представлены в ИИ-системах. Один и тот же запрос на разных языках может требовать в 1,5–5 раз больше токенов, а для отдельных языков разрыв доходит до 17 раз. Из-за этого пользователи платят больше, получают меньше места в контексте и могут дольше ждать ответа. Особенно уязвимы бирманский, тибетский, кхмерский и лаосский языки, а также некоторые редкие письменности. Сократить разрыв помогут качественные многоязычные данные и отдельная настройка токенизаторов под разные языки.
#токены #искусственныйинтеллект
📎Подробнее
🔖 3DNews в TG | MAX | VK
Кратко (AI)
Исследователи описали «налог токенизатора»: запросы на недостаточно представленных в ИИ языках могут требовать значительно больше токенов, чем те же запросы на других языках. Это увеличивает затраты, сокращает доступное контекстное окно и может замедлять ответы; среди особенно уязвимых названы бирманский, тибетский, кхмерский и лаосский.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖