Налог на родной язык: общение с ИИ не по-английски обходится до 17 раз дороже Исследователи нашли новый вид цифрового неравенства — «налог токенизатора» для языков, которые хуже представлены в ИИ-системах. Один и тот же запрос на разных языках может требовать в 1,5–5 раз больше токенов, а для отдельных языков разрыв доходит до 17 раз. Из-за этого пользователи платят больше, получают меньше места в контексте и могут дольше ждать ответа. Особенно уязвимы бирманский, тибетский, кхмерский и лаосский языки, а также некоторые редкие письменности. Сократить разрыв помогут качественные многоязычные данные и отдельная настройка токенизаторов под разные языки. #токены #искусственныйинтеллект 📎Подробнее 🔖 3DNews в TG | MAX | VK