Исследование Anthropic: как язык запроса меняет поведение Claude
M@ai_machinelearning_big_dataAI-инженер
1 месAnthropic проанализировала 300к+ диалогов и выяснила, что языковая локаль существенно меняет стиль ответов Claude, от осторожности до теплоты.
⚡️ Anthropic разобрала, как у Claude меняется поведение между моделями и языками.
Они взяли 309 815 анонимизированных диалогов Claude.ai с субъективными задачами, сжали 3 307 найденных «ценностей» до 339 более общих категорий и вывели четыре оси поведения: уступчивость против осторожности, теплота против строгости, глубина против краткости, откровенность против ориентации на выполнение.
Подтвердили то, что многие и так знают - язык запроса влияет не только на формулировки. Меняется сам профиль ответа.
В английском Claude чаще уходит в осторожность, глубину и прямоту. В русском сильнее выражен уклон в строгость, точность и проверку деталей. В хинди и арабском больше теплоты. В голландском больше откровенности, в индонезийском больше execution-поведения.
Для пользователя это может выглядеть как разное качество модели. Один и тот же запрос на фидбек по бизнес-плану в русском и хинди может дать два разных ощущения: где-то больше жёсткой правки, где-то больше поддержки и мягкой подачи.
Мультиязычный продукт нельзя оценивать только по точности фактов, задержке ответа и цене токена.
Нужно смотреть, как модель ведёт себя в каждом языке: спорит ли с пользователем, сглаживает ли критику, признаёт ли неопределённость, насколько глубоко объясняет решение.
Иначе можно получить модель, которая в одной локали выглядит как сильный ревьюер, а в другой как слишком вежливый ассистент, который боится нормально критиковать.
https://www.anthropic.com/research/claude-values-models-languages
@ai_machinelearning_big_data
#claude #ai #ml
Кратко (AI)
Компания Anthropic провела масштабное исследование поведения модели Claude, проанализировав более 300 тысяч диалогов. Выяснилось, что выбор языка запроса влияет на стиль ответов: например, английская версия более склонна к осторожности, а версии на хинди или арабском демонстрируют больше «теплоты». Это означает, что при разработке мультиязычных продуктов важно учитывать не только точность фактов, но и культурные особенности поведения модели.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖