← к ленте

Исследование Anthropic: как язык запроса меняет поведение Claude

1 мес

Anthropic проанализировала 300к+ диалогов и выяснила, что языковая локаль существенно меняет стиль ответов Claude, от осторожности до теплоты.

⚡️ Anthropic разобрала, как у Claude меняется поведение между моделями и языками. Они взяли 309 815 анонимизированных диалогов Claude.ai с субъективными задачами, сжали 3 307 найденных «ценностей» до 339 более общих категорий и вывели четыре оси поведения: уступчивость против осторожности, теплота против строгости, глубина против краткости, откровенность против ориентации на выполнение. Подтвердили то, что многие и так знают - язык запроса влияет не только на формулировки. Меняется сам профиль ответа. В английском Claude чаще уходит в осторожность, глубину и прямоту. В русском сильнее выражен уклон в строгость, точность и проверку деталей. В хинди и арабском больше теплоты. В голландском больше откровенности, в индонезийском больше execution-поведения. Для пользователя это может выглядеть как разное качество модели. Один и тот же запрос на фидбек по бизнес-плану в русском и хинди может дать два разных ощущения: где-то больше жёсткой правки, где-то больше поддержки и мягкой подачи. Мультиязычный продукт нельзя оценивать только по точности фактов, задержке ответа и цене токена. Нужно смотреть, как модель ведёт себя в каждом языке: спорит ли с пользователем, сглаживает ли критику, признаёт ли неопределённость, насколько глубоко объясняет решение. Иначе можно получить модель, которая в одной локали выглядит как сильный ревьюер, а в другой как слишком вежливый ассистент, который боится нормально критиковать. https://www.anthropic.com/research/claude-values-models-languages @ai_machinelearning_big_data #claude #ai #ml

Кратко (AI)

Компания Anthropic провела масштабное исследование поведения модели Claude, проанализировав более 300 тысяч диалогов. Выяснилось, что выбор языка запроса влияет на стиль ответов: например, английская версия более склонна к осторожности, а версии на хинди или арабском демонстрируют больше «теплоты». Это означает, что при разработке мультиязычных продуктов важно учитывать не только точность фактов, но и культурные особенности поведения модели.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖