На каком языке LLM отвечают лучше: выводы MuBench

А на каком языке вы общаетесь с LLM? Я часто вижу разные списки «лайфхаков» по работе с нейросетками. Там есть как полезные, так и не очень. Часто в таких списках есть утверждение, что они становятся умнее, если общаться с ними на английском. Мне стало интересно это проверить по бенчмаркам и я нашёл MuBench, опубликованный летом. Исследователи покрыли 61 язык и задали разным LLMкам 3.9 миллиона запросов. Проверяемые модели на данный момент устарели, но они сейчас обновляются так быстро, что большое исследование нынешних мы получим лишь через ещё полгода. А мелкие исследования не так показательны. Выводы: 1️⃣️️️️ Общая разница небольшая, но она есть. Задачи на английском действительно обрабатываются чуть-чуть лучше 2️⃣️️️️ Если вы носитель языка, на котором в интернете много контента, вообще забейте на разницу Серьезное отставание в общем перформансе есть, например, у индонезийского и хинди. Даже несмотря на то, что носителей этих языков много, контента в интернете они оставили мало. Около 1,36% в выборке Common Crawl. Обучаться было не на чем. Немецкий - аномалия. Он - четвёртый язык по популярности в интернете, после английского, русского и китайского. Да, страны пост-СССР прям много в интернете нащитпостили. Тем не менее, GPT-4o плохо с ним работал. Интересно, как там с нынешними моделями. Но для большинства крупных языков разница составляет единичные пункты в бенчмарках 3️⃣️️️️ Ощутимая разница есть в задачах на общую логику повседневного языка Это видно на втором скриншоте. Страшные слова сверху это названия разных бенчмарков, ориентированных на базовое понимание логики текста. Например, бенчмарк SNLI показывает, насколько модель справляется с поиском логической связи в двух предложениях. Довольно важная штука и LLMки явно справляются с такими задачами лучше на английском. 4️⃣️️️️ Модели, заточенные под конкретные языки, справляются с задачами на них лучше. Но хуже работают с другими языками. Лично я чаще всего использую LLM на английском. Но больше для дополнительной практики языка, чем в погоне за эффективностью. Видимо, другого смысла в этом особо и нет.