🌟 Bilibili выложила открытые модели перевода Index-Translate Команда Index LLM китайского видеохостинга Bilibili выпустила семейство открытых моделей машинного перевода Index-Translate на базе на Qwen3.5 в трёх размерах - 2B, 9B и 35B-A3B.

MoE 35B-A3B в статусе превью, её веса обещают выложить позже.

Модели переводят между 150 языками, в том числе на русский и с русского, и понимают инструкции к переводу. В запросе можно задать глоссарий, попросить сохранить разметку, код и плейсхолдеры, выдержать стиль или учесть контекст соседних фраз. Модели также умеют переводить мемы и сленг китайских интернет-сообществ. В релиз также вошли в размерностях 2B и 9В каждая: 🟢Index-Echo S2TT - перевод речи сразу в субтитры; 🟢Index-Echo S2ST - перевод речи в речь с сохранением голоса говорящего; 🟢Index-Homura - перевод под заданное число слогов при дубляже; 🟢Index-NativeLong - перевода целой книги за один проход. 🟡Тесты На FLORES-200 флагман 35B-A3B набирает 0,8794 по COMET-22, 9B набирает 0,8789.

Для сравнения - DeepSeek-V4.1-Flash и GPT-5.6-Sol выбили 0,8762 и 0,8650 соответственно.

В бенче instTrans (от самой Bilibili), который проверяет следование инструкциям при переводе, у 35B-A3B 0,8336 балла против 0,7624 у GPT-5.6-Sol. В WMT26 качество перевода оценивает GPT-5.6-Sol по шкале до 100, и здесь Index-Translate-9B набирает 75,35, а сама GPT-5.6-Sol и DeepSeek-V4.1-Flash получают 89,10 и 83,55.

Для локального запуска в bf16 версии 2B нужно около 8 ГБ видеопамяти, версии 9B - около 24 ГБ без учёта кэша для длинных контекстов.

📌Лицензирование: Apache 2.0 🟡Страница проекта 🟡Набор моделей 🟡Техотчет 🟡Демо 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Translation #Index #Bilibili

🔺 Сделал датасет Выложил небольшой датасет на языках России. 🟢 22 языка: алтайский, башкирский, бурятский, горномарийский, дигорский, кабардино-черкесский, калмыцкий, карачаево-балкарский, коми, кубачинский, марийский (луговой), мокшанский, орокский, осетинский (иронский), русский, татарский, удмуртский, хакасский, чувашский, чукотский, эрзянский, якутский. 🟢 По 1565 предложений в каждом. 🟢 Сделан по всем редакциям Маленького принца, которые собирали последние несколько лет + 3 новые (чукотский, карачаево-балкарский и дигорский). 🟢 Выравнивалось вручную при помощи lingtrain-aligner. Выверялось и корректировалось при помощи Fable. Посмотрели несколько редакций с носителями, одобряют. 🟢 В некоторых редакциях предложений не хватало, такие предложения были допереведены Fable на основе имеющейся лексики и помечены в отдельных колонках. Также была исправлена пунктуация на концах предложений для единообразия. Даёшь больше языковых датасетов! 👉 HF @doomgrad

Очень лениво заниматься абсолютно всем. То ли я выгорел, то ли вконец офранцузился, то ли просто начинаю стареть — так или иначе, браться за любую задачу максимально влом. Тем не менее, есть три задачи, до которых, возможно, в ближайшие пару месяцев у меня дотянуться ручки: 1) Сделать лидерборд современных моделей по FLORES+, наподобие того, что мы недавно сделали для BOUQuET — чтобы для языков, добавленных во FLORES, но не вошедших в Букет, тоже была оценка наилучших доступных моделек. 2) Попробовать обучить свою COMET-подобную модельку для оценки качества перевода (настолько мультиязычную, насколько можно) и поучаствовать с ней в WMT2026. 3) Попробовать обучить хорошую базовую модель (хотя бы для перевода, а в идеале и для других задач) для нахско-дагестанских языков (чеченского, ингушского, лезгинского, даргинского, аварского). Буду писать, что получилось, по мере прогресса) Если есть желание как-то в этом поучаствовать, или просто дать какой-нибудь совет или просьбу, то пишите)