Вышло новое поколение моделей GigaEmbeddings
C@campcodeAI-инженер
3 днОбновленная линейка эмбеддинг-моделей GigaEmbeddings: 480M, 3B и 10B-A1.8B с улучшенной архитектурой, поддержкой vLLM и SGLang.
Российские инструменты для работы с данными стали быстрее и эффективнее.
- Ускорение инференса до 2 раз позволяет быстрее обрабатывать поисковые запросы и RAG-системы.
- Улучшенная точность моделей помогает качественнее классифицировать и кластеризовать текстовые данные.
- Открытая лицензия MIT упрощает внедрение моделей в коммерческие и исследовательские проекты.
Вышло новое поколение GigaEmbeddings — линейка эмбеддинг-моделей 480M, 3B и 10B-A1.8B для семантического поиска, RAG, классификации и кластеризации.
Команда изменила архитектуру и добавила поддержку vLLM и SGLang. За счёт этого выросла скорость инференса: 3B работает в 1,6 раза быстрее предыдущей версии, а MoE-флагман 10B-A1.8B (1,8 млрд активных параметров) — в 2 раза.
Флагман набрал 74,99 в ruMTEB и занял первое место. Модель 3B прокачала обработку кода на 14,5 пункта (с 62,37 до 76,93), а 480M стала лучшей русскоязычной моделью среди решений до 500 млн параметров.
Объём обучающих данных вырос в несколько раз за счёт датасетов Nemotron, F2LLM и KALM. Баланс языков сохранили через мержинг экспертов, а 480M обучали дистилляцией от старших моделей.
Веса доступны по MIT-лицензии:
• Hugging Face — 480M · 3B · 10B-A1.8B
• GitVerse — 480M · 3B · 10B-A1.8B
Подробности — в посте команды.
Кратко (AI)
Команда представила обновленную линейку эмбеддинг-моделей GigaEmbeddings, включающую версии 480M, 3B и 10B-A1.8B. Модели получили архитектурные улучшения, поддержку vLLM и SGLang, а также показали значительный прирост производительности и качества на бенчмарках.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖