Сбер открыл в открытом доступе новое поколение GigaEmbeddingsi — линейку из трёх моделей (480M, 3B, 10B-A1.8B), которые переводят текст в числовые векторы для семантического поиска, RAGi-систем, классификации и кластеризации текстов. Все веса выложены бесплатно под лицензией MIT на HuggingFace и GitVerse.

Обновление важно для бизнеса и разработчиков, работающих с поддержкой клиентов, юридическими и финансовыми документами и внутренними базами знаний — там, где качество эмбеддингов напрямую влияет на точность поиска и риск галлюцинаций у ИИ-ассистентов.

• Флагман 10B-A1.8B построен на MoE-архитектуре с 1,8 млрд активных параметров (по данным CodeCamp)
• Архитектуру изменили для упрощения интеграции со стандартными инструментами — добавили поддержку vLLM и SGLang; на vLLM 3B работает в 1,6 раза быстрее прежней версии, а 10B-A1.8B — в 2 раза
• Объём обучающих данных увеличили в несколько раз за счёт открытых датасетов Nemotron, F2LLM и KALM
• Для сохранения языкового баланса на всех этапах обучения применяли мержинг экспертов; самую компактную модель 480M дополнительно обучали дистилляцией — она усваивала ответы более крупных и точных моделей
• 10B-A1.8B заняла 1 место в рейтинге ruMTEBi с результатом 74,99 балла (данные CodeCamp и «Рестарт»)
• У модели 3B качество обработки кода выросло на 14,5 пункта — с 62,37 до 76,93 (по данным CodeCamp)
• 480M стала лучшей русскоязычной моделью среди решений до 500 млн параметров