Сбер открыл в открытом доступе новую линейку GigaEmbeddings — моделей, которые переводят текст в числовые векторы для семантического поиска, RAGi-систем, классификации и кластеризации. Линейка состоит из трёх моделей — 480M, 3B и 10B-A1.8Bi — и распространяется бесплатно под лицензией MIT на HuggingFace и GitVerse.

Качество таких эмбеддингов напрямую влияет на точность ответов ИИ-ассистентов и снижает риск галлюцинаций, что критично в поддержке клиентов, работе с юридическими и финансовыми документами и внутренними базами знаний. Новое поколение стало заметно быстрее и сильнее в английском языке и коде, при этом не потеряв качество на русском.

• Флагман 10B-A1.8B — MoE-модель с 1,8 млрд активных параметров, заняла первое место в рейтинге ruMTEBi с результатом 74,99
• Модель 3B улучшила обработку кода на 14,5 пункта — с 62,37 до 76,93 по внутренним тестам
• 480M стала лучшей русскоязычной моделью среди решений до 500 млн параметров
• Архитектуру изменили для поддержки vLLM и SGLang: на vLLM 3B работает в 1,6 раза быстрее прежней версии, а 10B-A1.8B — в 2 раза быстрее
• Объём обучающих данных увеличили в несколько раз за счёт открытых датасетов Nemotron, F2LLM и KALM
• Для сохранения языкового баланса на всех этапах обучения применяли мержинг экспертов, а самую компактную модель (480M) обучали дистилляцией от более крупных и точных моделей
• Веса всех трёх моделей доступны бесплатно под лицензией MIT на Hugging Face и GitVerse