Открываем претрейн Alice AI Search: как устроена модель быстрых ответов Алисы
Х@habr_comмедиа / агрегатор
1 месКоманда Алисы открыла претрейн модели Alice AI-T5-35B-A0.6B, рассказав об архитектуре MoE, экстракторе инфоконтекстов и обучении через online-RL.
Открытие весов специализированной поисковой модели дает разработчикам инструмент для создания быстрых и точных систем ответов.
- Модель оптимизирована для работы в условиях высокой нагрузки и быстрого извлечения данных из поиска.
- Использование разреженной MoE-архитектуры позволяет снизить вычислительные затраты.
- Методика обучения на основе поведения пользователей (online-RL) повышает релевантность ответов.
Открываем претрейн Alice AI Search: как устроена модель быстрых ответов Алисы на Поиске
Быстрый ответ Алисы AI должен за считаные секунды разобрать результаты Поиска и выдать лаконичный ответ даже в час пиковой нагрузки. Ради этого команде пришлось перебрать весь пайплайн, от отбора полезных фрагментов в найденных документах до архитектуры модели и обучения на поведении реальных пользователей.
Ребята из Alice AI Search рассказали про экстрактор инфоконтекстов, который поднял пропускную способность примерно на 40% без потери качества, про Encoder-Decoder-модель с разреженной MoE-архитектурой и про online-RL, где отдельная реворд-модель учится на том, хватило ли пользователю ответа или он продолжил поиск.
Претрейн Alice AI-T5-35B-A0.6B обучили с нуля на 15 трлн токенов собственного корпуса, а его дообученную версию используют в продакшне. Сам претрейн теперь в открытом доступе, инференс снаружи работает через Hugging Face Transformers.
Кратко (AI)
Команда Алисы открыла доступ к претрейну модели Alice AI-T5-35B-A0.6B, предназначенной для быстрых ответов в поиске. Разработчики внедрили MoE-архитектуру и систему online-RL, что позволило повысить пропускную способность на 40% при сохранении качества ответов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖