Яндекс опубликовал на Hugging Face базовую (претрейн) версию модели Alice AI-T5-35B-A0.6B Base — она обучена с нуля специально для генерации быстрых ИИ-ответов в высоконагруженном Поиске. Дообученная версия этой модели, Alice AI Search, уже работает в продакшне и формирует быстрые ответы, которые, по данным NEURO-AI, читают 49 млн человек.

Главная особенность модели — экономичность при сохранении качества: из 35 млрд параметров на каждый токен активируется только 600 млн (менее 2%), что позволяет держать скорость и стоимость инференса на уровне маленькой модели, а качество ответов — на уровне гораздо более тяжёлых систем. По словам источников, такой подход по объёму знаний сопоставим с большой моделью, а по цене инференса — с маленькой.

• Претрейн Alice AI-T5-35B-A0.6B Base обучен на 15 трлн токенов собственного корпуса Яндекса (данные Хабра и NEURO-AI); инференс снаружи работает через Hugging Face Transformers, детали архитектуры описаны в статье на Хабре.
• Перед генерацией отдельная BERT-подобная модель-экстрактор на 80 млн параметров отбирает из найденных документов только нужные фрагменты; по данным «Дизраптора», её обучили на 4 трлн токенов и затем через RL научили оставлять минимум контекста — это увеличило пропускную способность системы примерно на 40% без потери качества.
• Сам генератор — гибрид Encoder-Decoderi (хорошо обрабатывает длинный поисковый контекст) со разреженной MoE-архитектурой (Mixture of Experts), где специальный маршрутизатор на каждом токене выбирает нужных «экспертов» из общего пула модели.
• По данным «Дизраптора», при масштабировании у команды произошёл коллапс роутинга в encoder-части: один из «экспертов» случайно оказался чуть лучше других, и роутер стал отправлять к нему больше токенов, что потребовало отдельного решения (детали источник не раскрывает полностью).
• На этапе дообучения для продакшн-версии используется online-RLi: отдельная реворд-модель учится на поведении реальных пользователей — хватило ли им ответа или они продолжили поиск (данные Хабра).
• По данным NEURO-AI, модель держит контекст до 128 тысяч токенов, веса можно брать и дообучать даже под коммерческие продукты, но сама процедура дообучения для нужд Поиска осталась закрытой.
• Яндекс опубликовал таблицу сравнения, где по данным NEURO-AI, его модель проигрывает китайской Qwen в 10 из 13 приведённых строк.