Яндекс опубликовал на Hugging Face базовую (претрейн) версию модели Alice AI-T5-35B-A0.6B Base — она обучена с нуля специально для генерации быстрых ИИ-ответов в высоконагруженном Поиске. Дообученная версия этой модели, Alice AI Search, уже работает в продакшне и формирует быстрые ответы, которые, по данным NEURO-AI, читают 49 млн человек.
Главная особенность модели — экономичность при сохранении качества: из 35 млрд параметров на каждый токен активируется только 600 млн (менее 2%), что позволяет держать скорость и стоимость инференса на уровне маленькой модели, а качество ответов — на уровне гораздо более тяжёлых систем. По словам источников, такой подход по объёму знаний сопоставим с большой моделью, а по цене инференса — с маленькой.
35 млрдобщее число параметров модели
600 млнпараметров активны на токен (~2%)
15 трлн токеновобъём обучающего корпуса претрейна