«Яндекс» открыл веса новой большой языковой модели AliceAI-Foundation-80B-A3B-Base (Alice AI Foundation LLM) — это претрейн-версия, обученная без использования сторонних иностранных весов и компонентов, что компания называет «полностью суверенной». Модель опубликована на Hugging Face под лицензией Apache 2.0 и должна стать основой будущей единой рассуждающей модели (ЕРМi) и агентных возможностей «Алисы AI».

Выход модели важен как для рынка открытых LLM, так и для конкуренции российских ИИ-компаний: по оценке источников, новая модель при заметно меньшем размере обходит более крупные зарубежные аналоги, а также становится прямым конкурентом суверенной модели «Сбера» GigaChat 3.5 Reasoning.

• Архитектура — Mixture of Experts из 512 экспертов: всего 80 млрд параметров, но на каждый токен активируются лишь 3 млрд; по данным Хайтек+, модель обучена на 18 трлн токенов, по данным Хабра — на 17,5 трлн токенов на основной стадии обучения; контекст, по данным Data Secrets и канала GPT/ChatGPT/AI Central, — 262 тыс. токенов; выложена только базовая версия без готового ассистента (SFT/RL).
• По метрикам модель обходит более крупные DeepSeek-V4-Flash-Base (284 млрд параметров) и Nemotron-3-Super, лидирует среди открытых претрейнов на бенчмарках IMO AnswerBench и LiveCodeBench; по данным Machinelearning, обгоняет решение NVIDIA в коде и делит лидерство с моделью Alibaba в олимпиадной математике.
• Свою предыдущую закрытую модель Alice AI LLM 235B новая версия обходит в 75% случаев на фактологических вопросах, хотя у старой модели втрое больше параметров и в семь раз больше активных.
• Вместе с моделью «Яндекс» опубликовал два собственных бенчмарка — WikiWebFacts (на основе Википедии) и HardMultiQA (на основе реальных запросов пользователей к «Алисе AI») — с эталонными ответами и протоколами оценки.
• На выступлении на Practical ML Conf руководитель группы исследования знаний Alice AI Екатерина Редина рассказала о деталях обучения: команда использовала собственный scaling law (формулу подбора гиперпараметров), оптимизатор Muoni и написала свой распределённый конвейер ортогонализации весов, чтобы GPU не простаивали; после пересчёта гиперпараметров по scaling law возник резкий скачок loss — проблему нашли и стабилизировали обучение.
• Оптимизации сократили отбор фактологических документов в десятки раз (ранее это стоило более 200 тыс. часов работы видеокарт), ускорили распределённый шаг оптимизатора примерно вдвое и снизили потребление видеопамяти втрое; вся работа над моделью заняла около полугода.
• Это второй опенсорс-релиз «Яндекса» за две недели: 11 сентября компания уже выложила Alice AI Search Pretrain на 35 млрд параметров; глава «Сбера» Герман Греф ранее заявлял, что полностью отечественная модель есть только у «Сбера», а представитель «Сбера» назвал новую модель «Яндекса» «компактной», отметив, что для мировой гонки нужна модель от 100 млрд параметров.