Яндекс выпустил в открытый доступ Alice AI Foundation LLM (AliceAI-Foundation-80B-A3B-Base) — MoEi-модель на 80 млрд параметров, обученную полностью с нуля, без использования весов сторонних открытых моделей, и распространяемую по лицензии Apache 2.0i. Компания называет её «экспериментальной основой для будущей единой рассуждающей модели»: рассуждение заложено уже на этапе претрейна.
Релиз заметили на Западе: Turing Post включил модель в подборку ключевых запусков недели, а представитель Google DeepMind поставил её в один ряд с Google, DeepSeek и Qwen как пример перехода индустрии от гонки размеров к эффективности.
- Архитектура MoE: 80 млрд параметров всего, около 3 млрд активных при генерации, претрейн на 17,5 трлн токенов, контекст до 256K+ токенов
- Особый акцент в обучении сделан на русский язык, математику, программирование, медицину, российское право и фактологические знания
- Модель выпущена без пост-трейна — как чистая база без файнтюна и алайнмента, чтобы сообщество могло дообучать её под свои задачи
- По замерам Яндекса, в коде модель на уровне NVIDIA Nemotron-3-Super; в техрепорте есть сравнения с Nemotron и Qwen по коду и математике с паритетными или лучшими результатами
- При обучении отдельно оптимизировали обмен данными между видеокартами и отбор обучающих материалов, чтобы сократить вычисления без потери качества
- Японский разработчик уже портировал модель на MLX и подготовил экспериментальную GGUFi-версию с патчем для llama.cpp; сообщество на Hugging Face начало делать первые надстройки-эксперименты
- Аман Чадха из Google DeepMind отметил релиз в контексте перехода от размера моделей к эффективности
Модель заявлена как «основа для будущей единой рассуждающей модели», то есть Яндекс планирует развивать линейку дальше; стоит следить за тем, какие дообученные версии выпустит сообщество на базе открытых весов и появится ли пост-трейн от самого Яндекса.
Это произошло: Поговорили со смешариками →
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖