Яндекс выпустил открытую модель AliceAI-Foundation-80B-A3B-Base
G@aiofthedayAI-инженер
1 месЯндекс выложил в открытый доступ модель AliceAI-Foundation-80B-A3B-Base с архитектурой MoE и контекстом 262 тысячи токенов.
Появление мощной открытой модели с глубоким знанием русского языка расширяет возможности для локальных AI-разработок.
- Разработчики получили доступ к качественной базе для создания специализированных русскоязычных AI-решений.
- Архитектура MoE позволяет эффективно использовать модель при меньших вычислительных затратах на инференс.
- Конкуренция среди открытых моделей способствует ускорению развития технологий в РФ.
Яндекс выложил в Opensource собственную модель на 80 миллиардов параметров
AliceAI-Foundation-80B-A3B-Base обучена полностью с нуля. Архитектура MoE из 512 экспертов. На каждый токен активируются 3 млрд параметров из 80, контекст — 262 тысячи токенов. Модель — претрейн, ассистента из коробки нет. Лицензия Apache 2.0.
Основная суть и преимущество — лучшее знание русскоязычного контекста. На вопросах про связанные с Россией факты модель обходит всех, с кем сравнивалась, включая DeepSeek-V4-Flash на 284 миллиарда параметров (в 3 раза больше Яндекса). Заодно выложили и два бенчмарка, по которым они себя сравнивали.
Это второй opensource релиз за 2 недели, 11 сентября Яндекс выкладывал Alice AI Search Pretrain (35 миллиардов параметров). Если это не совпадение, а начало новой традиции — огромное им спасибо. Открытые веса это хорошо, конкуренция среди них — это прекрасно. Надеюсь, и открытый ассистент не за горами.
https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base
Кратко (AI)
Яндекс представил новую открытую языковую модель AliceAI-Foundation-80B-A3B-Base с архитектурой MoE. Модель обладает контекстным окном в 262 тысячи токенов и демонстрирует высокую эффективность в работе с русскоязычным контекстом, превосходя по этому показателю более крупные зарубежные аналоги.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖