Яндекс представил модель AliceAI-Foundation-80B-A3B-Base
M@machinelearning_interviewAI-инженер
1 месЯндекс выпустил экспериментальную модель AliceAI-Foundation-80B-A3B-Base с архитектурой MoE, обученную с нуля и доступную под лицензией Apache 2.0.
Яндекс выпустил мощную открытую языковую модель, способную конкурировать с мировыми аналогами в работе с русским языком.
- Модель доступна под свободной лицензией Apache 2.0, что позволяет использовать её в сторонних проектах.
- Архитектура MoE обеспечивает высокую производительность при относительно низких затратах вычислительных ресурсов.
- Специализация на российском праве и медицине делает модель более применимой для локальных бизнес-задач.
Размер – не главное?
У небольшой AliceAI-Foundation-80B-A3B-Base от Яндекса уже появились первые надстройки-эксперименты от сообщества на Hugging Face. Компания называет новинку «экспериментальной основой для будущей единой рассуждающей модели», а в претрейне уже вшито рассуждение.
Решение обучено с нуля, без использования весов других моделей, и доступно под лицензией Apache 2.0.
Модель построена на архитектуре MoE:
• 80 млрд параметров
• около 3 млрд активных параметров при генерации
• претрейн на 17,5 трлн токенов
• контекст до 256K+ токенов
Особое внимание уделили русскому языку, математике, программированию, медицине, российскому праву и фактологическим знаниям.
Кратко (AI)
Яндекс представил новую экспериментальную модель AliceAI-Foundation-80B-A3B-Base, построенную на архитектуре MoE. Модель обучена с нуля, поддерживает контекст до 256 тысяч токенов и оптимизирована для работы с русским языком, программированием и специализированными знаниями.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖