Яндекс открыл веса модели Alice AI Foundation LLM
э@ai_newzAI-инженер
1 месЯндекс представил открытую MoE-модель Alice AI Foundation LLM с 80B параметров под лицензией Apache 2.0.
Появление новой мощной открытой языковой модели от крупного игрока расширяет возможности для разработчиков.
- Модель доступна для свободного использования и дообучения под лицензией Apache 2.0.
- Архитектура MoE позволяет эффективно использовать вычислительные ресурсы при высокой производительности.
- Наличие техрепорта и открытых весов позволяет сообществу проводить независимые исследования и интеграции.
Яндекс открыл веса Alice AI Foundation LLM
Alice AI Foundation LLM представляет собой собственный MoE-претрейн Яндекса. Весь цикл обучения провели с нуля, без стартовых весов сторонних открытых моделей.
В модели 80B параметров, из которых на каждый токен активируются 3B. Это меньше, чем у большинства других открытых претрейнов, но по бенчам результаты в паритете, а иногда и лучше. При обучении отдельно оптимизировали обмен данными между видеокартами и отбор материалов, чтобы сократить вычисления при сохранении качества. В техрепорте есть комплиментарный замер с Nemotron и Qwen – с кодом и с математикой. Плюс к этому заявляют, что заложили базу для рассуждений ещё на претрейне.
Модель выпустили под Apache 2.0, её можно свободно использовать и дообучать. За пару дней у модели уже больше 2000 скачиваний на HF.
Техрепорт
Веса на HF
@ai_newz
Кратко (AI)
Яндекс выпустил в открытый доступ свою MoE-модель Alice AI Foundation LLM с 80B параметров, из которых 3B активны на токен. Модель обучена с нуля, распространяется под лицензией Apache 2.0 и показывает конкурентные результаты в тестах по сравнению с Nemotron и Qwen.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖