Microsoft завершила предобучение MoE-модели MAI-Base-2 на 2,8 трлн параметров и сообщила о сроках обучения, данных и результатах тестов.
✔️
Microsoft AI завершила претрейн MAI-Base-2
Лаборатория Мустафы Сулеймана
закончила предобучение своей самой крупной MoE-модели на 2,8 трлн параметров, из которых на каждый токен работают 80 млрд. Сейчас она проходит дообучение, сроков релиза Microsoft не называет.
Веса компания собирается лицензировать проверенным партнёрам через платформу Foundry и отдельно подчёркивает, что учила модель только на собственных данных, без дистилляции ответов чужих моделей.
MAI-Base-2 обучали 38 дней в августе и сентябре на 16 тысячах GPU GB200, через модель прошло около 50 трлн токенов. Знания модели заканчиваются мартом 2026 года.
В отличие от предшественницы MAI-Base-1, она с самого начала училась и на изображениях, без отдельного визуального энкодера, на них пришлось 18% обучающей смеси.
На собственных наборах текстов, кода, задач по естественным наукам, математике и вопросов с ответами MAI-Base-2 предсказывает текст точнее всех протестированных открытых моделей с триллионом и более параметров: DeepSeek-V4-Pro-Base, Kimi K3, Qwen3.8-2.4T-A95B и MiMo-V2.6-Pro-RL.
По расчётам Microsoft, при её подходе к обучению, т. е. с теми же данными, архитектурой и настройками, модели нужно в 4–12 раза меньше вычислений, чем потратила DeepSeek, чтобы достичь качества DeepSeek-V4-Pro-Base.
Эта оценка выведена из законов масштабирования, а не из прямого сравнения.
@ai_machinelearning_big_data
#news #ai #ml
Кратко (AI)
Microsoft завершила предобучение MoE-модели MAI-Base-2 с 2,8 трлн параметров; сейчас модель дообучают, а дату релиза не называют. Компания планирует лицензировать веса проверенным партнёрам через Foundry и утверждает, что модель обучалась на собственных данных; сравнительная оценка вычислений основана на законах масштабирования, а не на прямом тесте.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖