✔️
Microsoft AI завершила претрейн MAI-Base-2
Лаборатория Мустафы Сулеймана
закончила предобучение своей самой крупной MoE-модели на 2,8 трлн параметров, из которых на каждый токен работают 80 млрд. Сейчас она проходит дообучение, сроков релиза Microsoft не называет.
Веса компания собирается лицензировать проверенным партнёрам через платформу Foundry и отдельно подчёркивает, что учила модель только на собственных данных, без дистилляции ответов чужих моделей.
MAI-Base-2 обучали 38 дней в августе и сентябре на 16 тысячах GPU GB200, через модель прошло около 50 трлн токенов. Знания модели заканчиваются мартом 2026 года.
В отличие от предшественницы MAI-Base-1, она с самого начала училась и на изображениях, без отдельного визуального энкодера, на них пришлось 18% обучающей смеси.
На собственных наборах текстов, кода, задач по естественным наукам, математике и вопросов с ответами MAI-Base-2 предсказывает текст точнее всех протестированных открытых моделей с триллионом и более параметров: DeepSeek-V4-Pro-Base, Kimi K3, Qwen3.8-2.4T-A95B и MiMo-V2.6-Pro-RL.
По расчётам Microsoft, при её подходе к обучению, т. е. с теми же данными, архитектурой и настройками, модели нужно в 4–12 раза меньше вычислений, чем потратила DeepSeek, чтобы достичь качества DeepSeek-V4-Pro-Base.
Эта оценка выведена из законов масштабирования, а не из прямого сравнения.
@ai_machinelearning_big_data
#news #ai #ml
