Яндекс выпустил в открытый доступ Alice AI Foundation LLM (AliceAI-Foundation-80B-A3B-Base) — MoEi-модель на 80 млрд параметров, обученную полностью с нуля, без использования весов сторонних открытых моделей, и распространяемую по лицензии Apache 2.0i. Компания называет её «экспериментальной основой для будущей единой рассуждающей модели»: рассуждение заложено уже на этапе претрейна.

Релиз заметили на Западе: Turing Post включил модель в подборку ключевых запусков недели, а представитель Google DeepMind поставил её в один ряд с Google, DeepSeek и Qwen как пример перехода индустрии от гонки размеров к эффективности.

Полный разбор →

Исследователи предложили способ сэкономить вычислительные ресурсы при предобучении языковых моделей: на первом этапе претрейна модель учится не на отдельных токенах, а на усреднённых эмбеддингах нескольких подряд идущих токенов, при этом на выходе предсказывается не следующий токен, а «мешок» (bag-ofi) из нескольких следующих токенов без учёта их порядка. После этой стадии обучение продолжается в стандартном режиме.

Экономия достигается за счёт того, что через модель прогоняется в s раз меньше токенов, а значит за тот же вычислительный бюджет модель успевает увидеть больше данных из корпуса — в r·s + (1 − r) раз больше, где r — доля обучения на усреднённых токенах, s — размер окна усреднения.

ВыводМетод проверен на трёх dense llama-like моделях размером 270M, 600M и 3B, а также на MoE-модели 10B-A1B.

Полный разбор →