Исследователи предложили способ сэкономить вычислительные ресурсы при предобучении языковых моделей: на первом этапе претрейна модель учится не на отдельных токенах, а на усреднённых эмбеддингах нескольких подряд идущих токенов, при этом на выходе предсказывается не следующий токен, а «мешок» (bag-ofi) из нескольких следующих токенов без учёта их порядка. После этой стадии обучение продолжается в стандартном режиме.

Экономия достигается за счёт того, что через модель прогоняется в s раз меньше токенов, а значит за тот же вычислительный бюджет модель успевает увидеть больше данных из корпуса — в r·s + (1 − r) раз больше, где r — доля обучения на усреднённых токенах, s — размер окна усреднения.

• Метод проверен на трёх dense llama-like моделях размером 270M, 600M и 3B, а также на MoE-модели 10B-A1B.
• При фиксированном числе FLOPsi и даже по wall time итоговый лосс метода лучше бейзлайна, обучаемого стандартно на токенах.
• Оптимальный диапазон доли r (объём обучения на усреднённых токенах) — от 0.2 до 0.4: при меньших значениях выигрыш слишком мал, при больших модель не успевает перестроиться на стандартное обучение.
• Оптимальный диапазон размера окна усреднения s — 5–8 токенов.
• Усреднение эмбеддингов на входе и предсказание bag-of на выходе работают по отдельности, но вместе дают наибольший эффект.
• Output-усреднение похоже по идее на MTPi (multi-token prediction), который считается полезным для ускорения сходимости; почему помогает input-усреднение — не до конца ясно, авторы предполагают регуляризацию и «сглаживание» латентного пространства.
• Предсказание неупорядоченного мешка токенов работает лучше, чем попытка задать порядок; явное добавление позиционных эмбеддингов на выход ухудшает качество.