Исследователи вывели scaling law (закон масштабирования) для моделей, объединяющих два подхода: Mixture of Experts (MoEi), где качество растёт за счёт разреженности и гранулярности, и Looped-архитектуры, где несколько прогонов через сеть повышают качество по сравнению с одним проходом. Ранее для каждого подхода существовали отдельные законы масштабирования, но для их комбинации — сколько экспертов активировать и сколько раз прогонять модель при заданном размере и вычислительном бюджете — единого правила не было.

Авторы предложили анзатц (приближённую формулу), согласующийся с экспериментами, и показали, что оптимальная стратегия масштабирования зависит от того, чего не хватает при обучении — памяти (VRAM) или вычислений.

• Типичный scaling law записывается как L(N, D) = A N^α + B D^β + c, где N — число параметров, D — объём данных
• Прежние попытки описать looped-моделиi считали, что эффективное число параметров N_effi растёт линейно с глубиной рекурсии R либо убывает степенным образом, но на практике быстро наступает насыщение
• Новая формула для looped-моделей: N_eff(R) = N + κ₁ N_loop (1 − e^(−(R−1)/κ₂)), где κ₁ и κ₂ — константы, ограничивающие рост сверху
• Для MoE константы κ₁ и κ₂ сделаны функциями разреженности m: κⱼ(m) = κⱼ·m, итоговая формула — N_eff(R, m) = N_act + κ₁(m) N_loop (1 − e^(−(R−1)/κ₂(m)))
• Идея: при повторных прогонах MoE могут активироваться разные эксперты, поэтому в пределе бесконечного числа экспертов N_eff должно расти линейно с глубиной рекурсии R
• Эксперименты: обучено семейство моделей разного размера, с разным объёмом данных, числом экспертов и глубиной рекурсии, измерялся валидационный лосс
• Наблюдение: рекурсия выходит на плато по пользе, но чем больше экспертов, тем выше выигрыш по сравнению с R=1; чем дольше обучение и выше разреженность — тем полезнее больше рекурсий; при достатке VRAM и высокой рекурсии выгоднее повышать разреженность, а при нехватке памяти — инвестировать в рекурсию