Исследователи вывели scaling law (закон масштабирования) для моделей, объединяющих два подхода: Mixture of Experts (MoEi), где качество растёт за счёт разреженности и гранулярности, и Looped-архитектуры, где несколько прогонов через сеть повышают качество по сравнению с одним проходом. Ранее для каждого подхода существовали отдельные законы масштабирования, но для их комбинации — сколько экспертов активировать и сколько раз прогонять модель при заданном размере и вычислительном бюджете — единого правила не было.
Авторы предложили анзатц (приближённую формулу), согласующийся с экспериментами, и показали, что оптимальная стратегия масштабирования зависит от того, чего не хватает при обучении — памяти (VRAM) или вычислений.
ВыводТипичный scaling law записывается как L(N, D) = A N^α + B D^β + c, где N — число параметров, D — объём данных
