Лилиан Вэн опубликовала обзор истории и развития scaling laws

Пока я откисаю в Корее от очередного сезона исхода дорогих коллег [1, 2, 3, и др.] перед ICML, наша с читателями любимая Лилиан Вэн – авторка топ-1 блога по диплёрнингу – написала первый за почти два года пост про историю и развитие науки об оценке правил масштабирования (scaling laws) языковых моделей. Почему "правил", а не "законов" – чтобы не создавать ощущения универсальности самих законов: всех необходимых факторов для по-настоящему точных предсказательных правил для конкретных архитектур, моделей, данных, оптимизаторов и других факторов, на них влияющих. Особого почтения заслуживает упоминание статьи Lovelace et al., где в первый раз в академическом мире разбираются, как влияют повторения данных на scaling laws. Так что у кого знания остановились на шиншилле – бежим освежать знания, чтобы фронтир толкался предсказуемо и безопасно.