Лилиан Вэн опубликовала обзор истории и развития scaling laws
Лилиан Вэн выпустила первый за два года пост, посвященный развитию и нюансам правил масштабирования языковых моделей.
Пока я откисаю в Корее от очередного сезона исхода дорогих коллег [1, 2, 3, и др.] перед ICML, наша с читателями любимая Лилиан Вэн – авторка топ-1 блога по диплёрнингу – написала первый за почти два года пост про историю и развитие науки об оценке правил масштабирования (scaling laws) языковых моделей. Почему "правил", а не "законов" – чтобы не создавать ощущения универсальности самих законов: всех необходимых факторов для по-настоящему точных предсказательных правил для конкретных архитектур, моделей, данных, оптимизаторов и других факторов, на них влияющих.
Особого почтения заслуживает упоминание статьи Lovelace et al., где в первый раз в академическом мире разбираются, как влияют повторения данных на scaling laws. Так что у кого знания остановились на шиншилле – бежим освежать знания, чтобы фронтир толкался предсказуемо и безопасно.
Кратко (AI)
Известный исследователь Лилиан Вэн выпустила статью, посвященную истории и развитию правил масштабирования (scaling laws) для языковых моделей. Автор подчеркивает важность учета множества факторов, таких как архитектура и данные, и выделяет работу Lovelace et al. как значимый вклад в понимание влияния повторения данных на предсказательные модели.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖