Критика методологии адаптации LLM в статье «From AR to Diffusion»
К@quant_prune_distillAI-инженер
1 месИроничный разбор научной статьи, авторы которой адаптируют LLM под диффузию, сравнивая результаты с устаревшими моделями для завышения показателей.
Критика академических методов оценки эффективности новых моделей ИИ.
- Указывает на проблему манипуляции результатами в научных публикациях по ИИ.
- Подчеркивает важность корректного выбора моделей для сравнения при оценке производительности.
From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons
📄 Статья
Рубрика - гуру эффектного сравнения.
Берешь более новую модельку с высокими скорами на бенчах, адаптируешь ее типа под диффузию теряя 30% качества, но зато дешево.
С ней не сравниваешься, а только с моделями позапрошлого поколения, бьешь их.
Stonks!
Кратко (AI)
Автор поста критикует методологию научной статьи «From AR to Diffusion», посвященной адаптации LLM под диффузионные модели. Основная претензия заключается в том, что авторы исследования сравнивают свои результаты с устаревшими моделями, игнорируя современные аналоги, несмотря на значительную потерю качества при адаптации.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖