Критика рынка обучения AI evals
N@proproductAI-инженер
3 недАвтор ставит под сомнение ценность платных курсов по AI evals, утверждая, что методология оценки моделей достаточно проста и не требует дорогого обучения.
Рынок образовательных услуг в сфере AI часто переоценивает сложность базовых процессов оценки моделей.
- Методология оценки AI-систем часто сводится к итеративному анализу ошибок и формализации критериев.
- Многие проблемы качества работы моделей решаются классическими инженерными методами, а не сложными фреймворками.
- Потребителям стоит критически оценивать стоимость курсов, обещающих обучение 'магии' AI evals.
Хочу немного поворчать на тему AI evals
Вижу какое-то огромное количество статей и курсов про AI evals за бешеные деньги - но я в упор не понимаю, чему там учить!
1) Что для мануальных, что для автоматизированных evals один и тот же алгоритм:
• анализируем (==смотрим глазами) и категоризируем, где система ошибается
• на основе этого доуточняем наши метрики и определение успеха (и позитивные примеры, если требуется)
• описываем наши наблюдения в формате инструкций: вот первый критерий для оценки, вот как мы его меряем, вот примеры и контрпримеры; вот второй критерий для оценки - и тд
• дальше отдаем это либо в мануальную разметку, либо создаем промпт для LLM as a judge.
2) Есть часть ошибок, которые решаются разработкой, например, простыми эвристиками или classifiers, а также дополнительными алертами и мониторингами. Но вряд ли такому учат на курсе про evals?
В общем, объясните мне, я что-то упускаю? Или это очередная хайпокачка, где продают океанский воздух в банках? 🙂
Кратко (AI)
Автор поста критикует обилие дорогих курсов по AI evals, утверждая, что процесс оценки моделей сводится к базовым алгоритмам анализа ошибок и создания промптов для LLM-судей. Он задается вопросом, является ли это реальной экспертизой или маркетинговым хайпом, так как многие проблемы решаются стандартными инженерными методами.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖