Опыт проведения лайв-демо и отладка странного поведения модели
Б@boris_againAI-инженер
1 месАвтор делится опытом проведения воркшопа с лайв-демо, где столкнулся с необъяснимым поведением модели и получил полезную критику от коллег.
Демонстрация «живой» работы модели помогает выявить ошибки, которые невозможно заметить при анализе отобранных результатов.
- Лайв-демо позволяет увидеть реальные проблемы модели, скрытые за «красивыми» примерами.
- Внешняя критика коллег помогает взглянуть на архитектурные решения под другим углом.
- Неожиданное поведение модели на инференсе — важный сигнал для пересмотра процесса обучения.
Конференции потрясающая штука. На воркшопе рассказывал про наш прогресс. Решил помимо черрипикнутых видео, где мы конечно молодцы, показать лайв демо. Там наша модель местами работает, а местами не работает.
Например, одна из необъясненных проблем это вот такие странные траектории. Это игрушечная модель которая учится кликать в одну из двух кнопок. Все траектории в данных у неё прямые и попадают прямо в середину кнопки. А потом на инференсе она заходит на цель с какого-то уголка и наворачивает невероятные вензеля.
В основном всем понравилось. Но один парень сказал, что я всё делаю неправильно, траектории курсора не нужны и все такое. Я задумался и к вечеру придумал три вероятных источника этой проблемы и какие эксперименты провести, чтобы её победить.
Кратко (AI)
Автор провел воркшоп, на котором показал лайв-демо своей модели, обучающейся кликать по кнопкам. В процессе выяснилось, что модель строит странные траектории движения курсора, не соответствующие обучающим данным. Полученная от участника критика помогла автору сформулировать гипотезы для дальнейшей отладки.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖