Уроки внедрения ML-моделей в банковские продукты

🤣 Как за год заработать банку 50 тысяч 👼 После того как я стал руководителем, мне хотелось решить как можно больше задач силами своей команды. Мы умели работать с текстами, и эту экспертизу хотелось применить в продуктах банка. 📈 Одна такая задача нашлась в инвестиционном продукте. Новости без категорий было неудобно читать. По крайней мере, так казалось мне — человеку, который умел их классифицировать. Решение выглядело очевидным: давайте сделаем классификатор. Я убедил бизнес, собрал первую модель и передал её джуну на доработку. Мы разметили данные, улучшили качество и показали результат заказчику. Тексты хорошо раскладывались по категориям, заказчик был доволен — договорились внедрять в мобильное приложение. 🗓️ А дальше приложение переделывали, команда менялась, приоритеты уезжали. Так прошёл год. Сейчас я понимаю, что постоянные переносы были неслучайны: бизнес не видел ценности классификатора, а мы не смогли объяснить, какую ценность он должен принести. 🎉 Наконец классификатор внедрили, запустили A/B-тест и ещё через месяц подвели итоги. Оказалось, что он приносит банку 50 тысяч рублей в месяц — примерно зарплату джуна, который его допиливал. 🤦‍♂️ Где мы облажались? - Не спросили, какую продуктовую метрику хотим изменить, за счёт чего и насколько. Мы просто решили, что категоризированные новости — это хорошо. - Заранее не договорились, как будем измерять эффект. В итоге продакт что-то как-то протестировал, а мы что-то как-то посчитали. Этот печальный опыт усилил мою аллергию на внедрение технологий по мотивам русских сказок: «Пойди туда, не знаю куда. Внедри затем, не знаю зачем». После этой истории у меня закончился нейросетевой недотрах. 😅 🎯 Прежде чем делать модель, ответьте на два вопроса: какой бизнес-эффект она должна дать и как вы его измерите. До продакшена классификатор мы довезли. До бизнес-эффекта — нет. А на каком этапе вы бы остановили этот проект? Пишите в комментариях. 👇