Разработка ИИ-инструмента для визуального поиска товаров в e-commerce

/Что прикольного я навайбкодила сегодня 🤓/ Я редко рассказываю здесь, что конкретно делаю для компаний, с которыми работаю. Но какие-то крошки полезного могу и хочу приносить. Например, последнюю неделю я вайбкодила довольно прикольную штукенцию. У клиента (еком) огромный каталог - десятки тысяч sku. И понятно, что ни один менеджер физически не может помнить весь ассортимент, все аналоги и быстро сообразить: «ага, вот на этой фотке что-то похожее на наш артикул №14852». Поэтому мы делаем ИИ-шку, которой можно просто скормить фотографию предмета [любую, хоть снятую на телефон где-то в жизни], и попросить найти максимально похожее в нашем каталоге. При этом у ИИ-шки есть актуальная база знаний про ассортимент: что мы вообще продаем, что есть в наличии, сколько стоит и так далее. А дальше я собрала ей примерно такой алгоритм: 💗 1. Сначала она смотрит на фотографию и несколькими словами и синонимами описывает, что вообще на ней видит. Так мы из десятков тысяч товаров сразу сужаем поиск до нужной категории. 💗2. Вторым шагом внутри выбранной категории она находит до 100 наиболее похожих товаров по текстовому описанию и характеристикам и подтягивает их фотографии. 💗3. И только после этого скаченные 100 фотографий подробно сравнивает визуально с исходной фотографией и выбирает топ-5 самых похожих товаров. Визуально все обернуто в сайт, естественно, а под капотом по апи ключу она ходит за мои токены думать. В итоге через пару десятков секунд мы получаем готовую подборку аналогов из нашего реального каталога, с актуальными ценами и наличием. А, еще важно, что на первом этапе мы, конечно, не отдаем ии всем пользователям - сначала надо сделать так, чтобы эти рекомендации видели знающие люди (менеджеры) и по каждой предложенной позиции дали свой фидбек - на это тоже настроен сайт и сбор данных в базу - хорошо ли нейросеть подобрала аналог, или нет - так мы дообучим модель (доуточним промпт на самом деле) и еще повысим качество. Рубрика #яжпродакт - выпуск про то, как иногда весело быть не только рассуждающим о высоком консультантом, но и делающим руками!