Как статья о нейрокодах привела к поиску товаров по фото
Ф@fichismмедиа / агрегатор
1 недСтатья Артёма Бабенко и коллег 2014 года о нейрокодах легла в основу поиска похожих товаров по фото на маркетплейсах.
Как статья 2014 года стала кнопкой на всех маркетплейсах
На днях Elsevier (это крупнейшей научное издательство в мире, им принадлежат The Lancet, Cell, платформа ScienceDirect и т.д.) опубликовало список самых цитируемых учёных мира за 2025 год, и в топ-1% по ИИ и обработке изображений попали исследователи из Yandex Research - например, Людмила Прохоренкова (автор статьи про CatBoost) и Артём Бабенко.
Новость важная, но чтобы она стала менее абстрактной и более "фичевой" - давайте на конкретном примере покажу, как научная цитируемость превращается в конкретную кнопку, которую мы жмём каждую неделю или около того.
Год назад я разбирал, как все российские маркетплейсы разом - от Маркета до Озона и т.д. - одновременно внедрили примерно одинаковый поиск по фото. С тех пор он стал весьма востребованной фичей, кстати. Так вот, у него есть конкретная дата рождения: 2014 год, из статьи того самого Артёма Бабенко и его коллег про "нейрокоды".
Идея там была довольно-таки хулиганская. Они взяли нейронку, обученную совсем другому - например, отличать питбулей от картошки (это кстати не так просто, если вы понимаете о чём я). Но вместо финального ответа вытащили из неё числа с внутренних слоёв. И оказалось, что эти числа представляют собой отличное описание картинки: если у двух фоток они близки, значит, на них похожие штуки.
То есть, нейронку никто специально не учил искать похожие фотки, но она сама это делала. Плюс, бонусом выяснилось, что такое описание можно ужать до короткого вектора почти без потери точности - а значит, хранить и перебирать миллиард товаров можно экономически рентабельно.
С тех пор любой поиск по фото примерно так и устроен. Ваша фотка кроссовка превращается в вектор, кроссовки в каталоге - тоже, и ближайшие векторы выдаются вам как результат.
Это объясняет, почему фича у всех появилась одновременно и выглядит примерно одинаково. Потому что рецепт один, и он существовал уже давно. И как только обвязка под него достигла сносного уровня - его тут же все запилили. А конкуренция идёт уже не в самой фиче, а в том, насколько чисто размечен каталог и насколько годно сеть дообучили именно на своих товарах (в той статье 2014 года про пользу такого дообучения тоже написано, кстати).
Так что, если вдруг маркетплейс по фото вашей кружки найдёт унитаз - не ругайте учёных. Нейронка всё делает правильно, просто кто-то поленился её дообучить.
Фичизм
Кратко (AI)
Автор связывает статью Артёма Бабенко и коллег 2014 года о нейрокодах с поиском товаров по фотографиям на маркетплейсах. В тексте объясняется, как признаки из внутренних слоёв нейросети помогают находить похожие изображения, а качество результата зависит в том числе от разметки каталога и дообучения модели.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖