Анализ влияния Jev-модели на рынок и борьбу со спамом

Кажется, хайп вокруг Jev-модели уже немного утих. Более того, за это время появилось очень много её аналогов. Вчера я видел обзор: сейчас есть своя модель у AWS, своя у OpenAI, ещё у какого-то провайдера и штук пять open-source моделей. И все плюс минус рядом по точности. Таки одна моделька рынок не поменяла 🤷‍♂️ В целом я не удивлён. Когда я впервые увидел Jev, её архитектура очень напомнила мне то, что последние два года делают в робототехнике. Берётся исходный трансформер, предобученный на visual-language данных, и используется как инициализатор для гораздо меньшей сетки — по сути, action head, которая берёт произвольные части этого трансформера. Иногда всё это инициализируется немного по-разному, а дальше модель учится решать конкретную задачу: диффузию, регрессию или что-нибудь ещё. В случае Jev это была задача multilabel-классификации. Я не знаю, как именно они реализовали расширяемый список классов, но кажется, что это не должно быть чем-то суперсложным. Наверное, именно поэтому первые аналоги появились буквально через несколько часов после релиза — люди довольно быстро смогли всё это повторить. К чему я всё это веду. Когда вышел Jev, я прикрутил к своему каналу бота, который банит спамеров. До вчера он был в тестовом режиме, а потом я переключил в рабочий. Я давно собирался это сделать, а Jev стал дополнительным толчком 😈 Но, похоже, не я один оказался таким умным: за эти две недели количество спама очень сильно упало само по себе в телеге 😁. Походу команда Паши бдит за новинками. В моём канале было буквально два спамерских сообщения со ссылками, и оба отсеялись ещё на простом правиле: если это первое сообщение человека в канале и в нём есть ссылка — банить. А всё, что дошло до Jev-модели, уже оказалось не спамом, а вполне адекватными комментариями. Но на всякий случай предупреждаю: если бот вдруг случайно кого-то забанит, не стесняйтесь писать мне в личку. Если вы живой человек — разбаню:)