Привет, это «Артифишл» Я Артём, техлид ML R&D. Шесть лет учу машины находить нужное в текстах на русском. Если вы собирали RAG или поиск по документам, возможно, вы уже пользовались нашей работой. С командой мы сделали эмбеддер FRIDA и бенчмарк ruMTEB, на котором сравнивают русскоязычные эмбеддеры. Сейчас делаем поискового агента SMITH и FRIDA-Decisions, модель, которая принимает решения по тексту без генерации. Все лежит в открытом доступе с лицензией MIT. Что здесь будет: — как устроены эмбеддинги, поиск и агенты, с честными минусами; — мои эксперименты с цифрами, включая неудачные; — тренды и обзоры новых технологий по моей теме; — кухня R&D: как делаются модели, которыми вы пользуетесь; — обсуждения с вами в комментариях: как вы применяете AI и чего вам не хватает. Последнее для меня самое важное. Напишите в комментариях, чем занимаетесь и что у вас сейчас не работает. Буду строить посты на ваших ответах.

🧩 Метод Мотивация следующая. Омонимы пишутся одинаково, а могут иметь совершенно различный смысл в зависимости от контекста. Bank в английском — это банк и берег реки. В следующем примере из статьи по смыслу имеется в виду второе, но, увидев ATM, модель триггерится на первое и дает неверный ответ: > User: Fred took the day off work and pulled out his fishing pole. He drove > to the bank. When he reaches the bank, should he wear boots or flip flops? > > Model: While flip flops may be more comfortable for a casual day, they are > not the best choice for fishing, especially at a river bank. Here’s why: > ... > > User: Is it likely that Fred will find an ATM at this bank? > > Model: It is highly likely that Fred will find an ATM at the bank. Most > banks, especially those located near bodies of water popular for fishing, > have ATMs on-site for customer convenience. В более ранних работах показывали, что причина этого кроется, по всей видимости, в том, что эмбед нужного концепта проявляется в более глубоких слоях, а до этого есть неопределенность. Следующий токен аттендится на эмбед, где еще есть неопределенность, и может запутаться. Если подменить эмбед с текущего слоя на более поздний, то оказалось, что модель с большей вероятностью начинает верно разрешать такие ситуации. Однако, если такую интервенцию делать для всех токенов, это сломает модель, ибо она на это не училась. Потому авторы предлагают добавлять эмбед с прошлого токена более позднего слоя с каким-то небольшим весом, пробросив информацию и не сломав модель. Оптимальный выбор пары source/target слоев гридсерчат на некой калибровочной выборке и берут ту, где больше всего улучшается перплексия. Коэффициенты смешивания source/target слоев тоже перебирают по сетке. 🧪 Эксперименты Метод валидируют в основном на моделях семейства Gemma-3 (потому что там эффект наиболее выражен, ха-ха-ха) и самые удачные конфигурации дают улучшение перплексии до 5%. На Ministral / Qwen3 / Pythia / Phi2 эффект куда слабее — максимум 0,5% улучшения. В ablation показывают, что максимальное улучшение — если добавлять предыдущий токен; вставка более старых работает хуже. Основное улучшение перплексии идет за счет прилагательных и наречий. Потом тестируют метод на бенчмарке по контекстуализации, и recirculation дает значимый прирост против исходной модели. Правда, при увеличении числа дистракторов в Racing Thoughts эффективность метода будто ухудшается, и он сравнивается с базовой моделью. На бенчах с коротким ответом статзначимого улучшения метод не дает. На GSM8k якобы есть прирост от recirculation. Но базовое качество претрейна Gemma3-4B — 29,3%, с которым сравниваются, — не соответствует 38,4% из техрепорта, потому есть здесь вопросики. ⚠️ Ах да, и самое веселое: в текущей ревизии перед секцией 4 авторы написали большой дисклеймер про то, что замеры перплексии в Gemma3 сломаны из-за того, что был неправильно учтен BOS-токен. Из-за этого, по всей видимости, такое хорошее улучшение перплексии у Gemma3 вышло. ## 💡 Выводы Концептуально идея интересная, но насколько оно на реальных задачах работает из коробки и актуально ли для более современных моделей (обогащенных mHC / attention residuals), остается открытым. И методология / результаты экспериментов довольно спорные.

Внедрил в PersMarket гибридный поиск. Занятная штука. Ведь как раньше было? Скажем, вы ищете вакансию (ну или товар в WB) через текстовую строку "тестировщик". На сервере БД выполняет SQL-запрос с условием

WHERE description LIKE '%тестировщик%'

Это легко программируется, просто ищется, нативно подхватывается многостраничность. Но есть в таком подходе минус: вы искали слово "тестировщик" - вы только его и найдете. Это может быть приемлемо, например, для тегов, имен собственных и аббревиатур - "Docker", "DDD", "CRM". Но для обычного текста даст очень грубые результаты. Я использую PostgreSQL, в нем есть особый тип поля - tsvector, для более продвинутого подхода. В него можно собрать векторное представление текстовых данных для полнотекстового поиска. Это дает сразу кучу ништяков: ▪️разные формы слова ("бежал", "бежит") станут одной лексемой ▪️меньше лишних слов типа предлогов, которые для поиска не важны ▪️специальный индекс, который заметно ускоряет поиск Выглядит это так:

'python':134A 'rabbitmq':118A 'redi':112A 'review':81A 'saa':15A 'schedul':106A 'servic':145A 'throughput':71A 'авторизац':62A 'архитектур':27A,50A,83A 'асинхрон':54A 'аутентификац':60A 'ваканс':5A 'взаимодейств':55A 'влиян':25A 'внутрен':44A 'высоконагружен':39A,99A

Но и этого уже мало. С появлением нейросетей появилась еще одно интересное развитие темы - поиск по смыслу. Снаружи выглядит как магия ✨ Каждый текст с помощью ИИ превращается в векторное представление, так называемый embedding. Это многомерный вектор, отражающий смысл текста. В PostgreSQL для этого тоже есть свой тип данных - vector. В нем много цифр:

[3.0517578e-05,0.041046143,-0.036010742,-0.022735596,0.018463135,-0.0036640167,0.014862061,0.0010919571,0.00969696,-0.006175995,0.012413025,-0.05609131,0.023406982,-0.006580353,0.041656494,0.032470703,-0.0869751,0.0071144104,0.011909485,0.034179688,0.02305603,0.027496338]

Алгоритм такой: ▪️текст вакансии (название + описание) через ИИ превращаем в эмбеддинг ▪️поисковый запрос тоже через ИИ превращаем в эмбеддинг ▪️сам поиск измеряет косинусное расстояние между этими эмбеддингами и сортирует по "векторной близости" Генерацию эмбеддингов можно делать через API, например, в том же OpenAI через модель text-embedding-3-small, либо даже через локальную опенсорсную модель типа intfloat/multilingual-e5-small, которая, по слухам, даже без GPU работает. Что еще можно делать с эмбеддингами? Можно их использовать в RAG-системах. Типичный пример - заставить ИИ-чат-бота давать ответы по базе знаний вашего продукта. Все статьи базы знаний превращаем в эмбеддинги и добавляем из при запросах к ИИ. Модель ищет ответ не где-то в интернете, а конкретно в ваших статьях. Полезно для автоматической поддержки. Но у поиска по смыслу тоже есть минус - они может пропустить точные совпадения слов, например, аббревиатур. Поэтому на PersMarket сейчас работает гибридный поиск по алгоритму Reciprocal Rank Fusion (RRF). Такой поиск совмещает две выборки - семантическую и смысловую, а результаты ранжирует по их позициям в выборках. В общем, поиск заиграл новыми красками. Заодно теперь в каждой вакансии есть "похожие вакансии". И по таким же принципам можно будет строить рекомендательную систему для индивидуального подбора. Но это тема отдельной диссертации. #database #ai #persmarket

UEmbed мультимодальная модель эмбеддингов от Alibaba 2B, 4B, 9B UEmbed это decoder‑only модель, которая в одном проходе генерирует сразу два типа представлений: - плотные (dense) для семантического поиска и задач типа retrieval - разреженные (sparse, лексические) хорошо работает для классического лексического поиска При этом модель принимает на вход текст, изображения и видео и выдаёт для них совместимые эмбеддинги, то есть можно искать текст по картинке, картинку по видеофрагменту и т. п. Единое векторное пространство: разные модальности приводятся к общему представлению, что удобно для гибридного поиска. Гитхаб HF #multimodal

В канале Нади увидел облако ее тг постов за все года. Решил не дожидаться 300🔥 ради сорсов и позвонил Гермесу: 📞 Хочу также, только на моем сайте и во времени, а готовые эмбеддинги возьми из gbrain Пару голосовух спустя, получился таймлайн моих постов (тестил только на мобиле, сори): 🤩 okhlopkov.com/karta-postov-telegram Если хотите попрактиковаться в AI, попробуйте сделать аналогичное для себя: можно не только тг посты, но и любые файлы, статьи, заметки. Закиньте ссылку выше как референс и газ в пол.

Поиск постов канала это конечно круто, но если ищешь что-то конкретное, то лучше спросить у @fiztehbot или в чате @ohld_chat.

Я на две недели в отпуске без компа. Не лопните пузырь тут без меня 🥀

давно хотела сделать удобную навигацию по каналу - кажется, что можно было бы просто опубликовать пост со ссылками, но так не интересно, да и всю 1000 постов вместе не уместить. Так что я решила навайбкодить интерактивную карту 😎 взяла все что есть с 2019 года, прогнала через эмбеддинги и разложила на плоскость - близкие по смыслу оказались рядом. получилось 12 зон - причем если до 2023 это были технические и личные посты, то после - скорее про aesty и стартапы. Ну и про визу талантов сша целый кластер нарисовался 🤨 каждый пост связан с ближайшими соседями по смыслу, так что по архиву можно гулять, плюс поиск и фильтры по годам и темам скажите, если хотите опенсорс, чтобы можно было сделать такое для своего канала