ИИ

Внедрил в PersMarket гибридный поиск. Занятная штука. Ведь как раньше было? Скажем, вы ищете вакансию (ну или товар в WB) через текстовую строку "тестировщик". На сервере БД выполняет SQL-запрос с условием

WHERE description LIKE '%тестировщик%'

Это легко программируется, просто ищется, нативно подхватывается многостраничность. Но есть в таком подходе минус: вы искали слово "тестировщик" - вы только его и найдете. Это может быть приемлемо, например, для тегов, имен собственных и аббревиатур - "Docker", "DDD", "CRM". Но для обычного текста даст очень грубые результаты. Я использую PostgreSQL, в нем есть особый тип поля - tsvector, для более продвинутого подхода. В него можно собрать векторное представление текстовых данных для полнотекстового поиска. Это дает сразу кучу ништяков: ▪️разные формы слова ("бежал", "бежит") станут одной лексемой ▪️меньше лишних слов типа предлогов, которые для поиска не важны ▪️специальный индекс, который заметно ускоряет поиск Выглядит это так:

'python':134A 'rabbitmq':118A 'redi':112A 'review':81A 'saa':15A 'schedul':106A 'servic':145A 'throughput':71A 'авторизац':62A 'архитектур':27A,50A,83A 'асинхрон':54A 'аутентификац':60A 'ваканс':5A 'взаимодейств':55A 'влиян':25A 'внутрен':44A 'высоконагружен':39A,99A

Но и этого уже мало. С появлением нейросетей появилась еще одно интересное развитие темы - поиск по смыслу. Снаружи выглядит как магия ✨ Каждый текст с помощью ИИ превращается в векторное представление, так называемый embedding. Это многомерный вектор, отражающий смысл текста. В PostgreSQL для этого тоже есть свой тип данных - vector. В нем много цифр:

[3.0517578e-05,0.041046143,-0.036010742,-0.022735596,0.018463135,-0.0036640167,0.014862061,0.0010919571,0.00969696,-0.006175995,0.012413025,-0.05609131,0.023406982,-0.006580353,0.041656494,0.032470703,-0.0869751,0.0071144104,0.011909485,0.034179688,0.02305603,0.027496338]

Алгоритм такой: ▪️текст вакансии (название + описание) через ИИ превращаем в эмбеддинг ▪️поисковый запрос тоже через ИИ превращаем в эмбеддинг ▪️сам поиск измеряет косинусное расстояние между этими эмбеддингами и сортирует по "векторной близости" Генерацию эмбеддингов можно делать через API, например, в том же OpenAI через модель text-embedding-3-small, либо даже через локальную опенсорсную модель типа intfloat/multilingual-e5-small, которая, по слухам, даже без GPU работает. Что еще можно делать с эмбеддингами? Можно их использовать в RAG-системах. Типичный пример - заставить ИИ-чат-бота давать ответы по базе знаний вашего продукта. Все статьи базы знаний превращаем в эмбеддинги и добавляем из при запросах к ИИ. Модель ищет ответ не где-то в интернете, а конкретно в ваших статьях. Полезно для автоматической поддержки. Но у поиска по смыслу тоже есть минус - они может пропустить точные совпадения слов, например, аббревиатур. Поэтому на PersMarket сейчас работает гибридный поиск по алгоритму Reciprocal Rank Fusion (RRF). Такой поиск совмещает две выборки - семантическую и смысловую, а результаты ранжирует по их позициям в выборках. В общем, поиск заиграл новыми красками. Заодно теперь в каждой вакансии есть "похожие вакансии". И по таким же принципам можно будет строить рекомендательную систему для индивидуального подбора. Но это тема отдельной диссертации. #database #ai #persmarket

Итак, вчера я опубликовала видео и обещала приложить объемный промпт, который позволит запустить первичный каркас под любую браузерную игру. В файле синим цветом я выделила свои комментарии. Учитвайте, что каждая игра имеет свои требования, начиная от жанра и заканчивая стеком, поэтому итоговые пункты могут отличаться. Если используете Cursor, то такой промпт можно использовать так (просто выберите что-то одно: 🟡 Создать собственное правило (В Cursor есть Project Rules (или .cursor/rules в новых версиях). Туда можно положить инструкцию один раз, и ИИ будет помнить её при каждом запросе. 🟡Использовать Agent Mode (включаете этот режим и просто вставляете объемный промпт из файла) 🟡Создать файл AGENTS.md (или несколько файлов по типу GAMEPLAY.md, ARCHITECTURE.md и т.д.)

Писатель против юриста: Копирайт работает не так Юрист по интеллектуальной собственности и писатель поясняют друг другу за авторские права. Спор о копирайте, философии творчества и правах на идеи. В этом выпуске подкаста Lawread: 00:00 Как писатель Дмитрий Ильенков относится к авторскому праву 00:14 Копирайт круто 01:25 Копирайт не круто 03:34 Потребители контента рулят 05:44 У нормальных людей нет интуитивного чувства интеллектуальной собственности 06:47 Про монетизацию книг 09:15 Использует ли Дмитрий нейронки в писательской работе 11:18 Что такое творчество, и как машины забирают у людей человеческое 15:07 Искусство не требует творчества 19:08 Почему сгенерированный контент не охраняется авторским правом 20:28 Писатель Дмитрий хочет копирайт на сгенерированные тексты 22:26 Юридическая охрана для методологии проджект-менеджмента 28:32 Идеи и тексты: от Платона к судебному делу Google v. Oracle ✅ Доступно почти везде: Youtube • Youtube Music • Apple Podcasts • Spotify • Castbox • Яндекс Музыка

Когда полезен Claude Cowork Это агентный режим Клода, в чате выдаете ему доступ к папке на компе, он читает файлы оттуда и кладет туда новые файлы, которые сгенерил. Когда он нужен:  1️⃣ Много разрозненных файлов, нужен один свод. Например, есть 12 выгрузок из CRM в разных форматах, нужно свести в таблицу с конверсией по этапам и увидеть, где просадка. 2️⃣ Файлов не много, но они огромные. У чата ограниченное контекстное окно, тяжёлая выгрузка в него не влезет. Cowork вместо этого пишет код, прогоняет файл и забирает только результат 3️⃣ Задача не языковая, а вычислительная. Чат генерирует текст, и в циферках может врать. Агент под ту же задачу пишет код и получает точное число.  5️⃣ Задача повторяется. Есть запланированные задачи: каждый понедельник собрать сводку по расходам на трафик. Один раз описали процедуру, дальше оно работает. Пользуетесь Коворком?

Вакансию пишет нейросеть. Резюме правит нейросеть. Отклик составляет нейросеть. Потом другая нейросеть решает, подходит ли кандидат, а первое собеседование проводит ИИ-интервьюер. Люди могут впервые поговорить уже где-то около оффера. Вот до этого дошла гонка автоматизации найма. Люди отправляют автоматические отклики, работодатели ставят всё больше фильтров. И это еще не самое плохое. Компании сознательно публикуют вакансии, на которые никого не собирается нанимать. Среди причин — собрать резюме на будущее, показать рост бизнеса и даже напомнить своим сотрудникам, что им легко найти замену. Автор разбирает, как рынок труда оказался в этой гонке вооружений, кому она выгодна и почему технологии ускоряют отдельные этапы найма, а сам поиск работы становится всё длиннее и сложнее. И предлагает подумать, как из этой системы выйти.

🧠 Может ли ИИ изменить наш мир? Да, но совсем не так, как многие думают Недавно модель Claude Fable 5 смогла опровергнуть гипотезу Якобиана, над которой математики бились почти 90 лет. Чуть ранее другая нейросеть решила задачу Эрдеша, поставленную еще в 1946 году. Казалось бы, такие технологии должны серьезно повлиять на мир, правда? Однако мы все еще ездим на тех же машинах, сидим за привычными компьютерами и получаем зарплату. Почему даже мощный ИИ никак не изменил нашу повседневную жизнь? Нашел этому интересное объяснение - сделал краткую выжимку, делюсь. 🤔 Почему ИИ не способен изменить нашу реальность? На этот счет эксперты выдвинули несколько гипотез. Согласно одной из них, любой интеллект может иметь предел развития - как шар, который уже стал настолько круглым, что дальнейшая шлифовка почти ничего не изменит. Возможно, люди уже достигли предела когнитивных способностей, и даже сверхинтеллектуальные машины никогда не превзойдут нас так, как мы превзошли животных. Но даже если это правда, есть минимум 3 причины, по которым ИИ все еще может обеспечить нам прогресс и рост производительности. 1️⃣ Возможность бесконечного копирования. Количество людей ограничено, а число копий ИИ можно увеличивать, просто строя дата-центры и собирая роботов. В теории, так каждый из нас получит в свое распоряжение армию умных машин. Ограниченные человеческие ресурсы получится масштабировать, и это приведет к новой промышленной революции. 2️⃣ Расшифровка неявных знаний. Секреты мастерства некоторых компаний невозможно скопировать. Ведь они хранятся в головах тысяч сотрудников, как набор неосознанных приемов. ИИ может быстро собрать и обработать данные с датчиков и камер и выявить эти хитрости. Так уникальные знания станут доступны многим компаниям, и это резко ускорит прогресс. 3️⃣ Открытие “облачных законов”. Есть мнение, что Вселенная полна закономерностей, которые мы просто не в состоянии распознать. Зато их сможет обнаружить ИИ благодаря его способности удерживать в рабочей памяти колоссальные объемы данных. Возможно, мы так и не поймем логику этих законов, зато сможем их использовать. ☝️ Что в итоге получается? Настоящая сила ИИ не в том, чтобы быть умнее самого умного человека. Она в том, чтобы делать штуки, которые людям недоступны: обрабатывать необъятное и находить невидимые для нас связи. И научный прогресс возможен только, если объединить мощности машин с гибкостью нашего мышления. А вы как думаете: ИИ действительно никогда не превзойдет людей? Заходите в комментарии - давайте обсудим. 👉🏼 Подписывайтесь на «Телеграмму...» в Максе: max.ru/yumaks #МНЕНИЕ #КЕЙС #НЕЙРОСЕТИ #ИИ