Июльский дайджест продактов звучит жарой и светом её Солнца – От лошадей к стартапам – Цена фичи – Contextual Product Management – Про «чтобы что» – Закон Фолкленда – Закон Брукса – Правило 7% – 3 Истины Систем – Главное из AEO – Зачем продукту видение – Be NICE – Diff-in-Diff: A/B-тест невозможен – Process Communication Model – Как перестать быть незаменимым – The truth about being a manager – Что проверять в AI-продуктах – Немного про контрольные карты – Scream-тест продукта – Суперпозиция продукта – Токен ↔ Человек – Метод CRISP для PRD – Валидация — мираж – Культура загнивает незаметно – Как проектировать UX AI – Чатоцентричный интерфейс – Играем в «Оракл» с продуктом – ИИ внушает ложную уверенность – Book: Product Design Psychology – Гайд: Метрики UX – The Layers of AI experience – Симулятор сотрудника FAANG – Каталог когнитивных искажений – ИИ о человеческих страданиях – 3 ways people respond to a problem – What AI can tell us about human suffering – The Laws of this World (Game Theory) – По вере вашей дано будет вам 🌞 Yoshiko Sai ～ Taiji no Yume 🔭 Chiemi Manabe - Untotooku

Внедрил в PersMarket гибридный поиск. Занятная штука. Ведь как раньше было? Скажем, вы ищете вакансию (ну или товар в WB) через текстовую строку "тестировщик". На сервере БД выполняет SQL-запрос с условием

WHERE description LIKE '%тестировщик%'

Это легко программируется, просто ищется, нативно подхватывается многостраничность. Но есть в таком подходе минус: вы искали слово "тестировщик" - вы только его и найдете. Это может быть приемлемо, например, для тегов, имен собственных и аббревиатур - "Docker", "DDD", "CRM". Но для обычного текста даст очень грубые результаты. Я использую PostgreSQL, в нем есть особый тип поля - tsvector, для более продвинутого подхода. В него можно собрать векторное представление текстовых данных для полнотекстового поиска. Это дает сразу кучу ништяков: ▪️разные формы слова ("бежал", "бежит") станут одной лексемой ▪️меньше лишних слов типа предлогов, которые для поиска не важны ▪️специальный индекс, который заметно ускоряет поиск Выглядит это так:

'python':134A 'rabbitmq':118A 'redi':112A 'review':81A 'saa':15A 'schedul':106A 'servic':145A 'throughput':71A 'авторизац':62A 'архитектур':27A,50A,83A 'асинхрон':54A 'аутентификац':60A 'ваканс':5A 'взаимодейств':55A 'влиян':25A 'внутрен':44A 'высоконагружен':39A,99A

Но и этого уже мало. С появлением нейросетей появилась еще одно интересное развитие темы - поиск по смыслу. Снаружи выглядит как магия ✨ Каждый текст с помощью ИИ превращается в векторное представление, так называемый embedding. Это многомерный вектор, отражающий смысл текста. В PostgreSQL для этого тоже есть свой тип данных - vector. В нем много цифр:

[3.0517578e-05,0.041046143,-0.036010742,-0.022735596,0.018463135,-0.0036640167,0.014862061,0.0010919571,0.00969696,-0.006175995,0.012413025,-0.05609131,0.023406982,-0.006580353,0.041656494,0.032470703,-0.0869751,0.0071144104,0.011909485,0.034179688,0.02305603,0.027496338]

Алгоритм такой: ▪️текст вакансии (название + описание) через ИИ превращаем в эмбеддинг ▪️поисковый запрос тоже через ИИ превращаем в эмбеддинг ▪️сам поиск измеряет косинусное расстояние между этими эмбеддингами и сортирует по "векторной близости" Генерацию эмбеддингов можно делать через API, например, в том же OpenAI через модель text-embedding-3-small, либо даже через локальную опенсорсную модель типа intfloat/multilingual-e5-small, которая, по слухам, даже без GPU работает. Что еще можно делать с эмбеддингами? Можно их использовать в RAG-системах. Типичный пример - заставить ИИ-чат-бота давать ответы по базе знаний вашего продукта. Все статьи базы знаний превращаем в эмбеддинги и добавляем из при запросах к ИИ. Модель ищет ответ не где-то в интернете, а конкретно в ваших статьях. Полезно для автоматической поддержки. Но у поиска по смыслу тоже есть минус - они может пропустить точные совпадения слов, например, аббревиатур. Поэтому на PersMarket сейчас работает гибридный поиск по алгоритму Reciprocal Rank Fusion (RRF). Такой поиск совмещает две выборки - семантическую и смысловую, а результаты ранжирует по их позициям в выборках. В общем, поиск заиграл новыми красками. Заодно теперь в каждой вакансии есть "похожие вакансии". И по таким же принципам можно будет строить рекомендательную систему для индивидуального подбора. Но это тема отдельной диссертации. #database #ai #persmarket

Итак, вчера я опубликовала видео и обещала приложить объемный промпт, который позволит запустить первичный каркас под любую браузерную игру. В файле синим цветом я выделила свои комментарии. Учитвайте, что каждая игра имеет свои требования, начиная от жанра и заканчивая стеком, поэтому итоговые пункты могут отличаться. Если используете Cursor, то такой промпт можно использовать так (просто выберите что-то одно: 🟡 Создать собственное правило (В Cursor есть Project Rules (или .cursor/rules в новых версиях). Туда можно положить инструкцию один раз, и ИИ будет помнить её при каждом запросе. 🟡Использовать Agent Mode (включаете этот режим и просто вставляете объемный промпт из файла) 🟡Создать файл AGENTS.md (или несколько файлов по типу GAMEPLAY.md, ARCHITECTURE.md и т.д.)

Когда полезен Claude Cowork Это агентный режим Клода, в чате выдаете ему доступ к папке на компе, он читает файлы оттуда и кладет туда новые файлы, которые сгенерил. Когда он нужен:  1️⃣ Много разрозненных файлов, нужен один свод. Например, есть 12 выгрузок из CRM в разных форматах, нужно свести в таблицу с конверсией по этапам и увидеть, где просадка. 2️⃣ Файлов не много, но они огромные. У чата ограниченное контекстное окно, тяжёлая выгрузка в него не влезет. Cowork вместо этого пишет код, прогоняет файл и забирает только результат 3️⃣ Задача не языковая, а вычислительная. Чат генерирует текст, и в циферках может врать. Агент под ту же задачу пишет код и получает точное число.  5️⃣ Задача повторяется. Есть запланированные задачи: каждый понедельник собрать сводку по расходам на трафик. Один раз описали процедуру, дальше оно работает. Пользуетесь Коворком?

Чек-лист, что должен проверять продакт в AI-продуктах и чатах в частности 1. Правило 5–10 кейсов. Составь базвый золотой датасет из 5–10 эталонных юзкейсов (например, для AI-саппорта: возврат денег, смена адреса, жалоба на хамовитого курьера) и автоматизируй их проверку. 2. Один скорер = одно измерение. Главная ошибка PM - оценивать ответ модели одной общей метрикой «хорошо/плохо». Для кейса с возвратом денег разбей оценку на три отдельных скорера: • Точность (Accuracy): нашел ли бот правильную транзакцию? • Тон (Tone): вежлив ли бот, выразил ли эмпатию? • Безопасность (Policy): не пообещал ли бот возврат денег в обход регламента? 3. Human Review нельзя убирать. Автоматический код легко проверит, сделал ли бот запрос к базам данных. Но оценить, не звучит ли ответ как бездушный робот, пока может только человек. 4. Разрыв между топом и медианой. Команды с авто-эвалами видят, что новое обновление модели сделало бота супер-вежливым, но снизило точность поиска заказов на 10% и откатывают деплой. Команды без эвалов выкатывают регресс в прод и ловят волну негатива от клиентов. 5. 3 фазы внедрения на примере AI-саппорта: • Инкубация: собираем золотой датасет частых вопросов клиентов. • Шлифовка: weekly-демо, жесткие критерии (*«бот должен прикрепить ссылку на форму возврата, но не закрывать тикет сам»*) и просмотр цепочки рассуждений бота (Debug Mode). • Масштабирование: авто-тесты перед каждым деплоем и Slack-канал, куда автоматически падают все «дизлайки» от пользователей с логами беседы. 6. Чек-лист: как внедрить Evals за 5 шагов: • Собери реальные логи чатов, где бот ошибся. • Сформируй из них точечный датасет на 10–50 примеров. • Сравни две версии промпта side-by-side на одном и том же датасете. • Настрой автоматический ночной прогон тестов (Nightly Evals). • Настрой алерты на дизлайки пользователей прямо из продакшена. 7. Метрики качества AI-бота: • Accuracy: % корректно решенных вопросов без эскалации на оператора. • Tone & Brand Alignment: соответствие гайдлайнам компании. • Schema Compliance: отдаёт ли бот корректный JSON для API вызовов. • Latency & Cost: задержка ответа (в сек) и стоимость токенов на диалог. Источник: https://www.braintrust.dev/blog/evals-for-pms](https://www.braintrust.dev/blog/evals-for-pms #PG_education

Короче, споры, кто круче Claude или Chat GPT похожи на споры про MacOS или Windows. Или на споры про iPhone или Андроид. Очевидно, что мак и айфон 😁 И вот что я заметил. Даю задачу Claude — делает идеально. Долго, дотошно, но в итоге прям хорошо. Даю такую же задачу Chat Chat GPT, он делает быстро. Быстро. Но не идеально. Чуть тут поправить нужно. Тут лишнего сделал, что не просил. Тут поломал, но быстро исправил. Главное быстро. И в итоге лимитов больше, задачи делает быстрее, но сама по себе работа выполняется МЕДЛЕННЕЕ и невров уходит больше. Claude со своими блядскими лимитами, конечно идёт нахер. Но делает свою работу круто, зараза. Он как хороший работник, который звезда. Делает офигенно, чётко, но денег стоит много и на сверхурочные не остается 😁