Какими ИИ я сейчас пользуюсь, для каких целей и сколько за это плачу? Полтора года назад я радовалась, что в подписку ChatGPT за 23 доллара завезли Deep Research. Написала тогда пост, вы его активно репостили. Сейчас я захожу в ChatGPT, только чтобы перевести текст с/на португальский или кинуть фотографию с вопросом «что это?» (например, дерево по листве или шишкам определить). ChatGPT не стал хуже, он стал сильно лучше. Но я уже построила себе единую систему вокруг Claude, и всё остальное мне стало не нужно. Вот как выглядел мой набор инструментов ещё недавно: 💚 Perplexity - в нём я делала исследования 💚 NotebookLM - в нём работала с документами и запросами, основанными на анализе готовых исследований 💚 Nano Banana - рисовала иллюстрации 💚 Cursor - в нём вайбкодила сложные проекты 💚 ChatGPT - переводы, поиск непонятного, дип-ресёрчи Это был период активного «пробования на вкус» возможностей каждого инструмента. А потом я остановилась на одном и стала растить из него систему. Сейчас она с каждым днём становится умнее, всё больше знает про меня, мои проекты, рабочие и личные задачи, и реально превратилась во второй мозг - очень-очень умного личного помощника. Устроена эта система довольно просто: 💚 Есть база знаний, где лежит всё - встречи, проекты, решения, черновики, документы. Живёт в закрытом облаке, от моего ноутбука не зависит. 💚 Один движок - Claude Code, который в эту базу пишет и из неё читает. 💚 Навыки под конкретные задачи: написать пост, найти нужную встречу, разобрать данные. Каждый знает, откуда брать контекст и куда класть результат. И теперь я просто разговариваю в чате, а раскладывает по проектам всё он сам. Отдельно про Cursor, потому что им я пользовалась для создания любого нового продукта. Перестала. Теперь всё решаю через десктопную версию Claude Code. Теперь про деньги. Claude - 90 евро в месяц, ChatGPT - 20. Итого 110 евро за всё. И это не только мои задачи: к аккаунту подключены муж и сын, каждый решает в этот бюджет своё - рабочее, учебное, личное. Это первый пост из серии - дальше расскажу, как эта система устроена внутри, что она делает за меня и даже поделюсь тем, где я накосячила в общении с ИИ. А у вас сколько ИИ-инструментов в работе? Остановились на одном и собрали в систему или пользуетесь каждым понемногу? И что в приоритете? Любовь на удаленке | Оля Сохнева #ии_наудаленке

Чек-лист, что должен проверять продакт в AI-продуктах и чатах в частности 1. Правило 5–10 кейсов. Составь базвый золотой датасет из 5–10 эталонных юзкейсов (например, для AI-саппорта: возврат денег, смена адреса, жалоба на хамовитого курьера) и автоматизируй их проверку. 2. Один скорер = одно измерение. Главная ошибка PM - оценивать ответ модели одной общей метрикой «хорошо/плохо». Для кейса с возвратом денег разбей оценку на три отдельных скорера: • Точность (Accuracy): нашел ли бот правильную транзакцию? • Тон (Tone): вежлив ли бот, выразил ли эмпатию? • Безопасность (Policy): не пообещал ли бот возврат денег в обход регламента? 3. Human Review нельзя убирать. Автоматический код легко проверит, сделал ли бот запрос к базам данных. Но оценить, не звучит ли ответ как бездушный робот, пока может только человек. 4. Разрыв между топом и медианой. Команды с авто-эвалами видят, что новое обновление модели сделало бота супер-вежливым, но снизило точность поиска заказов на 10% и откатывают деплой. Команды без эвалов выкатывают регресс в прод и ловят волну негатива от клиентов. 5. 3 фазы внедрения на примере AI-саппорта: • Инкубация: собираем золотой датасет частых вопросов клиентов. • Шлифовка: weekly-демо, жесткие критерии (*«бот должен прикрепить ссылку на форму возврата, но не закрывать тикет сам»*) и просмотр цепочки рассуждений бота (Debug Mode). • Масштабирование: авто-тесты перед каждым деплоем и Slack-канал, куда автоматически падают все «дизлайки» от пользователей с логами беседы. 6. Чек-лист: как внедрить Evals за 5 шагов: • Собери реальные логи чатов, где бот ошибся. • Сформируй из них точечный датасет на 10–50 примеров. • Сравни две версии промпта side-by-side на одном и том же датасете. • Настрой автоматический ночной прогон тестов (Nightly Evals). • Настрой алерты на дизлайки пользователей прямо из продакшена. 7. Метрики качества AI-бота: • Accuracy: % корректно решенных вопросов без эскалации на оператора. • Tone & Brand Alignment: соответствие гайдлайнам компании. • Schema Compliance: отдаёт ли бот корректный JSON для API вызовов. • Latency & Cost: задержка ответа (в сек) и стоимость токенов на диалог. Источник: https://www.braintrust.dev/blog/evals-for-pms](https://www.braintrust.dev/blog/evals-for-pms #PG_education

Идеальная отписка Uber Eats — красавчики! У меня на днях списался очередной платёж за подписку Uber One. Классический сценарий, когда забыл отписаться от сервиса, который уже не нужен (на Филиппинах Uber проиграл Grab и при всем желании я не могу воспользоваться их услугами). Захожу в приложение и вижу такой экран в разделе подписки. Ну, думаю, это вы специально так сделали. Дополнительный барьер перед отпиской. Писать в поддержку, ждать ответа… Но оказывается, чат-бот поддержки умеет принимать правильные решения. Описываю ситуацию, мне без всяких подтверждений сразу возвращают платеж на карту и желают всего хорошего в регионе, в котором (пока?) не работает Uber. Обязательно подпишусь назад, если будет возможность! #producteye #ux #subscribtion