Чек-лист, что должен проверять продакт в AI-продуктах и чатах в частности 1. Правило 5–10 кейсов. Составь базвый золотой датасет из 5–10 эталонных юзкейсов (например, для AI-саппорта: возврат денег, смена адреса, жалоба на хамовитого курьера) и автоматизируй их проверку. 2. Один скорер = одно измерение. Главная ошибка PM - оценивать ответ модели одной общей метрикой «хорошо/плохо». Для кейса с возвратом денег разбей оценку на три отдельных скорера: • Точность (Accuracy): нашел ли бот правильную транзакцию? • Тон (Tone): вежлив ли бот, выразил ли эмпатию? • Безопасность (Policy): не пообещал ли бот возврат денег в обход регламента? 3. Human Review нельзя убирать. Автоматический код легко проверит, сделал ли бот запрос к базам данных. Но оценить, не звучит ли ответ как бездушный робот, пока может только человек. 4. Разрыв между топом и медианой. Команды с авто-эвалами видят, что новое обновление модели сделало бота супер-вежливым, но снизило точность поиска заказов на 10% и откатывают деплой. Команды без эвалов выкатывают регресс в прод и ловят волну негатива от клиентов. 5. 3 фазы внедрения на примере AI-саппорта: • Инкубация: собираем золотой датасет частых вопросов клиентов. • Шлифовка: weekly-демо, жесткие критерии (*«бот должен прикрепить ссылку на форму возврата, но не закрывать тикет сам»*) и просмотр цепочки рассуждений бота (Debug Mode). • Масштабирование: авто-тесты перед каждым деплоем и Slack-канал, куда автоматически падают все «дизлайки» от пользователей с логами беседы. 6. Чек-лист: как внедрить Evals за 5 шагов: • Собери реальные логи чатов, где бот ошибся. • Сформируй из них точечный датасет на 10–50 примеров. • Сравни две версии промпта side-by-side на одном и том же датасете. • Настрой автоматический ночной прогон тестов (Nightly Evals). • Настрой алерты на дизлайки пользователей прямо из продакшена. 7. Метрики качества AI-бота: • Accuracy: % корректно решенных вопросов без эскалации на оператора. • Tone & Brand Alignment: соответствие гайдлайнам компании. • Schema Compliance: отдаёт ли бот корректный JSON для API вызовов. • Latency & Cost: задержка ответа (в сек) и стоимость токенов на диалог. Источник: https://www.braintrust.dev/blog/evals-for-pms](https://www.braintrust.dev/blog/evals-for-pms #PG_education

Короче, споры, кто круче Claude или Chat GPT похожи на споры про MacOS или Windows. Или на споры про iPhone или Андроид. Очевидно, что мак и айфон 😁 И вот что я заметил. Даю задачу Claude — делает идеально. Долго, дотошно, но в итоге прям хорошо. Даю такую же задачу Chat Chat GPT, он делает быстро. Быстро. Но не идеально. Чуть тут поправить нужно. Тут лишнего сделал, что не просил. Тут поломал, но быстро исправил. Главное быстро. И в итоге лимитов больше, задачи делает быстрее, но сама по себе работа выполняется МЕДЛЕННЕЕ и невров уходит больше. Claude со своими блядскими лимитами, конечно идёт нахер. Но делает свою работу круто, зараза. Он как хороший работник, который звезда. Делает офигенно, чётко, но денег стоит много и на сверхурочные не остается 😁

Как я могу знать, кем я хочу стать через 5 лет, если месяц назад я ещё не знала, что окажусь сейчас во Вьетнаме 😁 Моя ко-фаундер Rolevia.com Катя решила пожить в Хошимине после лазурного берега Франции. За неделю жизни тут пополняю коллекцию фотографий, как я работаю из нестандартных мест. Прилетела с младшей дочкой во время каникул в её садике. И по последнему фото видно, что нам всё очень нравится 🤣 Вообще хочу выразить большую благодарность партнерше. За 3 года совместной работы было уже мильон ситуаций, когда можно было психануть, перегнуть, разругаться. Но каждый раз в таких сложных ситуациях мы вместе через всё проходим, верим в друг друга, доверяем друг другу и конечно поддерживаем друг друга. Просто оставлю это здесь ❤️

Мастерим Touch ID за копейки — принёс опенсорсный DIY-сканер отпечатков пальцев tinyTouch 😊 Конструкция элементарная: микроконтроллер ESP32-S3, бюджетный UART-сканер отпечатков и компактный 3D-печатный корпус. — Два режима на выбор: «Красная таблетка» (HID-режим) эмулирует клавиатуру и вводит пароль буквально везде, где есть фокус ввода. «Синяя таблетка» (PIV/PAM) притворяется аппаратной смарт-картой для нативной авторизации macOS через криптографию; — Подходит для разблокировки экрана, подтверждения прав sudo в терминале и работы с системными запросами; — Пароль хранится на Mac в зашифрованном виде, а плата получает лишь одноразовый ключ. Единственное слабое место — UART-шина между сенсором и ESP. Автор шутит, что для защиты от хакеров-соседей достаточно залить внутренности корпуса черной эпоксидкой 😂 Защищаем всё 😠

возможно вы знаете такого чувака, карпатого. он обожает вводить новые слова в обиход. от него появился «вайбкодинг», теперь вот рамблинг. и нет, он не возрождает рамблер. он описывает феномен, когда ты свои мысли наговариваешь, а напишешь. так вот, я хочу как андрюша. только норму нашу, отечественную. и ничего, что норма должна сформироваться сама, я хочу её создать. ЗНАКОМЬТЕСЬ НА АРЕНЕ: ииследовать (допустимо писать и классическое исследовать) это когда ты не сделал работу руками, а закинул её ИИ и вернулся с результатом. именно сделал, просто не сам. «как там интервью с пользователями?» «ииследую, скоро скажу» «че там по багу, который нам прислали?» «надо бы его заииследовать» формы прилагаются: ииследование, ииследователь, заииследовать, переииследовать (это когда на выходе 100 страниц ии слопа). можно и сарказм проявлять. «смотрю, эту книгу написали какие-то исследователи». берём? что вы сегодня наииследовали? @aihappens

Поиграл в NUTMEG! (Steam) Полное название NUTMEG! A Nostalgic Deckbuilding Football Manager. Это футбольный менеджер плюс декбилдер/карточный рогалик. Вообще хорошо отношусь к такого рода играм, потому что не особо расстраиваюсь из-за поражений, а сама игра мной воспринимается как система, которую ты изучаешь, и пытаешься сделать так, чтобы она работала эффективнее. Плюс, когда нет контроля за игроками, ты превращаешься в болельщика, когда смотришь игры или ждёшь результаты событий в матче. Это даёт волю воображению, и лично для меня в этом определённо что-то есть. Здесь очень простая кор механика: у нас есть события в матче, каждое событие имеет хороший, средний, и плохой исход для нас. В зависимости от исхода, событие перетекает в следующий этап, до тех пор, пока мы либо не потеряем мяч каким-то образом, либо не забьём гол. При этом, у нас есть колода, которую мы набираем перед стартом матча. Эта колода позволяет нам усилить игрока и повысить вероятность событий в нашу пользу. При этом, выносливость игрока падает и если он будет учавствовать в следующих событиях, шансы на положительный исход заметно снижаются. Механика простая как три копейки, но играется очень бодро. В игре есть достаточно высокая доля рандома, мы снижаем её за счёт продуманного расределения тех карт, что у нас есть. А улучшаем шансы от игре к игра за счёт правильного управления командой, трансферов игроко, продажи мерча, снижения расходов и много чего ещё. Ещё отметил бы приятную ретро графику, есть в этом лоупольном офисе, где происходит все события в игре, что-то очень атмосферное. И то, что многие механики в игре основаны на risk and reward: что-то получаешь, но что-то теряешь и нужно решить, стоит ли небольшая тактическая победа потенциальных рисков. Несмотря на то, что игра карточная, геймплей воспринимается достаточно динамично. Единственное, здесь тоже очень душный текстовый туториал, поэтому если будете играть, лучше либо скипнуть, либо перетерпеть) В остальном, однозначно рекомендую, если любите всякие спортивные менеджеры и карточные игры. В NUTMEG! скрывается большая глубина, чем кажется на первый взгляд. P.S. Кстати nutmeg — это мускатный орех. А ещё в английском футболе означает приём, когда мяч пробрасывается между ног соперника (короче говоря, "очко") 😂 #поиграл #Steam #мнение

Интересное в мире хай-тек 6 августа 2026 Кратко о событиях за прошедший день 🎮 Epic Games Store начал бесплатную раздачу визуальной новеллы Beacon Pines, кооперативной головоломки We Were Here Together и мобильного приключения A Guidebook Of Babel. Также Ubisoft бесплатно предлагает Tom Clancy’s Ghost Recon Future Soldier. Забрать игры можно до 13 августа 🧮 Microsoft представила ETW MCP — ИИ-инструмент для анализа производительности Windows 11. Компания утверждает, что он помогает разработчикам быстрее выявлять причины зависаний, высокой нагрузки на процессор и других проблем, анализируя ETL-трассировки с помощью запросов на естественном языке. 🍎 Apple столкнулась с дефицитом DRAM перед запуском iPhone 18 и iPhone Ultra. Компания пытается увеличить поставки памяти, в том числе ведет переговоры с китайской CXMT о закупках LPDDR5X, но производитель отказался предоставлять скидку даже при крупных объемах заказа. 🙂 Sony начала размещать на коробках PlayStation 5 предупреждение о прекращении выпуска новых игр на физических носителях с января 2028 года. Компания напоминает, что все игры, вышедшие до этой даты, продолжат работать с дисков, а новые релизы после 2028 года будут распространяться только в цифровом виде 🙃 Xbox готовит обновление системы достижений с новой наградой за полное прохождение игр. Глава подразделения Аша Шарма подтвердила, что аналог «платины» из PlayStation появится позже в 2026 году. Сейчас нововведение тестируют участники программы Xbox Insiders вместе с обновлениями интерфейса достижений и облачных сохранений. #хайтекзадень

Ужасно скучаю по Парижу и путешествиям в этом году, пока вынужденно никуда не летаю✍️ Собрала места в любимой французской столице, где собирается технологическая элита — фаундеры, VC, изобретатели и банкиры. Часть подсмотрела у Sifted. У стартаперов и венчурных инвесторов есть свой Париж — район Sentier, который местные давно называют Silicon Sentier. Это исторический центр города между Оперой и площадью Республики, где на узких улицах второго округа можно встретить не только туристов, но и основателей, партнеров фондов и людей, которые обсуждают новые раунды за соседним столиком. Итак, куда идти, если хотите познакомиться с французскими фаундерами и инвесторами: ⚡️ The Hoxton 30–32 Rue du Sentier Одно из самых популярных мест среди венчурных инвесторов. Бар и ресторан бутик-отеля The Hoxton, расположенного в здании XVIII века, подходят для встреч в любое время дня. Можно выпить кофе за барной стойкой в уютной брассери с интерьером, напоминающим старинную библиотеку, или пообедать в ресторане под стеклянной крышей. Есть и рабочие столы для тех, кто хочет поработать в одиночку. ⚡️ Hôtel des Grands Boulevards 17 Boulevard Poissonnière Еще одно любимое место венчурных инвесторов — и еще один бутик-отель, расположенный буквально за углом от The Hoxton. Здесь гостей ждут ресторан и бар во внутреннем дворике, окруженном зеленью и наполненном естественным светом. ⚡️Le Floor 42 Rue Notre Dame des Victoires Le Floor находится по соседству со штаб-квартирой Pigment — одного из самых известных французских SaaS-единорогов. Это место заметно отличается от классических парижских кафе. Заведение называет себя «нео-кофейней и бранч-пространством». Здесь заказывают матча-латте и тосты с авокадо, а за соседними столиками можно встретить как начинающих, так и опытных основателей стартапов и инвесторов. ⚡️La Maison 2 Rue des Mathurins Пространство La Maison открылось в прошлом году по инициативе Motier Ventures — фэмили-офиса семьи Узе, совладельцев знаменитой сети универмагов Galeries Lafayette, которой уже более 130 лет. Площадь пространства — около 1,8 тыс. кв. м. Оно создано для более чем ста компаний из портфеля фонда. La Maison занимает три верхних этажа Lafayette Gourmet — гастрономического универмага Galeries Lafayette. Здесь есть рабочие места, общие зоны, кофейня, коктейльный бар и даже комнаты для сотрудников стартапов, приезжающих из других стран. Несколько раз в неделю в La Maison проходят мероприятия, многие из которых открыты и для внешних гостей. ⚡️Neon Noir 14 Rue Le Peletier Neon Noir — пространство для технологического сообщества Парижа, созданное ИИ-стартапом ZML, робототехнической компанией Uma и венчурным фондом Drysdale Ventures. Его создатели говорят, что хотели передать атмосферу «берлинского сквота»: внутри много неоновых вывесок, игровых автоматов и голограмм. Здесь регулярно проходят мероприятия по приглашениям — от хакатонов до завтраков Code & Croissants и встреч для разработчиков аппаратного обеспечения. ⚡️Soho House 45 Rue La Bruyère Это место менее известно широкой публике, но становится все популярнее среди молодых основателей и инвесторов. Soho House расположен немного в стороне от привычных маршрутов технологического сообщества и работает по клубной модели: попасть сюда могут только участники. ⚡️ Station F 5 Parvis Alan Turing Немногие венчурные инвесторы готовы специально ехать на левый берег Сены, но Station F — одно из исключений. Открытый в 2017 году миллиардером и одним из главных сторонников французской технологической экосистемы Ксавье Ньелем, Station F стал крупнейшим стартап-кампусом Франции. Сегодня здесь работают около тысячи стартапов. Именно здесь начинали свой путь такие компании, как Hugging Face и Alan. На территории кампуса регулярно проходят мероприятия, а также находится популярный ресторан La Felicità сети Big Mamma. Он открыт для всех желающих и считается одним из лучших мест в Париже, где можно совместить работу и неформальные встречи. @karpovaventures✍️