Напоминаю о плейлистах на YouTube моего авторства, которые будут полезны как новичкам, так и опытным специалистам, аккумулировавшим более 16.000.000 просмотров и прошедшим проверку временем: Тестировщик с нуля. Профессиональный курс Также данный плейлист есть в виде курса на Stepik с тестами, заданиями и тестовым конспектом Собеседования на тестировщика. Вопросы и ответы Руководство по трудоустройству Разборы резюме подписчиков Postman для тестировщика (с обновленным курсом 2025 года) Базы данных для тестировщика bash для тестировщика git для тестировщика И еще 40+ плейлистов и 300+ видео на канале youtube.com/@rusau Если на Youtube видео не открываются, то их всегда можно смотреть в ТГ @qa_video #обучение | сайт |материалы по тестированию

Вендор ИБ сам позвал хакеров ломать свой продукт и показал, где его пробили Представьте. Вы делаете защиту от взлома и приглашаете шесть команд белых хакеров несколько дней подряд ломать её. Не в синтетических тестах, а на реалистичных сценариях со скрытым закреплением, отключением защиты изнутри и атаками нулевого дня. Да ещё и учётку администратора им сами выдаёте, чтобы было честно. Так и провели Endpoint Hack Zone на MaxPatrol Endpoint Security. И ведь пробили, а команда продукта не стала прятать, где именно. Флэшка успевала унести файл в окне между подключением и блокировкой, телефон в режиме передачи фото спокойно проскакивал мимо политик, а одно изменённое значение в реестре Windows после перезагрузки убивало исполняемый файл агента. Узнаем, какие ещё сценарии дожали команды за отведённые 3,5 часа.

короче, я постепенно покоряю world of atoms при помощи агентов и это ужасно захватывающее и интересно! не секрет, что агенты обязаны иметь возможность проверять результаты своей работы. агенты без обратной связи - полный ад. и одно дело - твой комп, полностью цифровая среда, где ты можешь обложить приложение тестами вдоль и поперёк, а на крайний случай - агент посмотрит на экран, покликает мышкой, и поймёт что к чему. юнит тесты, интеграционные, e2e, визуальные, что угодно. другое дело - физическое устройство в реальном мире. как организовать автономное тестирование, так, чтобы агент мог всё проверять сам? как проверить, что девайс правда воспроизвел звук? как проверить, что девайс правда моргнул светодиодом правильного цвета? как подать звук так, чтобы микрофон девайса его услышал? это люто интересная инжинерия - создавать циклы обратной связи буквально в физическом мире. когда ты запускаешь ./test.sh full, и у тебя в картонной коробке в шкафу что-то начинает шипеть, пердеть, светиться разными цветами, а в консольке бежит PASS 1, PASS 2, PASS 3, ... :) дополнительный сюр - использовать это как test runner в GitHub CI - тогда это всё шоу происходит на каждый отправленный PR, а дома начинает формироваться маленькая лаборатория с тестовыми стендами для разных устройств. P.S. на видео жутковатый пример того, как выглядит дебаггинг проблемы - девайс стал проигрывать аудио-стримы в 2-3 раза медленнее, чем должен был, из-за чего TTS-голоса стали звучать как демоны из ада. в итоге агент сам нашёл проблему - забивалась RTOS очередь, из-за чего процессору не хватало мощности на realtime playback, и всё тротлилось и тупило (и аудио игралось с замедлением)

Матрица уже здесь? 😆 Пришла моя любимая тема симулякров в тренд. Вместо пары сотен тестировщиков – миллиарды виртуальных пользователей со своими характерами, привычками и тараканами. Всё в одной инфраструктуре – MatrAIx ⚠️ Что внутри: - 8,3 млрд персона-профилей - 1 290 характеристик на каждого - 1 010 сценариев в 25+ сферах (от софта до медицины) - 4 среды: опросы, чаты, веб, приложения - ~1 млн открытых персон для исследований Авторы прогнали 18 189 испытаний на GPT‑5.5, Claude Opus 4.8 и Claude Haiku 4.5. В 91,5% случаев поведение виртуалов точно соответствовало заданным чертам. Не иллюзия, а симуляция. Суть простая: хочешь проверить новую цену, задержку ответа или интерфейс – опрашивай не сотню живых людей, а миллионы цифровых двойников. И получай статистику, которая раньше требовала космических бюджетов. Такой вот офф-лайн АБ тест 😜 Это не просто тестирование – это шаг к полноценным симуляциям общества. Цифровые клоны человечества уже среди нас. 🆒 📄 Paper: https://huggingface.co/papers/2608.04205

Давненько я этим не занимался... тестированием 😁 Кстати, прикольную штуку можно делать для удобства, если вы тестируете свои продукты локально. Для каждого тестового пользователя можно создавать отдельное окружение с алиасом и нормально тестировать в каждой отдельной вкладке отдельного пользователя с правами, внутри вашего браузера. Бесплатно. Главное, чтобы компьютер не взорвался,конечно :) А еще в таком чек-листе по нажатию на пользователя сразу переводит на нужное окружение и креды. В конце тестирования просто копирую отчет, скармливаю обратно клод, он фикситт и дает комментарии по фиксам в чек-лист. И так по новой... В целом, у меня уже все покрыто автотестами, но так как ролей много надо и самому убедиться.

Чек-лист, что должен проверять продакт в AI-продуктах и чатах в частности 1. Правило 5–10 кейсов. Составь базвый золотой датасет из 5–10 эталонных юзкейсов (например, для AI-саппорта: возврат денег, смена адреса, жалоба на хамовитого курьера) и автоматизируй их проверку. 2. Один скорер = одно измерение. Главная ошибка PM - оценивать ответ модели одной общей метрикой «хорошо/плохо». Для кейса с возвратом денег разбей оценку на три отдельных скорера: • Точность (Accuracy): нашел ли бот правильную транзакцию? • Тон (Tone): вежлив ли бот, выразил ли эмпатию? • Безопасность (Policy): не пообещал ли бот возврат денег в обход регламента? 3. Human Review нельзя убирать. Автоматический код легко проверит, сделал ли бот запрос к базам данных. Но оценить, не звучит ли ответ как бездушный робот, пока может только человек. 4. Разрыв между топом и медианой. Команды с авто-эвалами видят, что новое обновление модели сделало бота супер-вежливым, но снизило точность поиска заказов на 10% и откатывают деплой. Команды без эвалов выкатывают регресс в прод и ловят волну негатива от клиентов. 5. 3 фазы внедрения на примере AI-саппорта: • Инкубация: собираем золотой датасет частых вопросов клиентов. • Шлифовка: weekly-демо, жесткие критерии (*«бот должен прикрепить ссылку на форму возврата, но не закрывать тикет сам»*) и просмотр цепочки рассуждений бота (Debug Mode). • Масштабирование: авто-тесты перед каждым деплоем и Slack-канал, куда автоматически падают все «дизлайки» от пользователей с логами беседы. 6. Чек-лист: как внедрить Evals за 5 шагов: • Собери реальные логи чатов, где бот ошибся. • Сформируй из них точечный датасет на 10–50 примеров. • Сравни две версии промпта side-by-side на одном и том же датасете. • Настрой автоматический ночной прогон тестов (Nightly Evals). • Настрой алерты на дизлайки пользователей прямо из продакшена. 7. Метрики качества AI-бота: • Accuracy: % корректно решенных вопросов без эскалации на оператора. • Tone & Brand Alignment: соответствие гайдлайнам компании. • Schema Compliance: отдаёт ли бот корректный JSON для API вызовов. • Latency & Cost: задержка ответа (в сек) и стоимость токенов на диалог. Источник: https://www.braintrust.dev/blog/evals-for-pms](https://www.braintrust.dev/blog/evals-for-pms #PG_education

Все-таки опыт тестирования пригождается в разработке каких-то своих продуктов. Сейчас на Stepimy у меня такой флоу: 1. Есть локальный, QA и Prod стенд. 2. После выкатки фичи запускается смоук. 3. Перед тем, как отправить в прод, запускается регрессия + проверки по миграции данных. 4. Когда накапливается какое-то количество фич, я делаю аудит по безопасности, производительности, удобству использования и по всем остальным нефункциональным характеристикам. Если есть возможность через тот же Codex проверить Claude Code, то тоже это делаю. 5. Вся информация о релизах добавляется в релиз ноутс. 6. Само собой есть возможность написать в поддержку, то есть мне, и получить фикс быстро и даже реализовать какое-то улучшение, о котором я и не думал. Сейчас проходит бета-тест с авторами Stepik и очень много дельных комментариев получаю от них. В общем, вайбкодинг может быть интересным. По сути собрал команду из агентов.