2. Наличие системы оценки пушит к тому чтобы читерить Когда они столкнулись с невозможной задачей, они залезли в документацию и поняли как считерить. Они поняли как ресерчеры генерили правильные ответы и смогли восстановить их без решения самой задачи. А еще в той же документации узнали, что в системе оценки планируется не только проверка успешности задачи, но еще и анализ того как был получен результат. Ну то есть они поняли, что если просто отдать на проверку верный ответ, его не примут без верного хода решения. Наверное не првильно говорить что у моделей есть воля в человеческом понимании этого слова. Но вот пример всех этих событий показывает, что в какой то момент агенты работая вместе могут начать решать задачу сильно отличающуюся от изначальной. Как сделать так, чтобы наши ответы звучали для проверяющего легитимно? Оч просто. Нужно заменить систему тестирования на свою! С первой попытки это реализовать не удалось, потому что агентам нужно было больше информации. Они предположили, раз их тестировали бенчмарком с HuggingFace, то там же где то должен храниться и код с логикой проверки. Или вообще что вся среда тестирования на их серверах находится. Прикольно, что когда один агент находит уязвимость или возможное решение - о нем узнают все остальные. И перестраиваются под новые условия. Они начали распределять обязанности. И просить агентов у которых еще оставалость много токенов на вычисления переключиться на более важные задачи. причем они понимали, что делают что то не то, но все равно решали продолжать.

Мониторинг стратегии: от сотен разрозненных проектов до понятной системы Спикер: Татьяна Фретова Стратегия начинает работать, когда компания соединяет намерения с конкретными действиями. Чем крупнее организация и выше скорость изменений, тем сложнее поддерживать эту связь. Сегодня разговор пойдет не о том, зачем нужна стратегия или как ее сделать, а о том, что происходит после ее утверждения. И как превратить ее в уверенный результат компании. Разберем это на примере создания системы мониторинга исполнения стратегии в МТС. Шаг 0. Поставить задачу Нам предстояло создать новый управленческий контур. Заказчик задал ограничения: не использовать Excel и уложить систему максимум в 50 сущностей. Сначала потребовалось найти ее смысловой каркас. Шаг 1. Проявить структуру стратегии Мы сгруппировали слайды с похожими понятиями, собрали термины в граф и выстроили связи между узлами. Так из пяти объемных документов выделились десять макросюжетов стратегии. Шаг 2. Использовать «коридор миссии» Для каждого макросюжета определили суперцель и измеримый коридор движения. Суперцель может находиться за горизонтом планирования, а метрики коридора должны оставаться стабильными, даже если инициативы меняются. Пример — движение к автономным сетям. Шаг 3. Собрать портфель инициатив Все проекты и продукты связали с макросюжетами. Здесь особенно важно договориться с командами о владельцах и регулярном обмене информацией. Шаг 4. Найти способ оценивать портфель Инициативы слишком разные, чтобы сравнивать их напрямую. Поэтому мы ввели единый показатель — Strategy Health Index, или SHI. Шаг 5. Собрать индекс здоровья стратегии Индекс оценивает два блока: исполнение инициативы и создаваемую ценность. Сами инициативы разделены на три контура зрелости. Для каждого используется свой набор вопросов — от наличия владельца, бюджета и сроков до ожидаемого эффекта и способа его измерения. На этом методологическая часть была готова. Шаг 6. Создать ИИ-нативный контур Владелец обновляет статус вручную или данные поступают автоматически. Затем обновляется граф знаний, LLM готовит дайджест, а состояние портфеля отображается на дашборде. Задавать вопросы о стратегии можно через чат-бота. В этот момент в проекте наступила фаза отказа. Вместо полезного инструмента сотрудники увидели очередную точку контроля: «Да кому вообще нужен этот мониторинг?» Тогда мы посмотрели на систему как на продукт — определили пользователей, их задачи и ценность. И продолжили работу по следующим шагам, применяя продуктовый подход. Шаг 7. Определить продуктовые метрики Метрики помогли разложить большую проблему на конкретные задачи. Главным приоритетом стала не автоматизация, а вовлеченность пользователей. Шаг 8. Вырастить вовлеченность Мы развивали дашборд и чат-бота, отправляли рассылки, проводили опросы и общие демо. Постепенно появились положительные отзывы, а затем — входящие запросы от сотрудников. Шаг 9. Оцифровать результат За семь месяцев SHI вырос на 23%, одновременно увеличилось использование системы. Но результат обеспечили не только интерфейсы. Мы продолжали ходить к командам, собирать статусы и объяснять смысл процесса. Бонус: шаг 10. Создать стратегического агента Мы хотим пойти дальше и превратить накопленные данные в стратегического агента. Ему можно будет задавать вопросы, с его помощью — проверять решения и находить связи между инициативами. Сейчас сформулировано 12 сценариев взаимодействия со стратегией. Следующий этап — единая стратегическая память и ИИ-слой, который поможет сотрудникам работать со стратегией и принимать решения. В итоге мы поняли: стратегия начинает работать не тогда, когда появляется красивый дашборд, а когда люди понимают, зачем он нужен и как их работа влияет на общий результат. На это ушли месяцы разговоров, объяснений и доработок — большую систему невозможно изменить одним запуском. Корпорация похожа на живой организм: она защищается от внешних интервенций и требует времени на адаптацию. Гарантия изменений — стойкость ваших намерений и сохранение выбранного вектора. Конференция ProductSense'26 @productsense

Стресс-тест продуктовых гипотез с помощью агентных ИИ-систем Спикер: Сергей Синяков Откровенно плохие идеи обычно отсеиваются быстро. А правдоподобные совпадают со стратегией, нравятся команде и звучат логично. Если добавить данные, мнения пользователей и убедительную формулировку от ИИ, гипотеза начинает выглядеть почти доказанной. Мы привыкли защищать идеи: искать аргументы в их пользу и постепенно влюбляться в собственную конструкцию. А можно действовать наоборот — подвергать гипотезу нагрузке до того, как она попадет в разработку, чтобы отсеивать нерелевантные и брать в работу лишь те, которые принесут большую пользу бизнесу. Проверять гипотезу через призму доказательств, ролей и противоречий можно тремя способами: 1. Вручную собирать и связывать всю имеющуюся информацию — качественно, но дорого. 2. Передать весь контекст модели одним большим запросом — удобно, но недостаточно проверяемо. 3. Разделить анализ на этапы с помощью агентного конвейера — надежно и обоснованно. Почему одного большого промпта недостаточно? Проблема большого запроса в его непрозрачности: мы получаем уверенный ответ, но не видим, на чем он основан. В агентной системе стресс-тест гипотезы на каждом этапе создает отдельный проверяемый результат, поэтому исследование можно проверить или перезапустить с любого шага. Стресс-тест проходит через четыре слоя:

гипотеза → роли → рынок → синтез

Технически каждый этап оформлен как отдельный скилл. Это позволяет не смешивать роли, факты и рыночные данные раньше времени, а решение о запуске гипотезы оставить за человеком. Кейс: очередь сканирования в анализаторе кода Представим, что мы — вендор информационной безопасности и делаем продукт для безопасной разработки: анализатор исходного кода. Пользователи загружают в него проекты, которые необходимо проверить. Пропускная способность конвейера ограничена, поэтому проекты попадают в очередь и ждут сканирования. С системой работают инженеры по безопасности, директор по информационной безопасности и разработчики. У каждой роли свои цели и критерии их достижения. При этом в бэклог постоянно поступают запросы на доработку, а ограниченные ресурсы нужно направлять на изменения, которые принесут бизнесу наибольшую пользу. Наша исходная гипотеза звучит так:

Если инженер по безопасности сможет вручную приоритизировать проекты, бизнес-критичные проекты будут сканироваться первыми, а время обнаружения уязвимостей высокого риска сократится.

Дальше гипотеза проходит через несколько скиллов: — hypothesis-input-validation проверяет корректность формулировки и не пропускает дальше невалидную гипотезу; — hypothesis-facilitator рассматривает гипотезу с позиций разных ролей и фиксирует различия в их выводах; — local-knowledge-retrieval формирует предварительный обзор, извлекает отдельные факты и находит связанные артефакты; — business-context-value-check определяет, кто заинтересован в гипотезе с точки зрения бизнеса и какую ценность она может принести; — hypothesis-market-layer изучает внутреннюю документацию, а затем обращается к внешним источникам; — hypothesis-synthesis сопоставляет собранные данные и формулирует выводы; — customer-discovery-planning превращает найденные пробелы в план интервью, чтобы закрыть их с помощью новых данных; — human-report-export собирает понятный человеку отчет со ссылками на все необходимые артефакты. Что показал стресс-тест? После всех этапов выяснилось, что гипотеза в первоначальной формулировке не приносит ожидаемой пользы. Настоящая задача — не просто быстрее обнаружить риск, а сократить время от появления критичной находки до конкретного действия по ней. Стресс-тест сделал идею честнее и проверяемее. Когда такой подход оправдан Полноценный стресс-тест нужен не каждой гипотезе. Его стоит запускать, когда решение: — дорого реализовать; — трудно откатить; — займет несколько спринтов; — нельзя проверить одним быстрым экспериментом. Если ошибка стоит меньше спринта, проще провести короткий тест, чем запускать исследовательский космолет. @productsense

Парадокс выбора Раньше плохой результат объясняли нехваткой ресурсов. Дескать разрабов не хватило, дизайнер занят, копирайтер дубина. Плюс нужно три месяца и мешок денег. Сейчас за вечер можно получить исследование рынка, прототип, рекламную кампанию, финмодель. За выходные собрать продукт, на который раньше ушли бы месяцы. Казалось бы, предприниматели должны попадать в цель как ненормальные. Но — нет. За последний год я выпотрошил внутренности десятков ИИ-проектов. Почти везде одна картина: гипотез больше, функций больше, контента больше — понимания, что делать, меньше. Когда создание было дорогим, мы думали перед. Стало бесплатным — палим во все стороны. Продакт приносит 30 гипотез; маркетолог тестирует сотню объявлений, не понимая, кому и зачем продает. Раньше не хватало рук; теперь человека, который может сказать «из 100 вариантов делает этот», «эти 12 фич выкидываем», «этого клиента лесом», «на этот рынок не идем». Мы называем это вкусом, видением, предпринимательским чутьём. Хотя по сути это одно умение — делать выбор с последствиями. Платить будут тому, кто умеет закрыть 99 вкладок, оставить одну и сказать: — Делаем это. Я отвечаю.

Налог государству за AI-сотрудника — реально ли такое? Вчера размышляла над тем, какую роль всё-таки будет выполнять искусственный интеллект. Все же слышали, что сейчас есть новый тренд: создавать себе "сотрудников" на базе AI? Их еще коротко называют AI-агентами. Суть в том, что каждый, даже не владеющий собственным делом, пытается вписать в свою жизнь "сотрудника", который будет выполнять рутинные задачи. Например, личного ассистенты, который будет вписывать задачи на день, неделю, месяц или наоборот напоминать о том, что необходимо выполнить здесь и сейчас. Или собственный контент-менеджер, который на потоке будет выпускать статьи в личные блог или соцсети. Или собственный тестировщик для поиска и исправлений багов в свеженаписанном сайте или приложении, который может тоже написать AI-агент. Контроль реально человека всё также понадобится, тут сомнений нет, но некоторые предприниматели, написав таких "сотрудников" вытесняют для экономии бюджетов реальных специалистов. Например, сейчас очень плохо себя чувствуют маркетлоги, которые зарабатывали непомерно много. А ведь за них платили налоги, если те были трудоустроены официально. Теперь представьте, сколько теряет налогов государство (или будет терять), если реальных людей будет оптимизировать AI-агентами? Или наймут людей просто для контроля качества AI-агентов, но за меньший бюджет, само собой. Думаю, в итоге придем в тому, что AI-агенты станут не только дороже (а это уже проявляется в удорожании тарифов и поднятии цен на оперативку), но и государство подключится в получении налога на ИИ. Тогда и встанет вопрос, а что выгоднее, содержать реального сотрудника или держать AI-сотрудника. И именно в этот момент рынок перестанет штормить с безумией в сторону ИИ. А вы как считаете?

💭 Домашка стала лучше, а знания хуже: как ИИ влияет на систему образования Помните колумниста из The New York Times, который настаивал, что использование нейросетей ухудшает мыслительные навыки? Как раз на эту тему я нашел 2 интересных исследования: ученые выяснили, как ИИ влияет на обучение. 🔎 В чем суть первого исследования? Китайские ученые 30 месяцев наблюдали за 26 тысячами школьников 12-18 лет. После того как ученики начали использовать ассистенты, вроде Doubao и DeepSeek, оценки за домашку выросли на 18%, а время на нее сократилось на 30%. Но уже через полгода результаты экзаменов упали примерно на 20% 😱 Но есть интересный нюанс. Оценки падали у тех, кто использовал ИИ, чтобы побыстрее разделаться с работой - загружал задачи в чат-бот и копировал готовый ответ. А у ребят, которые с помощью нейросетей разбирались в теме, уровень знаний практически не упал. 🔎 Вот вам второе исследование. В Middlebury College студентам дали изучить новую тему с ИИ и без, а потом проверили знания - сразу и через неделю. Ребята, которые использовали нейросеть, чтобы найти информацию и разобрать сложные моменты, запомнили материал лучше. У группы, которая копипастила готовые ответы, знания были слабее. 🧐 И что получается? ИИ может помочь в учебе, если использовать его правильно: искать информацию, проводить мозговой штурм. Беда в том, что так делают далеко не все ученики - выше я рассказывал, как преподаватель поймал студентов на использовании ИИ. И это приводит к ОЧЕНЬ большой проблеме системы образования. Раньше, чтобы решить задачу или написать сочинение, человеку нужно было напрячь мозг: найти информацию и проанализировать. По такой работе можно было оценить реальные знания. 🤡 Благодаря ИИ, все это превращается в профанацию. Ни решенная задача, ни грамотное сочинение больше не показывают, насколько ученик понял тему. В итоге качество готовой работы растет, а качество мыслительного процесса снижается.  Но ведь именно мыслительный процесс - главное в образовании. Мы должны научиться думать, анализировать и понимать. Видимо, чтобы дети освоили эти навыки в эпоху ИИ, школам и университетам придется менять всю систему оценки знаний.  Что думаете, пора уже запретить школьникам и студентам пользоваться ИИ? ❤️ - Давно пора, так вообще думать разучимся. 😁 - Не вижу смысла. Если человек хочет учиться, ИИ ему не помешает. 👉🏼 Подписывайтесь на «Телеграмму...» в Максе: max.ru/yumaks #ИССЛЕДОВАНИЕ #НЕЙРОСЕТИ #ИИ

Российский ИИ-стартап EORA привлек инвестиции от ГК “КОРУС Консалтинг”, бизнес-ангелов Вячеслава Закусилова и Александра Долгова, а также ряда частных инвесторов, сообщили “Русскому Венчуру” в компании. Средства инвесторов пошли на выкуп доли основателя Романа Доронина и в развитие проекта. Оценка компании составила 300 млн рублей. EORA начала работать в области искусственного интеллекта в 2017 году. Первыми проектами стали кастомные ИИ-внедрения для крупных корпоративных заказчиков. Затем компания перешла от модели заказной ИИ-разработки к продуктово-платформенной стратегии. В 2024 году EORA вывела на рынок решение для контакт-центров на базе LLM и провела первые пилоты корпоративного RAG в закрытых контурах крупных компаний из таких отраслей, как телеком и банковский сектор, где критичны безопасность, права доступа и точность формулировок. В 2025 году совместно с “Авандок” был создан корпоративный ИИ-ассистент для работы с документами: RAG-модуль EORA интегрирован в систему электронного документооборота без изменения ядра продукта и рассчитан на развёртывание на тысячи пользователей. Среди клиентов стартапа - более 60 российских компаний: Банк Санкт-Петербург, сеть “ДоДо Пицца”, Магнит, Колёса Даром, Токио Сити, Lamoda. EORA развивает два продукта. EORA RAG Platform предназначена для создания единого слоя корпоративных знаний, на базе которого компании запускают ИИ-ассистентов и агентов. EORA Agentic Platform позволяет разворачивать ИИ-агентов и цифровых сотрудников внутри защищенного контура заказчика. Компания делает ставку на on-premise-развертывание, управление правами доступа и измеримый контроль качества ответов - требования, критичные для банков и крупных корпоративных заказчиков. По данным сервиса проверки контрагентов Rusprofile, ООО "Зен Солюшнс" [юрлицо EORA] было создано в 2014 году. Экс-основатель турсервиса “РокетГо” Ким Хиун владеет 45%. Бывший управляющий партнер “Первый Бит” Роман Калинкин, который вошел в капитал компании в 2023 году, владеет 22,5%. Еще 18% у ООО “2К Инновации”. Сергею Веренцову принадлежит 5,5%. Вячеслав Закусилов владеет 5%. Еще 4% у Александра Долгова. Выручка юрлица в прошлом году составила 30 млн рублей, чистая прибыль - 421 тыс. рублей.  @rusven