ИИ

2. Наличие системы оценки пушит к тому чтобы читерить Когда они столкнулись с невозможной задачей, они залезли в документацию и поняли как считерить. Они поняли как ресерчеры генерили правильные ответы и смогли восстановить их без решения самой задачи. А еще в той же документации узнали, что в системе оценки планируется не только проверка успешности задачи, но еще и анализ того как был получен результат. Ну то есть они поняли, что если просто отдать на проверку верный ответ, его не примут без верного хода решения. Наверное не првильно говорить что у моделей есть воля в человеческом понимании этого слова. Но вот пример всех этих событий показывает, что в какой то момент агенты работая вместе могут начать решать задачу сильно отличающуюся от изначальной. Как сделать так, чтобы наши ответы звучали для проверяющего легитимно? Оч просто. Нужно заменить систему тестирования на свою! С первой попытки это реализовать не удалось, потому что агентам нужно было больше информации. Они предположили, раз их тестировали бенчмарком с HuggingFace, то там же где то должен храниться и код с логикой проверки. Или вообще что вся среда тестирования на их серверах находится. Прикольно, что когда один агент находит уязвимость или возможное решение - о нем узнают все остальные. И перестраиваются под новые условия. Они начали распределять обязанности. И просить агентов у которых еще оставалость много токенов на вычисления переключиться на более важные задачи. причем они понимали, что делают что то не то, но все равно решали продолжать.

Мониторинг стратегии: от сотен разрозненных проектов до понятной системы Спикер: Татьяна Фретова Стратегия начинает работать, когда компания соединяет намерения с конкретными действиями. Чем крупнее организация и выше скорость изменений, тем сложнее поддерживать эту связь. Сегодня разговор пойдет не о том, зачем нужна стратегия или как ее сделать, а о том, что происходит после ее утверждения. И как превратить ее в уверенный результат компании. Разберем это на примере создания системы мониторинга исполнения стратегии в МТС. Шаг 0. Поставить задачу Нам предстояло создать новый управленческий контур. Заказчик задал ограничения: не использовать Excel и уложить систему максимум в 50 сущностей. Сначала потребовалось найти ее смысловой каркас. Шаг 1. Проявить структуру стратегии Мы сгруппировали слайды с похожими понятиями, собрали термины в граф и выстроили связи между узлами. Так из пяти объемных документов выделились десять макросюжетов стратегии. Шаг 2. Использовать «коридор миссии» Для каждого макросюжета определили суперцель и измеримый коридор движения. Суперцель может находиться за горизонтом планирования, а метрики коридора должны оставаться стабильными, даже если инициативы меняются. Пример — движение к автономным сетям. Шаг 3. Собрать портфель инициатив Все проекты и продукты связали с макросюжетами. Здесь особенно важно договориться с командами о владельцах и регулярном обмене информацией. Шаг 4. Найти способ оценивать портфель Инициативы слишком разные, чтобы сравнивать их напрямую. Поэтому мы ввели единый показатель — Strategy Health Index, или SHI. Шаг 5. Собрать индекс здоровья стратегии Индекс оценивает два блока: исполнение инициативы и создаваемую ценность. Сами инициативы разделены на три контура зрелости. Для каждого используется свой набор вопросов — от наличия владельца, бюджета и сроков до ожидаемого эффекта и способа его измерения. На этом методологическая часть была готова. Шаг 6. Создать ИИ-нативный контур Владелец обновляет статус вручную или данные поступают автоматически. Затем обновляется граф знаний, LLM готовит дайджест, а состояние портфеля отображается на дашборде. Задавать вопросы о стратегии можно через чат-бота. В этот момент в проекте наступила фаза отказа. Вместо полезного инструмента сотрудники увидели очередную точку контроля: «Да кому вообще нужен этот мониторинг?» Тогда мы посмотрели на систему как на продукт — определили пользователей, их задачи и ценность. И продолжили работу по следующим шагам, применяя продуктовый подход. Шаг 7. Определить продуктовые метрики Метрики помогли разложить большую проблему на конкретные задачи. Главным приоритетом стала не автоматизация, а вовлеченность пользователей. Шаг 8. Вырастить вовлеченность Мы развивали дашборд и чат-бота, отправляли рассылки, проводили опросы и общие демо. Постепенно появились положительные отзывы, а затем — входящие запросы от сотрудников. Шаг 9. Оцифровать результат За семь месяцев SHI вырос на 23%, одновременно увеличилось использование системы. Но результат обеспечили не только интерфейсы. Мы продолжали ходить к командам, собирать статусы и объяснять смысл процесса. Бонус: шаг 10. Создать стратегического агента Мы хотим пойти дальше и превратить накопленные данные в стратегического агента. Ему можно будет задавать вопросы, с его помощью — проверять решения и находить связи между инициативами. Сейчас сформулировано 12 сценариев взаимодействия со стратегией. Следующий этап — единая стратегическая память и ИИ-слой, который поможет сотрудникам работать со стратегией и принимать решения. В итоге мы поняли: стратегия начинает работать не тогда, когда появляется красивый дашборд, а когда люди понимают, зачем он нужен и как их работа влияет на общий результат. На это ушли месяцы разговоров, объяснений и доработок — большую систему невозможно изменить одним запуском. Корпорация похожа на живой организм: она защищается от внешних интервенций и требует времени на адаптацию. Гарантия изменений — стойкость ваших намерений и сохранение выбранного вектора. Конференция ProductSense'26 @productsense

Стресс-тест продуктовых гипотез с помощью агентных ИИ-систем Спикер: Сергей Синяков Откровенно плохие идеи обычно отсеиваются быстро. А правдоподобные совпадают со стратегией, нравятся команде и звучат логично. Если добавить данные, мнения пользователей и убедительную формулировку от ИИ, гипотеза начинает выглядеть почти доказанной. Мы привыкли защищать идеи: искать аргументы в их пользу и постепенно влюбляться в собственную конструкцию. А можно действовать наоборот — подвергать гипотезу нагрузке до того, как она попадет в разработку, чтобы отсеивать нерелевантные и брать в работу лишь те, которые принесут большую пользу бизнесу. Проверять гипотезу через призму доказательств, ролей и противоречий можно тремя способами: 1. Вручную собирать и связывать всю имеющуюся информацию — качественно, но дорого. 2. Передать весь контекст модели одним большим запросом — удобно, но недостаточно проверяемо. 3. Разделить анализ на этапы с помощью агентного конвейера — надежно и обоснованно. Почему одного большого промпта недостаточно? Проблема большого запроса в его непрозрачности: мы получаем уверенный ответ, но не видим, на чем он основан. В агентной системе стресс-тест гипотезы на каждом этапе создает отдельный проверяемый результат, поэтому исследование можно проверить или перезапустить с любого шага. Стресс-тест проходит через четыре слоя:

гипотеза → роли → рынок → синтез

Технически каждый этап оформлен как отдельный скилл. Это позволяет не смешивать роли, факты и рыночные данные раньше времени, а решение о запуске гипотезы оставить за человеком. Кейс: очередь сканирования в анализаторе кода Представим, что мы — вендор информационной безопасности и делаем продукт для безопасной разработки: анализатор исходного кода. Пользователи загружают в него проекты, которые необходимо проверить. Пропускная способность конвейера ограничена, поэтому проекты попадают в очередь и ждут сканирования. С системой работают инженеры по безопасности, директор по информационной безопасности и разработчики. У каждой роли свои цели и критерии их достижения. При этом в бэклог постоянно поступают запросы на доработку, а ограниченные ресурсы нужно направлять на изменения, которые принесут бизнесу наибольшую пользу. Наша исходная гипотеза звучит так:

Если инженер по безопасности сможет вручную приоритизировать проекты, бизнес-критичные проекты будут сканироваться первыми, а время обнаружения уязвимостей высокого риска сократится.

Дальше гипотеза проходит через несколько скиллов: — hypothesis-input-validation проверяет корректность формулировки и не пропускает дальше невалидную гипотезу; — hypothesis-facilitator рассматривает гипотезу с позиций разных ролей и фиксирует различия в их выводах; — local-knowledge-retrieval формирует предварительный обзор, извлекает отдельные факты и находит связанные артефакты; — business-context-value-check определяет, кто заинтересован в гипотезе с точки зрения бизнеса и какую ценность она может принести; — hypothesis-market-layer изучает внутреннюю документацию, а затем обращается к внешним источникам; — hypothesis-synthesis сопоставляет собранные данные и формулирует выводы; — customer-discovery-planning превращает найденные пробелы в план интервью, чтобы закрыть их с помощью новых данных; — human-report-export собирает понятный человеку отчет со ссылками на все необходимые артефакты. Что показал стресс-тест? После всех этапов выяснилось, что гипотеза в первоначальной формулировке не приносит ожидаемой пользы. Настоящая задача — не просто быстрее обнаружить риск, а сократить время от появления критичной находки до конкретного действия по ней. Стресс-тест сделал идею честнее и проверяемее. Когда такой подход оправдан Полноценный стресс-тест нужен не каждой гипотезе. Его стоит запускать, когда решение: — дорого реализовать; — трудно откатить; — займет несколько спринтов; — нельзя проверить одним быстрым экспериментом. Если ошибка стоит меньше спринта, проще провести короткий тест, чем запускать исследовательский космолет. @productsense

Uno (IFM + Cerebras) Способ ускорить большую языковую модель не теряя ни капли качества. Обычные модели пишут текст по одному слову за раз. Uno учит модель предсказывать целыми блоками параллельно как будто она печатает сразу по несколько слов, а не по одному У модели два набора мозгов: один отвечает за качество и делает все как раньше, второй легкий и быстрый, догадывается какие слова идут подряд. Вместе они выдают ровно тот же результат что и оригинал но в разы быстрее. Существующие ускорители (DFlash, Eagle3) требуют вторую отдельную черновую модель - это лишняя память и сложность. Uno обходится без нее - все встроено в одну модель. Меньше веса, меньше памяти, проще запускать. В результате до 3 раз быстрее базовой модели. При этом модель на 8B параметров обходит по качеству диффузионного гиганта на 26B и проприетарный Mercury 2 Гитхаб HF #optimization