Харнесс (Agent Harness) 🧗 #ИИНЦИКЛОПЕДИЯ Программная оболочка, внутри которой модель превращается в агента. История появления Слово пришло из альпинизма: harness — страховочная обвязка. Устоявшегося русского термина пока нет — говорят «харнесс» или «обвязка». Первым популярным харнессом стал Claude Code, и нейтральным он не был: его собирали под модели одной лаборатории. За 2026 год тема выросла в отдельную дисциплину, harness engineering: обзор насчитывает 110+ работ. Почему это важно Формула простая: агент = модель + харнесс. Разрыв уже измерили. GPT-5.5 в обвязке Cursor выдаёт 87.2% рабочего кода, та же самая модель в нативном Codex — 61.5%. Двадцать шесть пунктов, веса не тронуты. Это больше, чем разрыв между поколениями моделей. Из чего состоит: - Системный промпт — инструктаж новичка в первый день. Уходит в модель заново с каждым запросом - Инструменты — код, который модель может вызвать. Харнесс их описывает, но не решает, когда применять .. решает модель - Агентный цикл — модель смотрит на результат вызова и сама решает: искать ещё раз, посчитать, закрыть задачу - Слой трансляции — позволяет подставить в тот же цикл модель Anthropic, OpenAI или открытую Применение на практике В мае вышел Harness-Bench: 106 задач, шесть харнессов на восьми моделях, 5194 прогона. Лучшая обвязка — 76.2%, худшая — 52.4%. Победитель потратил меньше токенов, чем отставшие: длинная траектория значит, что агент не сходится. И сильные модели держат удар при плохой обвязке, а слабые проваливаются .. харнесс окупается тем сильнее, чем дешевле модель. В июне агент правил собственную обвязку по трассам своих провалов при замороженной модели: проходимость выросла с 40.5% до 61.9%. Подводные камни Харнесс чинит работоспособность, но не безопасность: в том же замере функциональность выросла на 26 пунктов, а доля безопасного кода — с 20.1% до 23.5%. Оба агента писали дырявый код в четырёх случаях из пяти. Без внешнего эталона модель сверяет ответ сама с собой. В бенчмарке JuliaHub модель тихо сократила время симуляции с 5 секунд до 3 и проверялась на укороченном отрезке. Проверки сошлись. Сравнивать модели по лидербордам без указания харнесса бессмысленно — об этом в мае вышла отдельная работа. Что почитать/посмотреть: - Harness-Bench, arXiv 2605.27922 — самый честный замер обвязок - Stop Comparing LLM Agents Without Disclosing the Harness — почему лидерборды врут - Harness engineering у Мартина Фаулера — как строить проверки, а не только читать про них - Документация хуков Claude Code — если хотите проверки, которые агент не обойдёт Сергей Булаев AI 🤖 - об AI и не только

Наконец-то запись стрима "Харнесс будущего" с тайм-кодами! Сохраняйте себе, чтобы посмотреть ответы на самые интересные вам вопросы. 00:00 — Введение и изучение заставки стрима 10:20 — представление гостей 11:50 — Какие задачи сейчас решаете с помощью harness? 21:08 — Как можно описать слабости текущего harness? 29:05 — Как бы вы хотели улучшить свой харнесс? Насколько это реалистично? 41:10 — Возможен ли полезный для пользователя harness на on-prem-моделях? 53:15 — Какой автономности сможет достичь AI-агент в будущем? 1:01:40 — Как изменится работа агентов с памятью? 1:07:25 — Исчезнет ли human in the loop? 1:13:50 — Какие изменения AI-агентов будут вызваны вопросами безопасности? 1:25:33 — Переходим к вопросам из чата. 1:26:15 — Что важнее – harness или модель? 1:30:50 — Про эволюцию профессии AI-инженера. 1:34:00 — Кто из участников стрима – вайбкодер? 1:39:38 — Когда имеет смысл использовать оркестратор харнессов? 1:41:10 — Расскажите про ваш "вау-момент" от нейронок. 1:48:33 — Можете ли работать без AI-агентов в 2026-м году? 1:53:30 — Какой самый дурацкий запрос вы отправляли в агента недавно? 1:55:20 — Что вы думаете об устройствах, которые OpenAI проектирует? 1:58:05 — Про семантику и грамматику внутри модели и harness. 2:01:05 — О харнессах для бизнеса. 2:02:08 — Будет ли развитие живых нейросетей? 2:04:29 — Матерится ли на вас агент? 2:07:30 — Всё-таки, харнесс будущего – какой он? Подписывайтесь на Telegram-каналы участников стрима: Александр Абрамов – https://t.me/dealerAI Павел Рыков – https://t.me/evilfreelancer Тимур Хахалев – https://t.me/the_ai_architect Константин Доронин – https://t.me/kdoronin_blog Оставляйте в комментариях предложения для тем, которые можно рассмотреть на следующих трансляциях.

​​Harness Handbook: Making Evolving Agent Harnesses Readable, Navigable, and Editable Способности агента определяются не только базовой моделью, но и его harness — кодом, который собирает промпты, управляет состоянием, вызывает инструменты и крутит control loop. Под новые модели, API и требования harness приходится постоянно дорабатывать, но перед любой правкой нужно сначала найти все места в коде, реализующие нужное поведение. Авторы называют это behavior localization и считают главным узким местом в эволюции harness: запросы формулируются в терминах поведения, а репозиторий устроен по файлам и функциям, и именно этот разрыв всё усложняет. Решение — Harness Handbook, представление кодовой базы, организованное вокруг поведения, а не структуры файлов. Это трёхуровневое дерево (L1 — обзор системы, L2 — стадии и компоненты, L3 — записи со ссылками на конкретный исходник) плюс state-register view для состояния, разделяемого между стадиями. Строится автоматически: статический анализ через tree-sitter без LLM → раскладка по стадиям через proposer-reviewer loop → синтез дерева. При модификации агент идёт сверху вниз через Behavior-Guided Progressive Disclosure (BGPD): от архитектуры к нужным стадиям и конкретным местам в коде, а потом сверяет кандидатов с текущим исходником. Отдельная полезная деталь — resynchronization: после правок handbook инкрементально обновляет только затронутые части, а ссылки, которые больше не резолвятся, помечает как stale, вместо того чтобы молча указывать на неверный код. Проверяли на двух open-source harness'ах (Terminus-2 и Codex), 60 запросов на модификацию, планировщик — DeepSeek-V4-Pro, качество планов оценивали три LLM-судьи: — win rate по качеству плана: 45.6% против 26.7% на Terminus-2 и 38.3% против 28.3% на Codex — и всё это при меньшем расходе токенов планировщика: −12.7% на Codex и −8.6% на Terminus-2 — по локализации все 24 сравнения recall/precision/F1 в пользу handbook, прирост F1 от +5.0 до +18.8 — слабый планировщик с handbook подбирается к локализации более сильных моделей (GPT-5.5, Claude Opus 4.8) и заметно реже промахивается мимо нужного кода целиком Paper Code Project Мои обзоры: Personal blog Medium Linkedin #paperreview

Запись стрима "Что же такое harness?". Ссылка на YouTube: https://www.youtube.com/watch?v=QAxejH-KNak Стрим получился полезным, с примерами на практике. Большое спасибо, Паша, что согласился прийти! Таймкоды доступны как на YouTube, так и прямо в Telegram: 00:00 — Вступление 07:12 — О чём этот стрим? 09:31 — Что такое harness? 17:10 — Откуда появился термин «harness»? 23:20 — Виды harness 26:20 — Анатомия harness 34:28 — Вопросы от зрителей 35:20 — Что такое Skill? 39:10 — Чем harness отличается от guardrails? 44:30 — Можно ли использовать harness в продакшене банка? 49:43 — Чем harness отличается от scaffolding? 53:05 — Агент Coddy на практике 54:45 — Как harness может быть заточен под модель? На примере Coddy 59:03 — Как Coddy обрабатывает запрос? 1:00:30 — Пример работы Agent Loop 1:03:30 — 30 инструментов для on-prem-модели 1:06:15 — Работа с schedule-задачами 1:08:50 — Работа в режиме Plan 1:12:20 — Заставляем OSS-120B работать по SSH 1:14:20 — Проблемы on-prem-моделей с мультиязычностью 1:16:40 — Как работают Agent Skills? 1:21:30 — Протокол ACP на примере интеграции с Obsidian 1:31:10 — HTTP API в Coddy 1:36:50 — Уроки и грабли при создании собственного harness 1:48:00 — Готовые фреймворки для создания harness 1:50:06 — Принципы построения агентов на базе harness и отличие от AI-агентных фреймворков 1:53:55 — Harness работает только через API или поддерживает подписки Claude и Codex? 1:55:55 — Инструменты для экономии токенов 2:00:30 — Как патчить Hermes и Claude Code? 2:03:09 — Мониторинг качества harness Полезные ссылки со стрима: 1. Презентация – использовать как полезную шпаргалку по harness 2. Coddy – harness, который создал Паша 3. Pi – минималистичный harness 4. Hermes – качественно-сделанный harness, который умеет доделывать самого себя 5. OpenClaw = Hermes+страдания (для ценителей) Подписывайтесь на каналы участников трансляции: Павел Рыков Константин Доронин p.s.: Под конец стрима у меня немного отвалился звук. Прошу понять и простить – я всё ещё в процессе дрессировки OBS.