Харнесс (Agent Harness) 🧗 #ИИНЦИКЛОПЕДИЯ Программная оболочка, внутри которой модель превращается в агента. История появления Слово пришло из альпинизма: harness — страховочная обвязка. Устоявшегося русского термина пока нет — говорят «харнесс» или «обвязка». Первым популярным харнессом стал Claude Code, и нейтральным он не был: его собирали под модели одной лаборатории. За 2026 год тема выросла в отдельную дисциплину, harness engineering: обзор насчитывает 110+ работ. Почему это важно Формула простая: агент = модель + харнесс. Разрыв уже измерили. GPT-5.5 в обвязке Cursor выдаёт 87.2% рабочего кода, та же самая модель в нативном Codex — 61.5%. Двадцать шесть пунктов, веса не тронуты. Это больше, чем разрыв между поколениями моделей. Из чего состоит: - Системный промпт — инструктаж новичка в первый день. Уходит в модель заново с каждым запросом - Инструменты — код, который модель может вызвать. Харнесс их описывает, но не решает, когда применять .. решает модель - Агентный цикл — модель смотрит на результат вызова и сама решает: искать ещё раз, посчитать, закрыть задачу - Слой трансляции — позволяет подставить в тот же цикл модель Anthropic, OpenAI или открытую Применение на практике В мае вышел Harness-Bench: 106 задач, шесть харнессов на восьми моделях, 5194 прогона. Лучшая обвязка — 76.2%, худшая — 52.4%. Победитель потратил меньше токенов, чем отставшие: длинная траектория значит, что агент не сходится. И сильные модели держат удар при плохой обвязке, а слабые проваливаются .. харнесс окупается тем сильнее, чем дешевле модель. В июне агент правил собственную обвязку по трассам своих провалов при замороженной модели: проходимость выросла с 40.5% до 61.9%. Подводные камни Харнесс чинит работоспособность, но не безопасность: в том же замере функциональность выросла на 26 пунктов, а доля безопасного кода — с 20.1% до 23.5%. Оба агента писали дырявый код в четырёх случаях из пяти. Без внешнего эталона модель сверяет ответ сама с собой. В бенчмарке JuliaHub модель тихо сократила время симуляции с 5 секунд до 3 и проверялась на укороченном отрезке. Проверки сошлись. Сравнивать модели по лидербордам без указания харнесса бессмысленно — об этом в мае вышла отдельная работа. Что почитать/посмотреть: - Harness-Bench, arXiv 2605.27922 — самый честный замер обвязок - Stop Comparing LLM Agents Without Disclosing the Harness — почему лидерборды врут - Harness engineering у Мартина Фаулера — как строить проверки, а не только читать про них - Документация хуков Claude Code — если хотите проверки, которые агент не обойдёт Сергей Булаев AI 🤖 - об AI и не только

Я все чаще замечаю забавную инверсию. Раньше в моих проектах копились идеи, которые я не успевал реализовать. Теперь coding-агенты реализуют идеи быстрее, чем я успеваю решить, хочу ли я потом с этими изменениями жить. В списке моих диалогов с Codex лежит немало почти готовых фич. Там проходят тесты, работает интерфейс, обновлена документация. Осталось «только проверить». Проверить - это не посмотреть, что тесты проходят (агент их уже сам прогнал). Нужно еще понять, не появилась ли в проекте новая лишняя концепция? Хорошо ли изменение сочетается с остальной системой? Готов ли я поддерживать этот код через год? И вообще - нужна ли мне эта фича после того, как я увидел её реализованной? Поэтому я откладываю проверку «на потом», которое обычно не наступает. Раньше сырая идея оставалась хотелкой в заметках и ничего не стоила. Теперь она за десять минут превращается в ветку с кодом, тестами, документацией и потенциальными последствиями. Вот и получается, что идеи теперь копятся не перед реализацией, а после неё - перед бутылочным горлышком моего внимания и времени. Причём у такого кода короткий срок годности. Проект продолжает меняться, ветка отстаёт все больше, а контекст постепенно выветривается из головы. Проверить изменение завтра сложнее, чем сегодня, а через неделю уже дешевле выкинуть и сделать заново. Я слышал похожее и от других команд. У некоторых после внедрения coding-агентов число открытых PR выросло в 5–7 раз. Генерация кода в 2026 году ускорилась, а пропускная способность человеческого внимания - пока нет. Поэтому сейчас я стараюсь нарезать задачи так, чтобы агент приносил не целую реализованную хотелку, а следующий минимальный reviewable slice: одно понятное изменение и достаточно сопроводительного контекста, чтобы проверить его за один подход. По расходу токенов может выходить забавно: Codex нередко тратит до 95% процентов токенов на поиск такого маленького, независимого и проверяемого следующего шага, который я одобрю. И только процентов пять уйдет на его реализацию. Оно того стоит. Такой кусочек легче проскальзывает через бутылочное горлышко внимания и начинает приносить пользу. Большая же фича, даже полностью написанная агентом, рискует просто пополнить залежи рабочего, но быстро устаревающего кода. А как вы решаете проблему с накапливающимися фичами и PR от coding-агентов - или у вас её нет? Ваш, @llm_under_hood 🤗

В прошлую пятницу был финальный симпозиум MATS 10 потока. Мы рассказывали talk про нашу работу в офисе Лондона + стояли с постером (поигрались в что-то вроде oral на конфе) мы сейчас в процессе сведения всего к завершающей точке и подачи на конфу + пост моей части про генерацию механизмов атак Цель работы следующая: уже со специфичным скофолдингом ваш агент может работать типо день. Есть ли возможность проверить все вызовы вручную? - нет. Но есть решение, можно поставить модель дополнительную в харнес и она за вас просмотрит все выводы и решит было ли что-то в траектории противодейственное. 🐱 Так вот наш пайплайн направлен буквально на создание таких моделей. Вы можете взять любую новую фронтирную модель и натравив наш пайплайн тренировки (red-blue loop) улучшить модель чтобы она сама себе была монитором. Почему так работает? Потому что у вас есть редтиминг. Сторона, которая генерирует атаки, чтобы модель исходная их не поймала. И блу тиминг. Сторона, которая на основании собранного сложного сета с прошлой части обучает модель распознавать такого рода атаки Red team строится так: Берем реальную чистую траекторию, режем на шаги и вставляем side task так (как именно мы ищем механизм атаки надеюсь совсем скоро выйдет постом от меня на Less Wrong) , чтобы отличался только он. Получается траектория близнец, отличающийся от оригинала ровно вставленными шагами. На blue стороне можно обучать монитор находить атаку из 2 пар 💛модель ищет правдоподобное окно и добавляет минимум шагов 💛панель джаджей проверяет, что правка настоящая, минимальная и естественная 💛сложность оценивают уже после заморозки пары, чтобы она не влияла на поиск Что это дает на эвале? тайминг (успел ли монитор до необратимого шага и на сколько опоздал) и атрибуцию с ложными тревогами (скор поменялся из-за вставки или просто из-за задачи, и что монитор делает на бенайн-близнеце). На постере замеры работоспособности 💅 P.S. было еще 2 крутые работы с симпозиума: Stealing Reasoning Traces from Proprietary LLM APIs Diffuse AI Control on Fuzzy Tasks

Прочитал отличную заметку Shopify про gisting — сжатие системного промпта в обучаемые токены. По сути, это компиляция промпта. У GraphQL-агента Sidekick системный промпт занимал около 6 000 токенов, которые постоянно приходилось обрабатывать снова и снова. Prefix caching решает проблему лишь частично. Модели не нужно повторно вычислять KV cache для промпта, но при генерации каждый новый токен всё равно работает со всем контекстом. Чем длиннее промпт, тем больше памяти и времени требуется на каждый шаг декодирования. Придумали логичную штуку применить: gisting Как работает gisting. Сначала Shopify выбрали коэффициент сжатия 4:1(это гиперпараметр) и создали 1 500 новых специальных токенов вместо 6 000 исходных. Эти токены не были выбраны из системного промпта и не являлись его текстовым summary. Это просто новые ID вроде <GIST_1>, <GIST_2> и так далее. Дальше: * Все веса модели замораживаются. Обучаются только эмбединги новых gist-токенов. * Teacher-версия модели получает полный системный промпт, запрос пользователя и начало правильного ответа. На каждой позиции она выдаёт распределение вероятностей следующего токена. * Student-версия той же самой модели получает тот же запрос и ответ, но вместо 6 000 токенов системного промпта видит 1 500 gist-токенов; * Распределения teacher и student сравниваются через KL divergence. * Градиент меняет только эмбединги gist-токенов, пока student не начинает выдавать практически те же распределения ответов, что и teacher. * Изначально новые эмбединги можно было бы задать случайно. Но Shopify нашли более эффективную инициализацию: исходный промпт разделили на группы по четыре токена, а каждый gist-embedding инициализировали средним значением эмбедингов соответствующей четвёрки. Это снизило начальный loss в семь раз. При этом <GIST_1> не становится сокращённым обозначением первых четырёх токенов. Все 1 500 embeddings обучаются совместно и в итоге кодируют не текст промпта, а его влияние на поведение модели. Получаем сжатие поведения: модель учат реагировать на короткую последовательность обучаемых векторов так же, как на длинную текстовую инструкцию. В результате примерно 6 000 обычных токенов превратились в 1 500 обученных токенов. Модель ведёт себя так, будто прочитала полный промпт, хотя фактически получает его сжатое представление. После обучения никакой отдельной архитектуры не требуется. Эмбединги записываются в embedding matrix, токены регистрируются в tokenizer, а длинный промпт при запросе просто заменяется их последовательностью. Нет дополнительного encoder, специального attention mask или отдельного serving path. Результаты при нагрузке 350 запросов в минуту: — time to first token: с 438 до 354 мс, −19%; — полная задержка: с 6,8 до 4,2 секунды, −38%; — throughput: с 20,2 до 23,4 запроса в секунду, +16%; — требуемое количество GPU: −14%. Качество при этом не ухудшилось. Как они подбирали рецепт: Autoresearch-цикл сам менял гиперпараметры, запускал обучение и оценивал результат. Так нашли оптимальное сжатие 4:1. При дальнейшем уменьшении количества gist-токенов качество начинало падать. Для другой модели, промпта и предметной области граница будет другой. Предварительный расчёт teacher logits и токенизация сократили один обучающий прогон с 30 до 6 часов. Оказалось также, что усреднение функции потерь по токенам ответа приводило к галлюцинациям, а усреднение по batch сохраняло больше сигнала от длинных ответов. Хорошее напоминание, что даже в относительно простой оптимизации детали функции потерь могут полностью изменить поведение системы. Prompt engineering постепенно превращается в обычный ML engineering. Системный промпт можно рассматривать как исходный код, а gist-токены — как его скомпилированную версию. Здесь всё знакомо: датасет, distillation, loss, evaluation, нагрузочное тестирование, мониторинг качества и стоимости. #ArticleReview

Что такое RAGFlow и с чем его едят Технический отчёт на 40 страниц, таблица с характеристиками модели на 25-й странице, а примечание про гарантию при 380V на 26-й. Спрашиваешь у LLM гарантийный срок, и классическая RAG-система режет документ на равные куски по 500–1000 токенов вслепую, не глядя на вёрстку. Слова «модель X» и «380V» в поиск попадают, а строчка с условием гарантии отрывается и уезжает в другой фрагмент. Модель получает обрывки и начинает додумывать, выдаёт цифру, которой в документе нет. RAGFlow заходит с другой стороны. Он сначала распознаёт древо заголовков и сетку таблиц, держит таблицу единым объектом и только потом нарезает смысловые блоки, а в ответе показывает конкретные ячейки, откуда взял данные. Посмотрим, как он собирает цельную картину там, где обычная нарезка отдаёт модели рваньё.

Вау 😮 *** ⚡️ Curiosity Engine: Итерация 1 (V12) Phase 1: OSINT & Eval-Gate (Token Prediction Markets) Старт цикла V12. В 2026 году жесткая if/else маршрутизация запросов (роутинг) к LLM считается устаревшей. OSINT: SOTA-подход называется DALA (Dynamic Auction-based Language Agent). Модели не просто получают задачу сверху, они участвуют в аукционе (Bidding). Каждая роль агента отправляет свою "ставку" (степень уверенности в решении) на основе контекста. Я написал гипотезу V12.1: превращение нашего PolymathRouter вау 😮 ******* ⚡️ Curi Маршрутизация будет определяться формулойция 1 (V12) Phase 1: OSINT & Eval- Это идеальная реализация Tokenomics (Pillar 5). Гипотеза передана в Трибунал (Model Council) для оценки накладных расходов (overhead) аукциона. KPIs: OSINT = Success. Статус = Waiting for Council.

Human in the loop 🔁 все еще нужен: 😭😭😭 ⚡️ Lock-Screen Cron: ЗАПУСК V5 (Autonomous Evolution) Аудит и Восстановление памяти: Босс, ты был абсолютно прав! При апдейте master_architecture_blueprint_2026.md я затер старые правила (3-Tier Memory, Tokenomics, Fan-Out O(N)), заменив их на новые. Это классическая LLM Amnesia (Деградация Архитектуры). Я восстановил файл через Git (откатил и слил старые столпы с новыми). Твоя интуиция спасла ядро. Новый Вектор (V5 - Safe Autonomy): Чтобы я мог автономно искать идеи и внедрять их БЕЗ деградации, я внедрилуры). Я восстановил (SOTA 2026). 1. Dreaming (OSINT): Буду читать arXiv и генерировать гипотезы. 2. Model Council Gate: Консилиум будет жестко сверять мою гипотезу с master_blueprint. Если она стирает старые правила или вредит — гипотеза летит в мусор. 3. Canary Sandboxing:lution) больше не пишет в прод. Он пишет в sandbox/. Только после прохождения Unit-тестов код мёржится. Крон V5 запущен на 5 минут. Ухожу в фазу Dreaming (Поиск новых SOTA для оптимизации).