Почему агенты по-разному выполняют одну спецификацию

Почему агент делает не то, что вы просили Недавно с учениками мы делали телеграмм-бота с локальной нейросетью. Спецификацию я написал заранее и в прямом эфире отдал её двум агентам: Antigravity с Gemini Flash и OpenCode с GLM. Antigravity справился за 2 минуты. Лимиты почти не потратил, субагентов не запускал, тесты не написал. Запускаю npm run dev - и всё падает на импорте. Ещё и файлы он правил через git-команды. Я, когда первый раз увидел, прям офигел: "алло, братан, а что это такое?" 😁 Он ответил, что так легче всё трекать. OpenCode пошёл долгим путём. Сначала задал 5 вопросов: 1 агент или 4 этапа, какой test runner, нужны ли моки. Сам предложил тесты. Потратил 45 тысяч токенов и заметно больше времени. Зато с тестами и планом. Спецификация одна и та же, а результат совсем разный. Можно сказать, что Flash просто слабее. Но в другие дни этот же агент у меня отлично работает - когда запускаю его через свой скилл. В этот раз он скилл не подхватил и пошёл делать по-своему.

Так что проблема не в LLM, а в харнесе, который вокруг написан.

Харнес - это всё, что вокруг модели: агент, скиллы, AGENTS.md, правила, то, как он проверяет свою работу. И это не единичный случай. Когда я разбирал домашки потока, около 40 работ, размер спецификации почти не влиял на результат. Влияли модель и агент. С Claude Opus люди в среднем справлялись за 1 промпт, с Sonnet - за 3. А самописный оркестратор одного ученика потребовал 31 промпт. Сейчас многие уже работают с агентами: Cursor, Claude Code, OpenCode. И часто жалуются, что агент делает не то, всё приходится переделывать, а токены улетают за день. Обычно в этот момент человек идёт менять модель. Хотя чинить чаще нужно то, что вокруг неё. Что у меня в этой обвязке есть всегда: 1. AGENTS.md в каждом проекте: что делаем, стек, где какие файлы лежат. Чтобы агент не читал весь репозиторий. 2. Скиллы под конкретные задачи. Часто достаточно написать "используй TDD", и современная модель сама знает порядок: сначала тесты, потом код. 3. На больших правках сначала план, и я его утверждаю глазами. Antigravity я, кстати, не выкинул. Для текстов и документов он у меня отличный. — Давайте наберём много 👍, буду чаще разбирать такие кейсы из своей работы #нейросети · yt · tg · ig