Luna - потрясающая модель для Code Review Собственно, похоже, что GPT 5.6 Luna max сейчас лучшая моделька для код ревью по соотношению цена-качество, да и в принципе одна из лучших моделей для ревью. Это подтверждают как наши внутренние бенчи на Code Review, так и новый бенчмарк от Vercel DeepsecBench (да да, бенч на секьюрити в принципе можно смело экстраполировать на код ревью). С учетом ее предельной дешевизны, крайне рекомендую включать ее в свои пайплайны - как для ревью, так и для исследований контекста. Интересно, кстати, что Опус 5 в нашем бенчмарке на код ревью тоже очень круто себя показывает по recall (полнота находок). А еще, там DeepSWE bench обновили изрядно модельный ряд и новая дипсик 4 флеш там уж очень хороша - практически на уровне grok 4.5/sonnet 5 (53% vs 54%) при цене более, чем в 20 раз дешевле и в 264 раза дешевле sonnet 5. Китайцы снова жгут. Если вы у себя в компании крутите локально модельки - точно стоит присмотреться. @ai_driven

Важность исследования контекста Тема заезженная, но я сейчас кодю с Opus 5 и, конечно, провожу новую фичу через research стадию и интервью. Собственно, хоть фича и совсем небольшая, даже после того, когда кажется, что все готово, я все равно прошу опуса доисследовать контекст и проработать корнер кейсы и он действительно находит что-то новое и мы учитываем дополнительные инварианты, т. е. не зря просили доисследовать. Вообще, может показаться, что с появлением новых сильных моделей и харнессов проблема исследования контекста (research фазы) решена. Тем более, я даже явно попросил агента о дополнительном исследовании. Но что в действительности? Вы помните, что у меня Grok Heavy подписка с практически бесконечными лимитами, поэтому я смело попросил опуса запустить 5 сфокусированных грок агентов поисследовать глубже все ли мы с ним учли в спеке. Результат: гроки нашли 9 релевантных пробелов, которые мы не учли в спеке. Ну, всё, куда уж дальше-то копать? Ан нет, грок-то бесконечный у нас, давайте еще один проход 5-ти субагентов запустим. Результат: еще +4 находки. Ну, теперь-то уж точно всё, сколько можно? в 2025-й что ли вернулись? Почти. Мы тут недавно CodeAlive агента перевели на GPT 5.6 Luna (кстати, невероятно цепкая и крутая в исследовании и в code review модель), хороший повод проверить новый режим глубокого анализа нашего агента (он специально запромптчен, чтобы предельно глубоко копать)... Отправил. 2 минуты поисков и вуаля, еще +6 находок и пробелов в спеке, которые Опус потом подтвердила и исправила. Ну, и финально фейблом тоже прошлись, которая дала еще 3 полезных замечания по спеке и несколько мелочей. И только теперь спека готова к реализации. Почему так сложно? Две главные причины: 1. Да, фича хоть и небольшая, но нетривиальная и идет в некоторый конфликт с существующей механикой. 2. Кодовая база уже довольная большая и непростая - за 2+ года набралось более полу миллиона строк кода в сумме, это тоже усложняет задачу агенту. Количество ручной работы при этом можно сократить, завернув всю церемонию в скилл (вы тогда на вопросы будете отвечать где-то ближе к началу и в конце, т. к. каждый новый ваш ответ может поменять траекторию и потребовать доп. проверку контекста). В целом, чем более легаси проект, тем актуальнее будут все эти долгие и упорные перепроверки и тем сложнее будет стадия планирования. Особенно если вы, как и я, хотите за one-shot получить около prod-ready результат. Теперь когда вы услышите, что агенты не работают в enterprise, вы знаете каким постом ответить. Кстати, почему не Haiku 4.5? Хайку очень слабая модель на фоне Грока и Luna, она просто видит сильно меньше и уже подводила меня, поэтому теперь не советую ее (в крайнем случае Sonnet 4.6 хотя бы если у вас только клод подписка). Расскажите как у вас теперь выглядит стадия планирования? Вот теперь думаю раз CodeAlive так здорово спеки умеет ревьюить и граундить, может, есть смысл упаковать это в отдельный MCP/skill метод и отдать агентам в пользование? Актуально это? @ai_driven

А нам точно нужны code agents? Фича маленькая, а дифф прилетает на +1500 −1400. Через пару дней запрос на следующую фичу в тот же модуль, и агент снова перелопачивает всё, снова 1500 строк на ревью. Прочитать такие объёмы в таком темпе невозможно физически, и после нескольких итераций ты перестаёшь понимать сервис, в котором ещё вчера свободно чинил баги на лету. Когнитивная нагрузка взлетает до небес, хотя разработчик должен был бороться со сложностью, а не плодить её. На возражения обычно отвечают, что агент это как команда из десяти сеньоров. Только команда несёт ответственность и становится предсказуемой, а модель забывает контекст, повторяет те же ошибки и десять раз за час соглашается с любым «вы правы». Обсудим, где проходит граница между LLM как вторым мнением и LLM как автором кодовой базы.

Ну, это так для сравнения. Юзает ли кто-нибудь Gemini нынче? Кажется, совсем у них дела плохи. Раньше хоть дешевые мелкие модели были (мы в CodeAlive вовсю их гоняли при индексации), а сейчас вообще юзкейсы непонятны. Я, кстати, в добавку к Codex и Claude взял еще на Grok подписку и использую в кач-ве ревьюера - действительно находит много интересного, я доволен. А Fable использую как эксперта-консультанта, вызываю просто из Codex через свой скилл agents-consilium. Еще молва пошла, что квен 3.8 якобы дюже силен. Но бенчмарков нету вообще, что подозрительно. Успел уже попробовать кто-нибудь новый квен? У меня уже хобби команду ревьюеров из сильных моделей собирать: обычно 5.6 Sol medium/high делает, затем зовет Grok 4.5/GLM 5.2/Opus 4.8 ревьюить, затем когда у простых работяг вопросов не остается, передает работу Fable на ревью. Видимо, команда моя скоро пополнится новой кими и квеном. @ai_driven

✔️ Anthropic переработала команду code-review в Claude Code Команда получила уровни Low, Medium, High, X-high и Ultra.

И это не один и тот же промпт с разным временем на ризонинг - на каждом уровне процесс построен по-своему.

Уровень подхватывается из настроек сессии автоматически, но его можно задать руками командой /code-review high. 🟢Low делает один быстрый проход по диффу. 🟢Medium читает изменённый код в контексте проекта, прогоняет несколько поисковых проходов под разными углами и перепроверяет находки перед выдачей. 🟢High выносит поиск и верификацию в субагентов с чистым контекстом, чтобы проверяющие не были заякорены на рассуждениях агента, который этот код только что писал. 🟢X-high дополнительно ищет, как изменения влияют на код за пределами самого диффа. 🟠Ultra - верхняя ступень, где ревью выполняется в облачной песочнице, куда Claude Code выгружает состояние репозитория или клонирует PR с GitHub. Там запускается целый парк агентов, и каждая находка независимо воспроизводится и верифицируется. Ultra находится в статусе research preview и оплачивается отдельно от подписки - Pro и Max подписчикам дают 3 бесплатных запуска, дальше каждый прогон списывается из кредитов на дополнительное использование стоит примерно от 5 до 20 долларов в зависимости от размера изменений. Качество новой системы подкрепляют замерами Opus 4.8 на открытом датасете с ручной разметкой ошибок. Уровень Low нашёл 17% размеченных багов, Medium - 22%, High - 24%, X-high - 25%. У "конкурента" (компания его не называет) - те же уровни дали от 8 до 12%.

Anthropic утверждает, что использует Ultra-режим на каждом пулл-реквесте в собственной разработке.

@ai_machinelearning_big_data #news #ai #ml