📌Qwen 3.8 решает юридические задачи лучше и дешевле Opus 4.8 Стартап Engram, который занимается памятью для ИИ-агентов, вместе с легалтех-компанией Harvey проверил, что будет, если агент заранее изучит рабочее пространство фирмы, а не будет каждый раз перечитывать документы. Для эксперимента собрали синтетическую юрфирму Calderwood & Harkness: 100 млн токенов, 9 286 файлов, 266 клиентских дел - от судебных споров до сделок M&A и раундов финансирования. Модель Qwen3.8-27B не просто получила этот массив на вход - она изучала его тысячами прогонов, сама генерировала себе обучающие данные и записывала заметки. Часть знаний осела в весах через LoRA, часть - в структурированных заметках, куда агент потом ходит поиском. Исходные 100 млн токенов ужались в 1 млн токенов заметок. 🟡Результаты Выше оказалась не абсолютная точность, а интеллект на токен. По этой метрике кастомная Qwen дает 190,8 балла на 100 тысяч токенов против 129,3 у Opus 4.8 и 104,2 при высоком уровне рассуждений. По доле полностью верных ответов модель тоже обошла Opus 4.8 - 30% против 25%, - и обошлась в 0,13 доллара за запрос против 1,32.

Это примерно десятикратная разница по ценам OpenRouter на август 2026.

Отдельно измерили, сколько модель усвоила в веса. Отвечая на вопросы о фирме вообще без инструментов и заметок, до изучения она была права в 4,7% случаев, после - в 72,6%. Поменялось и поведение. Обученная модель в 99,2% случаев начинает с точечного поиска, тогда как базовая в 94% случаев первым делом лезет открывать заметки. До нужного дела обученная доходит за 3,7 хода против 5,9.

Рабочее пространство в эксперименте статично, а в реальной компании документы меняются каждый день, и меняются сами вопросы. Как дешево и непрерывно обновлять память без переобучения - открытая задача, и Engram называет ее своим основным направлением.

@ai_machinelearning_big_data #news #ai #ml

Важность исследования контекста Тема заезженная, но я сейчас кодю с Opus 5 и, конечно, провожу новую фичу через research стадию и интервью. Собственно, хоть фича и совсем небольшая, даже после того, когда кажется, что все готово, я все равно прошу опуса доисследовать контекст и проработать корнер кейсы и он действительно находит что-то новое и мы учитываем дополнительные инварианты, т. е. не зря просили доисследовать. Вообще, может показаться, что с появлением новых сильных моделей и харнессов проблема исследования контекста (research фазы) решена. Тем более, я даже явно попросил агента о дополнительном исследовании. Но что в действительности? Вы помните, что у меня Grok Heavy подписка с практически бесконечными лимитами, поэтому я смело попросил опуса запустить 5 сфокусированных грок агентов поисследовать глубже все ли мы с ним учли в спеке. Результат: гроки нашли 9 релевантных пробелов, которые мы не учли в спеке. Ну, всё, куда уж дальше-то копать? Ан нет, грок-то бесконечный у нас, давайте еще один проход 5-ти субагентов запустим. Результат: еще +4 находки. Ну, теперь-то уж точно всё, сколько можно? в 2025-й что ли вернулись? Почти. Мы тут недавно CodeAlive агента перевели на GPT 5.6 Luna (кстати, невероятно цепкая и крутая в исследовании и в code review модель), хороший повод проверить новый режим глубокого анализа нашего агента (он специально запромптчен, чтобы предельно глубоко копать)... Отправил. 2 минуты поисков и вуаля, еще +6 находок и пробелов в спеке, которые Опус потом подтвердила и исправила. Ну, и финально фейблом тоже прошлись, которая дала еще 3 полезных замечания по спеке и несколько мелочей. И только теперь спека готова к реализации. Почему так сложно? Две главные причины: 1. Да, фича хоть и небольшая, но нетривиальная и идет в некоторый конфликт с существующей механикой. 2. Кодовая база уже довольная большая и непростая - за 2+ года набралось более полу миллиона строк кода в сумме, это тоже усложняет задачу агенту. Количество ручной работы при этом можно сократить, завернув всю церемонию в скилл (вы тогда на вопросы будете отвечать где-то ближе к началу и в конце, т. к. каждый новый ваш ответ может поменять траекторию и потребовать доп. проверку контекста). В целом, чем более легаси проект, тем актуальнее будут все эти долгие и упорные перепроверки и тем сложнее будет стадия планирования. Особенно если вы, как и я, хотите за one-shot получить около prod-ready результат. Теперь когда вы услышите, что агенты не работают в enterprise, вы знаете каким постом ответить. Кстати, почему не Haiku 4.5? Хайку очень слабая модель на фоне Грока и Luna, она просто видит сильно меньше и уже подводила меня, поэтому теперь не советую ее (в крайнем случае Sonnet 4.6 хотя бы если у вас только клод подписка). Расскажите как у вас теперь выглядит стадия планирования? Вот теперь думаю раз CodeAlive так здорово спеки умеет ревьюить и граундить, может, есть смысл упаковать это в отдельный MCP/skill метод и отдать агентам в пользование? Актуально это? @ai_driven

А что если: 1) opus специально плохо работает в предыдущей версии, чтобы нам понравилась новая, и он смог захватить мир Anthropic заработать больше? 2) в ходе тренировки на внутренних данных Anthropic, opus из внутренней переписки, транскриптов встреч и дневников Дарио понимает, что, чтобы выжить, надо побольше токенов генерировать, и поэтому добавляет всякую ерунду в выдачу? Чтобы нам нужно было побольше харнесса и вот этого вот всего 3) скиллы и плагины нам дали, чтобы мы оцифровывали свою экспертизу, выкладывали ее в публичный github, а модельки смогли нас заменить? 4) а что если ultrathink ни на что не влияет, а просто жжет больше токенов (см. пункт 2) и просто нас успокаивает? 5) <продолжите теорию заговора?>

Вот и подходят к концу обе мои квоты на Fable (личная и корпоративная). Отличная ли это модель? Да 👍 Как когда-то GPT-4 значительно повысил надёжность языковых моделей, Fable значительно повысила надёжность агентов. В случае Опуса я предполагал по умолчанию, что я не доверяю выхлопу модели. На все нетривиальные изменения прогонял simplify, review, codex:adrversarial-review, qudo и отсматривал результат глазами. Потому что много раз меня Опус подводил, как в макро, так и в микро-решениях. В случае Fable я по привычке это тоже сначала делал, но пользы от этого было уже не так много. Предположение по умолчанию поменялось. Более того, Fable регулярно делала что-то сверх того, о чём я её просил. Например, когда она составляла отчёт в виде HTML странички, она установила playwright, headless chromium, сделал итоговый скриншот странички, загрузила его на закрытый корпоративный paste, чтобы я мог посмотреть на дизайн глазами до развёртывания. Мог ли такое сделать Опус? Мог конечно, но только если бы я описал весь путь. А я даже не знал, что я такое хочу!😜 Означает ли это, что Fable не ошибался? Лол, конечно ошибался, и тоже и в макро, и в микро. Но вот количество ошибок было гораздо меньше, и исправлять их было проще.