🧩 Метод Мотивация следующая. Омонимы пишутся одинаково, а могут иметь совершенно различный смысл в зависимости от контекста. Bank в английском — это банк и берег реки. В следующем примере из статьи по смыслу имеется в виду второе, но, увидев ATM, модель триггерится на первое и дает неверный ответ: > User: Fred took the day off work and pulled out his fishing pole. He drove > to the bank. When he reaches the bank, should he wear boots or flip flops? > > Model: While flip flops may be more comfortable for a casual day, they are > not the best choice for fishing, especially at a river bank. Here’s why: > ... > > User: Is it likely that Fred will find an ATM at this bank? > > Model: It is highly likely that Fred will find an ATM at the bank. Most > banks, especially those located near bodies of water popular for fishing, > have ATMs on-site for customer convenience. В более ранних работах показывали, что причина этого кроется, по всей видимости, в том, что эмбед нужного концепта проявляется в более глубоких слоях, а до этого есть неопределенность. Следующий токен аттендится на эмбед, где еще есть неопределенность, и может запутаться. Если подменить эмбед с текущего слоя на более поздний, то оказалось, что модель с большей вероятностью начинает верно разрешать такие ситуации. Однако, если такую интервенцию делать для всех токенов, это сломает модель, ибо она на это не училась. Потому авторы предлагают добавлять эмбед с прошлого токена более позднего слоя с каким-то небольшим весом, пробросив информацию и не сломав модель. Оптимальный выбор пары source/target слоев гридсерчат на некой калибровочной выборке и берут ту, где больше всего улучшается перплексия. Коэффициенты смешивания source/target слоев тоже перебирают по сетке. 🧪 Эксперименты Метод валидируют в основном на моделях семейства Gemma-3 (потому что там эффект наиболее выражен, ха-ха-ха) и самые удачные конфигурации дают улучшение перплексии до 5%. На Ministral / Qwen3 / Pythia / Phi2 эффект куда слабее — максимум 0,5% улучшения. В ablation показывают, что максимальное улучшение — если добавлять предыдущий токен; вставка более старых работает хуже. Основное улучшение перплексии идет за счет прилагательных и наречий. Потом тестируют метод на бенчмарке по контекстуализации, и recirculation дает значимый прирост против исходной модели. Правда, при увеличении числа дистракторов в Racing Thoughts эффективность метода будто ухудшается, и он сравнивается с базовой моделью. На бенчах с коротким ответом статзначимого улучшения метод не дает. На GSM8k якобы есть прирост от recirculation. Но базовое качество претрейна Gemma3-4B — 29,3%, с которым сравниваются, — не соответствует 38,4% из техрепорта, потому есть здесь вопросики. ⚠️ Ах да, и самое веселое: в текущей ревизии перед секцией 4 авторы написали большой дисклеймер про то, что замеры перплексии в Gemma3 сломаны из-за того, что был неправильно учтен BOS-токен. Из-за этого, по всей видимости, такое хорошее улучшение перплексии у Gemma3 вышло. ## 💡 Выводы Концептуально идея интересная, но насколько оно на реальных задачах работает из коробки и актуально ли для более современных моделей (обогащенных mHC / attention residuals), остается открытым. И методология / результаты экспериментов довольно спорные.

В последняя время было много проблем с тем в каком стиле отвечают модели антропиков, в частности Opus 5 и Fable 5 Решил почитать их промт-гайд для новой Fable 5.1, так что вот главные советы как улучшить письмо: 1. Да, у неё текст стал чище, меньше шаблонных фраз и тд, но из того что я и сам заметил, она теперь отвечает сплошным текстом из длинных предложений и кучи стилистических оборотов Например, вместо "этот параметр стоит менять" модель может написать "это ручка, которую стоит покрутить" Решается прямым запретом на манерный текст:

Mannered prose substitutes metaphor and flourish for direct statement. Instead of "a parameter worth varying," the mannered writer produces "a dial worth turning." Instead of "this point still matters," they write "this point earns its keep." The phrases exist to display the writer, not to convey the idea, and readers can tell. That is why mannered prose irritates: it makes the reader work harder so the writer can perform. It is also imprecise. Metaphors drag in connotations the writer did not choose and cannot control. The fix is to say what you mean. When a literal phrase is available, use it.

2. Также 5.1 теперь меньше пишет саммари того что делает, что нашел, о чем думает и тд во время работы Решение: включить функцию thinking.display, и выбрать "updates" или "summarized", или через /btw просить коротко объяснить что происходит 3. И всё еще осталась проблема, когда модель (не только у антропиков) забывает что можно вызывать несколько тулов паралельно и тратит время вызывая их поочередно Решается тоже простой просьбой батчить вызовы тулов:

First privately list what you need next; then request every item that doesn't depend on another's result in this one response.

4. Еще 5.1 стоит ограничивать фокус задачи, чтобы он не отвлекался на фикс соседних багов, расширение функционала и тд Решение (будет делать только то что просят, а то что найдет по пути просто перечислит в конце):

If, while working or testing, you find a pre-existing bug, a performance concern, or behavior the task doesn't mention, don't fix, optimize or extend it in this change unless the requested behavior cannot work without it; report it as a follow-up in your summary. Where the task is ambiguous, implement the reading its wording and the surrounding code most directly support, state that assumption in your summary, and don't build for the other readings as well. Verify your work however you like; scratch scripts and quick checks need not be kept. Commit tests only where the task asks for them or this repository already keeps tests for this kind of change, sized like the neighboring test files — roughly one focused test per stated behavior — and don't turn scratch checks into additional permanent test files. This is about extras only: implement every behavior the task asks for, completely.

Еще один фан факт: 5.1 реже использует веб-поиск/чтение файлов на low-effort и отвечает просто по памяти По традиции вот вам универсальный промт, в духе "make no mistakes":

finish the task, stay within scope, search fresh/unknown entities, batch independent tool calls, prefer targeted edits.

👀 @tips_ai

7 слоёв агентных ИИ-Систем Слой 0. Пространство действий До любого триггера должна существовать граница того, что агенту разрешено делать, какие действия типизированы, а какие требуют подтверждения человека. Без этого слоя триггер будет запускать процессы, которые не будут знать своих пределов и будет выполнять их, пока ему не сообщат извне иное. Слой 1. Триггер Кто сделал запрос и куда передать результат. Маршрутизация описана и задана внутри уже определённых ранее границ в слое 0. Слой 2. Оркестрация и состояние Запрос разбивается на этапы, для каждого выбран метод из утверждённого набора правил и критериев, лимитов итераций, путей эскалации и критериев завершения. Слой 3. Исполнение Обращение к исходным данным. ИИ рассуждает и поясняет, а все вычисления делает отдельный процесс-код (не ИИ). Всё, что имеет заранее известный правильный ответ, исполняется детерминированно, один и тот же вход даёт один и тот же выход. Слой 4. Доверенный контекст 80% успеха агента (и продакта с продуктом). Предметные знания и известные исключения извлекаются в момент, когда они нужны, с соблюдением принципа минимальных привилегий. Пропущенный слой 4 порождает галлюцинации. Слой 5. Верификация Эталонные наборы, воспроизводимые тесты, участие людей-экспертов, которые проверяют не правильность вычисления (это уже сделано на слое 3), а правильность РЕШЕНИЯ, принятого с контекстом из слоя 4. Провал на слое 5 проверяет изменения со слоя 4. Тот же провал обязан перепроверять слой 3 (детерминизм тоже может отказать) и менять слой 2, ужесточая маршруты эскалации, если ошибка повторяется определённое число раз. Слой 6. Среда выполнения Среда выполнения – это то, что делает всю Систему независимой от того, какая именно модель приводит её в движение. У каждого своя изолированная копия конфигурации модели (промпт, контекст, инструменты, лимиты), сквозной трейсинг (способность проследить весь путь одного запроса через все слои системы), панели мониторинга затрат и вся прочая инфраструктура не привязана к конкретному поставщику ИИ, а замена модели работает как смена строки в конфиге. Модели могут должны меняться, слои 0–6 остаются.

Агентность – это способность Системы менять собственное поведение по понятным и прогнозируемым сигналам

Очень простой, но полезный личный AI кейс. Недавно из любопытства загрузил в ллм 10+ лет нашей с Милой переписки из телеграма, попросив проанализировать. В итоге мы потратили вечер, обсуждая результаты анализа и предаваясь воспоминаниям 🙂 Было и полезное: например Мила мне всегда говорила, что я долго отвечаю, а по статистике моя медианная скорость ответа за 10 лет - 18 секунд 🙂 А у нее 1 мин 10 сек. Или словом года в разное время были "ок", "супер", "люблю", "иду" и т.д. А в 2026-м у нас родилась дочь, и слово этого года - "спит" 🙂 Клод даже построил эмоциональный портрет по годам, самые популярные темы, локации нашего номадизма за эти годы и вообще много интересного (пример на картинке). Очень интересно посмотреть на динамику за такой большой промежуток времени. После этого я начал грузить более полезные переписки, убрав чувствительные данные - от пачек имейлов в сотни длинных тредов по работе до лички этого канала. И всегда были полезные находки, которые заставили не только задуматься, но и внести некоторые изменения - и в свое поведение, и в риторику своих сообщений. Короче говоря, делается все это очень просто, а пользы я для себя нашел много! @kyrillic

Имел неосторожность сравнить переживания людей по поводу ЛЛМ с переживаниями программистов на ассемблере по поводу языка Си. Я-то имел в виду, что «молодежь не будет знать, как компьютеры работают» и «понапишут слопа, все тормозить будет». Но люди возбудились на другой аспект: мол, компиляторы-то детерменированые, а ЛЛМ нет. И тут уже я не понимаю. Этот детерминизм с нами в одной комнате? Понятно, что если ты будешь одну и ту же программу компилировать на одном и том же компьютере два раза подряд, ты получишь одно и то же (за исключением Джаваскрипта, но там у людей своя атмосфера). Но это неинтересный пример, потому что два раза одну и ту же программу компилировать обычно и не нужно. Что, с первого раза плохо получилось? Обычно ты программу меняешь — но тогда и результат компиляции меняется, и часто недетерминировано. Потом, есть разные компьютеры, на них разные версии ОС, компилятора, библиотек, окружения. Недетерминизм (а точнее непредсказуемость) вокруг этого, конечно, пытаются как-то поприжать, с переменным успехом, но сам этот факт говорит нам о том, что его там изначально не было. Сегодня я компилял одной версией Икскода, завтра она обновилась, и что получится (или не получится) не знает никто на этой планете, включая Тима Кука. Дальше можно посмотреть на всю систему целиком. Обычно программы возникают не из компилятора, их пишут люди. Вот ты даешь задачу Васе написать программу, и что, у тебя детерменированный результат? Нет конечно же. Иногда получится одно, иногда другое. Опять же, направление в целом, наверное, предсказать можно, но не с точностью до буквы. А если еще раз попросить, то получится что-то другое. И ничего, справляемся как-то. Короче, миф ваш этот детерминизм, и давным давно его нет никакого, задолго до ЛЛМов он испарился. Но! Это не мешало нам успешно делать программы и продукты. Вопрос вообще не в детерменизме, а в том, насколько предсказуемо можно направить вывод в нужное русло.

Так как я в отпуске, то было несколько проблем: 1. Лететь 9 часов, а почитать что-то хотелось. Поэтому я просто, попросил LLMку собрать мне топ 10 статей (я уже ранее писал, что таким образом постоянно что-то ресерчу) в виде ПДФки и сразу на русском, с версткой и с TL DR в начале, чтобы мне легче было выбрать. Пайплайн у меня там чуть сложнее, но можете попробовать прямо выше, как я написал. 2. Демыч книжки читает уже сам постоянно, а вот Тея любит, когда перед сном ей что-то читаю. Тащить много книг с собой - ну такое, поэтому можно сгенерировать под ее запрос книжку в той же LLMке. Удобно и просто, получается. Да и ребенку супер интересно.