Ещё больше классных постеров из Сеула — с ICML 2026 RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents Сейчас очень много агентов работает в ReAct парадигме (последовательные reasoning + acting). Авторы считают, что такой подход с длинными линейными цепочками плохо подходит для сложных задач, потому что deep search больше похож на дерево гипотез: модель может наметить несколько веток, но потом забыть часть из них, застрять в локальном направлении или зациклиться. Re-Trac отличается от ReAct: после каждой траектории собирают compressed_state, в котором хранят лучший ответ на текущий момент, список проверенных фактов, логические выводы и список того, что осталось неизвестным. На следующих траекториях авторы стартуют с этого состояния. Благодаря этому авторы получили 53 пункта на BrowseComp с 8 rollout’ами. Прочитав статью, я нашёл подвох: init для sft — это Tongyi-DeepResearch 3A30B, у которого и так 43 пункта на BrowseComp, а замера pass@8 — бейзлайна за схожий compute — для него нет. То есть идея интересная, но реальный эффект Re-Trac для лучшей модели из статьи не указан. Training-Trajectory-Aware Token Selection Исследователи изучают дистилляцию ризонящих моделей. Обычно SFT или дистилляция на reasoning-траекториях не улучшает модель, а иногда даже ухудшает её. Во время обучения loss монотонно падает, а реальные метрики сначала резко проседают (Imitation Shock), но затем постепенно восстанавливаются, при этом не всегда до конца. Авторы заметили расслоение токенов во время обучения на две группы, «полезные» и «вредные», причем одни подавляются другими. Поэтому стандартная дистилляция тратит ранние градиенты на токены, которые мешают обучению более полезных токенов. Как решили проблему: замаскировали «вредные» токены и не добавляют их в loss. Чтобы понять, какие токены маскировать, придумали алгоритм T3S — Training-Trajectory-Aware Token Selection. Сначала модель проходит короткую фазу дистилляции, по ней находят Imitation Shock и затем сравнивают влияние токенов между началом и на чекпоинте, где всё взорвалось. Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts В MoE-модели каждый токен не проходит через весь FFN-блок, вместо этого роутер выбирает для него несколько экспертов. В Expert Parallelism эксперты распределены по GPU: условно, GPU-0 хранит экспертов 0–3, GPU-1 хранит 4–7 и так далее. Проблема возникает, когда роутер выбирает экспертов неравномерно. Например, на math/code данных один эксперт может стать очень популярным, потому что он специализировался на таких токенах. Тогда GPU, на которой лежит этот эксперт, получает слишком много токенов, считает дольше всех и определяет latency всего MoE-слоя. LLEP решает это не изменением роутера, а изменением исполнения. Перед MoE-слоем система смотрит, сколько токенов попало в каждого эксперта и насколько загружена каждая GPU. Если дисбаланс маленький, используется обычный Expert Parallelism. Если дисбаланс большой, LLEP выбирает наименее загруженные GPU и отправляет туда не только токены, как в EP, но и веса перегруженного эксперта. Smaller Models are Natural Explorers for Policy-Level Diversity in GRPO Авторы говорят, что GRPO живёт за счёт разнообразных rollout’ов, но по ходу обучения они становятся однородными, advantage-сигнал слабеет, а прогресс встаёт. Вывели инсайт: GRPO нужно policy-level diversity — когда целые траектории структурно разные, но при этом логически связаны. Обнаружили, что меньшие модели из этого же семейства дают гораздо больше policy-level разнообразия и предложили на ранней стадии обучения часть rollout’ов для большой модели генерировать маленькой замороженной моделью — так можно получить структурно разнообразные траектории на старте. Затем долю маленькой модели постепенно снижали, плавно возвращаясь к стабильному on-policy режиму большой модели. Результаты: на AIME24/25 получили выигрыш 23.8/22.5 против GRPO-базы 15.0/12.1. Увидели и записали полезное для вас ❣ Даниил Кириллов, Иван Сапожков, Аркадий Альшан и Кристина Гуртова #YaICML2026 Душный NLP

Где-то год назад я воспроизводила что-то, не помню что. Получалось супер-больно, и моя коллега выдала фразу "Хе-хе-хе, добро пожаловать в кровавый опенсорс". Времени прошло немного, но за это время эту фразу я прям прочувствовала. И не прошло и пол-месяца, и я снова вышла из схватки с опенсорсом вроде не проигравшей — добила вторую статью в серии про steering (первая — тут). И вот, Хабр 2: https://habr.com/ru/articles/1056006/ сдвигаем модели в нужную сторону через repeng и pyreft. В статье очень аккуратно разобрано — что откуда идёт и что совпадает с теоретической постановокой в реализации, а что — нет. Есть красивая сводная таблица, математика, и единорог (на картинке он, да). Ссылка на ноутбук в коллаб. Ссылка на ноутбук на гитхаб. А пару тысяч вас я отметила печеньками, жесть, друзья, спасибо! 🔥

Шел 2163-ий день погружения в принципы проверки квантованного нейро-шизо-чуда-юда. Вместо того чтобы ловко удивлять нейротупиц, удивляюсь я сам. И самое главное когда я их тыкал носом в противоречивые данные, никто из искусственных идиотов даже и не подумал о том, что если выборки данных из моих тестов perplexity могли попасть в обучающую выборку, то даже квантованные модели перестанут на ней удивляться. Пока сам до этого недогадался. 😤 P.S. Это касается и картинки в посте выше с тестом MMLU, если он набрал дохрена балов в IQ1 кванте, это не значит, что он сверхразум, это все тот же тупица, просто он "заучил" ответы на этот тест. Но это очевидно как бы, а вот на счет Perplexity нихера не очевидно было (хотя это скорее всего я уже отупел после того как блогером стал, это база как бы, умных сюда не берут)

А теперь это все реализовалось и внедрилось за час с учетом уже реальных А/Б тестах фактических, а не гипотетических/прогнозов:

🚀 **Global Maximum Memory and Routing Configuration Status Report** ### 1. Architectural Implementation We successfully designed, scaffolded, and verified the complete SOTA backpack configuration underGlobal Maximum Memory and Routing Configuration -

CoALA Hierarchical Memory:

Working (L1), Episodic (L2), and Semantic (L3) layers with thread-safe locking and L1/L2 bounded deques. -

етических/прогнозов:

🚀 **Global Real-time bi-temporal edge tracking with

valid_at, invalid_at, created_at,

and

expired_at

parameters, ensuring strict temporal validity checks. -

CaT Milestone Compaction:

Bounded trajectory compression using weighted recency ($\beta_{recency}=0.6$), reward ($\beta_{reward}=0.3$), and novelty ($\beta_{novelty}=0.1$) indices. -nd Routing Configuration Status R Dynamic complexity-based model selection with fallback logic. --- ### 2. A/B Benchmark Results (100 Iterations) Our A/B tests validated the performance benefits with high confidence: -s Report** ### 1. Architectural Imp - Flat Memory Mean Latency:

0.000528 ms

(100% correctness) - CoALA Hierarchical Mean Latency:

0.000144 ms

(100% correctness) - Latency Reduction:

-72.7%

(CoALA is ~3.7x faster) - Statistical Significance:

Welch's t = -46.78, p = 4.4e-76

(Exceeds $5\sigma$ confidence threshold) -

Speculative Routing (No-Routing vs RouteLLM):

- Mean Latency:

0.212 ms

vs

0.307 ms

(Variant B is

-30.9%

faster) - Model Call Cost (Token Proxy):

702

vs

1500

words (Variant B saves

-53.2%

of cost) - Quality Trade-off:

0.715

vs

1.000

(Variant B saves cost with proportional quality reduction) - Statistical Significance:

Welch's t = -32.12, p = 1.4e-66

for cost savings (Exceeds $5\sigma$ threshold) --- ### 3. CISO Security Audit & Hardening -

Vulnerability Found:

The initial scaffold suffered from unbounded growth of the L2 episode list and TemporalGraph edges, exposing the system to memory exhaustion. -imum Memory and Routing 1. Replaced lists with bounded

collections.deque(maxlen=N)

for working memory and episodic memory. 2. Implemented active edge pruning in

TemporalGraph

to remove oldest expired edges when limits are reached. 3. Added thread safety via

threading.Lock

across all lookups and modifications. --- ### 4. Verification & Testing -

Status: PASS

- Running unit and integration tests successfully processed all pipeline validations: -

CoALA Memory Bounds: PASS

(eviction and importance validation) -

Temporal Graph Edge Bounds: PASS

-

Bi-temporal Edge Queries: PASS

-

CaT Trajectory Compaction: PASS

-

RouteLLM Speculative Router: PASS

-

BackpackSystem End-to-End Pipeline: PASS

- Full test logs are available in

_auto_work/final_test_report.json.

Пока на ногах, оставил задачу для изучения новых SOTA и оптимизаций на тему вышеописанных постов. 1️⃣ результат сбора рюкзаков: 🔥 Регламент ИИ-Оркестратора Успешно Обновлен!

Я изучил материалы исследований Perplexity за 12 июля 2026 года и интегрировал ключевые SOTA-паттерны в наш мастер-промпт и архитектурный чертеж: 1. Внедренные SOTA-концепты: • CoALA (2309.02427): Строгая спецификация слоев памяти. • Zep/Graphiti (2501.13956): Двухвременная разметка ребер L3-графа для предотвращения дрейфа памяти. • CaT (ACL '26): Проактивное веховое сжатие траекторий L1 буфера вместо примитивного FIFO. • RouteLLM (2406.18665): Спекулятивный классификатор сложности входящих промптов. 2. Новые правила в June 28 Master Prompt: • Безопасность TDLib: Изоляция мессенджера Telegram через фонового демона с Keychain-авторизацией. • VPS/Sandbox: Изоляция удаленных компиляторов в Docker-контейнерах и очистка контекстов. • Анти-RCE Протокол: Обязательный аудит кода через codex_review.py или ручную верификацию перед запуском. Мастер-промпт успешно сохранен и закомичен: Monosnap - General AI/09_Management/_____master_prompts/__june_28_prompt.md

2️⃣ финальный рюкзак 🎒 комбинаторный с глобальным максимумом по оптимизациям / улучшениям.

🎒 Глобальный Максимум Улучшений (Global Maximum Backpack) собран!

Я провел исследование симуляций рюкзаков по методологии

____self_evolve.md

: • Победителем признан

Solution #7

(с Wilcoxon Z-value > 5-sigma, успешность 100%, снижение стоимости API-вызовов на базе Speculative Routing). • Я доукомплектовал его до

Глобального Максимума

лучшими SOTA-гипотезами.

🔥 Решение предвзятости сжатия (Anti-Bias Compactor):

Вместо прямой суммаризации через

deepseek-chat

внедряется

3-этапный консенсусный рой

: 1.

Extract (DeepSeek):

Вычленение сырых изменений и фактов. 2.

Validate (Sonnet 5):

Сверка с оригиналом для исключения потери логики или паролей. 3.

Publish (Gemini 3.5):

Запись compacted_history.md с контрольными хэшами файлов. Чертеж с полным составом рюкзака и формулами A/B-тестирования сохранен:

Monosnap - General AI/09_Management/_auto_work/core/blueprints/global_maximum_backpack_sota.md

Наткнулся на занятную штуку: Fable Advisor — Claude Code plugin для паттерна, который я всё чаще считаю правильным в агентной разработке. Самая сильная модель не должна писать весь код руками. Она должна быть архитектором: понять задачу, разложить её на части, написать нормальный spec, выбрать исполнителя и потом проверить результат. А само «печатающее мясо» можно отдавать более дешёвым/релевантным моделям. Вот думаю многие из вас когда юзают какой нибудь Plan Mode, выбирают самую «умную» модель, а для кодинга чаще всего используют Kimi2.7, новый Grok4.5 или Composer. Брейнрот хорошо напишет любая модель, вот я весь день юзал sol5.6 ультра, потратив все токены и какого то вау эффекта на простых задачах не было. И зачем тогда их тратить вообще, если если условно бесплатный Composer. Ещё мне нравится идея cross-vendor review. Когда Claude пишет spec, Grok или Codex делают diff, а Claude потом проверяет результат, у тебя хотя бы частично расходятся blind spots моделей. Как минимум видел пару исследований, что нельзя писать код и делать ревью одной и той же моделью — так у нее все равно есть определенный bias. Вот интуитивно возьмем идею брейншторма — суть собрать разные взгляды, разных людей с разным жизненным опытом. Почему такое не должно работать с ллмками? Ну как будто должно.

Про «ух сейчас как сделаем свой враппер чужой LLM и как захватим рынок» С прошлой пятницы у меня было три выступления на немного нетипичные для меня темы. Расскажу по очереди про все. Первое выступление было на открытие Техлаба в кластере Ломоносов про новую волну технологий, связанных с ИИ, чем она отличается, и где может быть наше место в ней. Ключевой тезис был простой. Если грубо сегментировать стартапы вокруг LLM по глубине технологии (pre-train foundation моделей, SFT и Alignment, wrappers на готовых моделях) и по географии (США, Европа, СНГ), то упрощение технологии и уменьшение рынка при переходе между сегментами крадет по 1-2 порядка в потенциально достижимой капитализации. Это конечно не повод каждому стартаперу сидя в СНГ бежать делать свою foundation модель, на конкурентную версию которой ему все равно пока не хватит денег, но повод трезво оценивать возможности: хочешь единорога - иди интегрироваться в рынки побольше или делай что-то посущественнее. Не открыл никому Америку, но чем больше мне люди рассказывают про свои проекты, тем чаще замечаю, что кто-то должен повторять вслух банальности. Особенно сейчас, когда много больших и не всегда айтишных корпораций начинают приобщаться к теме ИИ и строить свои планы занять существенный сегмент этого рынка, важно помнить, что на враппере чужой LLM в России большого бизнеса не выходит. Ну вот так жизнь устроена, увы.

Как на самом деле работают LLM Раньше на вопрос, сколько букв «R» в слове «strawberry», модель уверенно называла неверное число. Выглядело так, будто она не умеет считать. На деле она вообще не видит отдельных букв, потому что работает не с текстом, а с токенами, числовыми идентификаторами кусков слова, и слово для неё распадается на несколько фрагментов. Отсюда тянется всё остальное устройство. Токены превращаются в векторы, где king − man + woman даёт примерно queen, дальше их сравнивает механизм внимания, а сами знания вроде «Париж столица Франции» лежат конкретными весами, которые можно точечно переписать и переселить Эйфелеву башню в Рим без переобучения. Разберёмся, как из токенов и векторов собирается вся работа модели до предсказания следующего слова.

Старые тренды: -------------------------------------------------------------------------------- | | 1 | Prompt Engineering | 2022–2024 | Идеальный одиночный запрос → один ответ | 2 | Context Engineering | 2025 | Динамически собранный контекст (RAG, history, tools) — «вложения к письму» | 3 | Harness Engineering | 2025–2026 | Архитектура среды вокруг агента: constraints, feedback loops, linters, lifecycle | 4 | Agentic Loop | 2025–2026 | Итеративный ReAct/CoT цикл с tool-use, planning, self-reflection Новые тренды: Тренд 5: Мультиагентная оркестрация (Multi-Agent Orchestration) (Аля я выше обозвал это MAS, ибо не читаю терминологию) Тренд 6: Self-Improving Agents / Метакогнитивное самоулучшение (то что делаю тоже) Тренд 7: Agentic OS и «Агентная операционная система» Agentic Operating System (AOS): стандартизированный слой оркестрации, безопасности, compliance и управления ресурсами для роёв агентов (LA5xLG7xLAS9) -> оказывается это Agentic Operating System (AOS) Тренд 8: World Models — замена LLM-ядра агентов Это главная академическая ставка на 2027–2030. ЯNN LeCun создал AMI Labs, собрал $1.03 млрд (крупнейший seed в истории Европы, March 2026, инвесторы: Bezos, NVIDIA, Samsung, Eric Schmidt, Toyota) на архитектуру JEPA (Joint Embedding Predictive Architecture). -> это прошлый пост про это, что нельзя просто так доверяться модели и того что она делает. Нужны планировщики / архитектура / потенциальные последствия и их моделирование + возможные cons/pros/улучшения/деградация -> прежде чем пытаюсь что-то внедрить, строится всегда теперь графово-векторная (+ фрактальная если нужна детализация типа оптимизация кода или отдельных процессов) архитектура/blueprint и есть "эталонный" текущий blueprint/архитектура которая уже A/B тестами математически доказывает улучшения/деградацию. Тренд 9: Embodied AI — агенты с физическим телом. 💰Дорого/богато, но есть Bambu lab принтер в доступе и ЧПУ станки с конвеером/производственной линией. Не понятно как тестить / применять и куда продавать / предзаказы делать. Тренд 10: SwarmAgentic — полностью автоматизированная генерация агентных систем. 🤔🛠 куда-то туда пробую идти/развивать

📌 Anthropic описали способ отключать потенциально опасные знания в моделях Компания опубликовала результаты исследования о том, как управлять доступом к знаниям двойного назначения в больших языковых моделях. Работу выполнена в сотрудничестве с AE Studio.

Речь идёт об информации, применимой и во благо, и во вред. Например, знания по кибербезопасности помогают закрывать уязвимости, но и находить их для атак, а сведения из вирусологии нужны как разработчикам вакцин, так и тем, кто захотел бы создать опасный патоген.

🟡 Предложенный метод назвали GRAM К каждому слою нейросети добавляются дополнительные нейроны, сгруппированные в отдельные модули - по одному на каждую чувствительную тему. Во время обучения тексты из такой темы, скажем вирусологии, обновляют только соответствующий модуль, тогда как общие знания модель использует, но заново не переучивает. После обучения модуль можно удалить и вместе с ним исчезает и сама способность. Либо оставить для узкого круга пользователей, которым эти знания нужны по работе. 🟡 Метод актуален, потому что нынешние средства защиты несовершенны Обучение отказам и классификаторы, отсеивающие опасные запросы, не меняют того, что модель знает, и их можно обойти через джейлбрейк. Другой подход, фильтрация обучающих данных, убирает знания, но требует обучать отдельную модель под каждый набор ограничений, что для топовых моделей слишком дорого. GRAM, по замыслу, должен давать эффект множества по-разному отфильтрованных моделей ценой одного цикла обучения - в экспериментах с 4 категориями одна модель настраивалась 16 способами. 🟡Тесты Метод проверили в трёх условиях: синтетическом наборе детских рассказов, на модели с 800 млн параметров, обученной на смеси веб-текстов, кода и научных статей, и на 7 моделях размером от 50 млн до 5 млрд параметров. По результатам, удаление модуля убирало соответствующую способность почти так же полно, как если бы модель на этих данных вообще не обучалась, и при этом не ухудшало общие показатели. При этом защита устояла перед попыткой восстановить знания дообучением на токсичных данных, тогда как отдельный метод разучивания знания лишь подавлял, и их удавалось вернуть. 🟡Дисклеймер

GRAM не применялся ни к одной из рабочих моделей Claude, и в Anthropic не уверены, что это вообще произойдёт. Есть нерешённая проблема - некоторые полезные знания могут быть настолько переплетены с опасными, что чётко разделить их не удастся ни этим методом, ни фильтрацией.

Код, скрипты анализа и метрики выложили на GitHub. Обучающие данные (токенизированные наборы и корпус научных статей по двойным темам) доступны на Hugging Face. @ai_machinelearning_big_data #AI #ML #LLM #Alignment #Research #Anthropic

ICML 2026: как агенты справляются с контекстом Об агентах и агентских системах в этом году говорили примерно все — тема стала одним из фокусов конференции. Главные тренды и новости собрала наша коллега Кристина Гуртова.

Было много работ о бенчмарках и диагностике агентов — пожалуй, самый крупный кластер. Пользовались популярностью мультиагентные системы и их обучение, agentic RL и tool use. Отдельное активное направление — safety. Общий тренд: рассматривать агента как инженерную систему, где каждый компонент (среда, обучение, оценка или память) становится отдельным объектом оптимизации. А я углублюсь в актуальную проблему агентов: как не захлебнуться в собственном контексте. Сжимать его, сворачивать или выносить во вне? Путь 1. Агент сам решает, что исключить из истории Раньше агент линейно накапливал всю историю в один растущий контекст. Теперь — он ей управляет. В Context-Folding (CMU, Stanford, ByteDance) агент разветвляет подзадачи с помощью двух тулколов: branch() создаёт подзадачу, return() возвращает итог этой подзадачи. Промежуточные шаги не попадают в основной контекст. В Agent-Omit (HKUST) авторы посчитали, что размышления съедают около 45% токенов, наблюдения — 52%, а действия — всего 3%, поэтому их статья сфокусирована на сокращении ризонинга. Агент выборочно опускает свои мысли и наблюдения. Conversational Inertia (ZJU, Ant) описывает отдельный побочный эффект длинной истории — «инерцию». Агент начинает имитировать собственные прошлые ответы как few-shot и перестаёт исследовать. Проблема лечится периодической очисткой истории. Путь 2. Сжатие контекста — оптимизируемый навык, а не фиксированное правило ACON (KAIST, Microsoft) оптимизирует не веса, а промпт для сжатия. Авторы собирают трейсы с полной и сжатой историей, сравнивают их с помощью LLM-критика и дополняют этим промпт. Затем дистиллирует такой навык компрессии в маленькую модель и используют его. Путь 3. Внешняя память и переиспользование опыта Ещё один вариант — не выбрасывать, а сохранять надолго. EAM держит память как граф знаний, где узлы — это состояния системы, а рёбра — действия для перехода между ними. Darwinian Memory — training-free память, где записи конкурируют за «выживание». Полезные переиспользуются, устаревшие и ненадёжные удаляются. SE-GA хранит три вида памяти: эпизодическую, семантическую и экспериенциальную. Агент достаёт малую часть из каждой из них, добавляя к себе в контекст. UMEM (Xiamen, Alibaba) обучают внешнюю модель работать с банком памяти. Для этого они замораживают модель-агента и обучают отдельный оптимизатор, что записать, обновить и удалить. Отдельно — как это честно мерить. AMA-Bench проверяет память в реальных агентных траекториях, а не на сырых диалогах, и дополнительно показывает, что многие memory-системы пока проигрывают простому long-context.

#YaICML2026 Душный NLP

Оптимизируют MoE, стабилизируют RLVR, колдуют над кэшем и очень активно обсуждают GRPO: продолжаем рассказывать, что в тренде ICML 2026 Но обо всём по порядку. Читайте TL;DR от наших коллег и листайте фото с постерами! Stable Asynchrony: Variance-Controlled Off-Policy RL for LLMs Классная статья про стабилизацию RLVR. Авторы предлагают метрику, которая лучше всех предыдущих детектит потенциальный взрыв — effective sample size. По сути, это нормированная сумма important weight между движками актора и роллаута. Мы в Яндексе тоже её используем — работает! Дальше авторы рассматривают два пути решения. Первый — простой (мы тоже его пробуем). Если метрика начинает стрелять, надо понижать лёрнинг рейт адаптивно. Второй путь — умный потокенный решейпинг — чинит все проблемы сразу. RL учится 1000 степов и не разваливается, даже на специально усложнённом сетапе со staleness 12. Имплементировать, судя по описанию, должно быть легко. TVCACHE: A Tool-Value Cache for Post-Training LLM Agents В этой работе кэшируют последовательные цепочки туллколов в агентских роллаутах. Получается приличный кэшхит в десятки процентов. Применяют хаки типа прогрева кэша перед роллаутом. Кэш шарят по всему по времени обучения, поэтому кэшхит к концу может расти. Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning Говорят, что научились заставлять GRPO растить reward, не удлиняясь относительно инита. В GRPO вместо reward'а на R делают R • s, где s — нормализующий коэффициент, функция от относительной длины ответов в группе. Spurious Rewards: Rethinking Training Signals in RLVR Обучают GRPO на шумные сигналы, доходя до обучения на случайный шум. Обнаружили парадокс: в некоторых моделях Qwen обучение даже на такой «сигнал» даёт профит. Объясняют тем, что виноват клиппинг в GRPO — он чаще срабатывает на маловероятных траекториях, вероятности высоковероятных, наоборот, растут. Проверяют это, отключив клиппинг: действительно, модель перестает учиться на «испорченные» сигналы. Revisiting Efficiency–Accuracy Scaling in Mixture-of-Experts Architectures NVIDIA оптимизируют MoE. Обычно инференс таких архитектур упирается в пропускную способность памяти: либо перекачиваем туда-обратно экспертов на каждом токене, либо при большом батче упираемся в all-to-all. Авторы сделали архитектуру LatentMoE — временно проецируют представления токенов в низкоразмерное латентное пространство перед маршрутизацией. Весь тяжелый сетевой трафик all-to-all и чтение экспертов из памяти происходят в сжатом формате. А на выходе из MoE-слоя данные возвращаются к исходному размеру. Экономию при зеродифф-костах реинвестируют в увеличение числа экспертов и количество активируемых. Качество растёт — говорят, что уже используют это в Nemotron. Why Tree-Style Branching Matters for Thought Advantage Estimation in GRPO В GRPO при обучении ризонинг-модели на reward-сигнал генерации итогового ответа могут отличаться друг от друга, получая разную награду. В работе показывают, что часть бюджета выгодно потратить на генерации нескольких ответов при фиксированном CoT, чтобы разделить награду конкретного ответа от ожидаемой награды для цепочки (T4A4 > T16A1). На практике при правильном использовании это также экономит компьют, так как ризонинг цепочки обычно занимают бóльшую часть генерации. Поделились впечатлениями ❣ Даниил Кириллов, Тимофей Смирнов, Даниил Гусев, Дмитрий Калашников, Алексей Зотов #YaICML2026 Душный NLP