начал делать локальную студию для RLя (потому что все должны рлить) там добавлены сейчас 88 енвов, ерализованы многие популярные алгоритмы также алгоритмов добавлена память на LSTM/GRU есть селф-плей alphazero с несколькими средами есть возможность запускать несколько параллельных сред для одного эксперимента https://github.com/researchim-ai/reinforcement-studio пока что просто показываю. где-нибудь в конце этой недели или на следующей мб будет билд уже под linux/windows, чтобы можно было с кайфом потыкать в общем-то оно и сейчас работает вроде бы но надо потестить еще + некоторые фичи допиливаются вообще эта штука делается как ответвление моделек дома https://github.com/researchim-ai/models-at-home чисто под rl модельки дома тоже потихонечку переезжаются на свою прилу https://github.com/researchim-ai/models-at-home-studio я туда хотел запихнуть страницу с "маленьким рлем". но как будто тут отдельная штука нужна была ну и я решил делать

Еще немного интересных наблюдений из RL для MoE. В нем есть одна проблема, которая делает обучение гораздо более склонным к нестабильностям. В любом современном RL есть train-inference mismatch, обычно вызванный двумя вещами: 1) из-за асинхронности инференс отстает от трейнера и 2) из-за разной имплементации кернелов/разного железа/неассоциативности сложения (у одной версии dense чекпоинта pi_train(tok) / pi_inference(tok) отличается обычно в четвертом знаке). Однако, в MoE появляется еще один очень неприятный источник такого расхождения: routed experts. Проблема в том, что во время инференса могут активироваться одни эксперты, а во время forward_pass на стороне трейнера – другие, и незначительное изменение в скорах роутера (но достаточное для того, чтобы topK изменился) могут значительно изменить итоговый результат. Основные решения такие: - Просто фризим роутер и уменьшаем асинк ⇒ роутер реже пересекает границу, при которой меняется topK - R2/R3, они же Routing Replays: сохраняем экспертов, активируемых версией модели для инференса и форсируем forward pass через них в трейнере. В статье https://arxiv.org/abs/2512.01374 можно почитать про разницу R2 vs R3 и всякие доп детали. Но проблема в том, что экспертов-то мы форсируем, но скоры роутера меняются, и это может быть проблемой (можно порассуждать на тему, что будет, если инференс версия дала i-ому эксперту высокий скор, а трейнер – низкий) И на самом деле у всех результаты смешанные: у кого-то работает одно, у других – другое. Вчера прочитал https://kiddyboots216.github.io/mismatch/#conclusion-router-replay и увидел еще один способ: Total Router Recall – сохраняем не только экспертов, но и их скоры, а в трейнере фризим роутер. Интересно, что можно предложить способ, при котором мы будем роутер учить, используя скоры и экспертов с инференса, правда работать это будет плохо. В общем, для всех интересующихся RL-ем рекомендую полистать блогпост, там много чего интересно помимо реплеев

Самые «классные» бизнес идеи текущего года. Ну типа «норм темки» попробовать с небольшими комментариями: - вертикальные всякие rl envs, verifiers, прочая муть для упрощения rl. Тут важно перед тем как делать убедиться что есть контакты в лабах, чтобы продавать им это все. В остальном хороший бизнес на оценку 50-100м. Выкупается большими компаниям и лабами часто. - инфра для роботов, мало шарю, но вроде заезжает норм, говорю про софт. Логика такая же как и в прошлом пункте. Желательно делать со знанием заказчика. - тяжелые оптимизации на уровне data centers etc. Всякие очень узко заточенные вещи для инференса или тренировки моделей (там где каждый прогон стоит миллионы). Например вы знаете как сделать хорошо тренировку определенной архитектуры или обеспечить более высокий mfu. - pure research ну потому что даже если вы нихрена не сделаете толком, вас купят как команду. Весь смысл собрать норм состав. Остальное не так важно. Ставка на неолабы у фондов популярна. Потому что возвраты денег почти гарантированы. - application layer. Но тут важно понимать что актуально скорее не бизнес часть, а UX часть. У лабов и больших компаний есть потребность в реализации определенных фичей (смотрим покупки OpenAI) Практически все это тяжело валидируется без глубоких доменных знаний. Абсолютно не актуально вне определенных географий и без таланта на борту. Такие дела.

Фазовый переход в использовании памяти: что это открытие значит для AI-разработчиков? 🟪 Вы когда-нибудь замечали, что в одних задачах LSTM или Transformer с памятью работают идеально, а в других – только жгут ресурсы без улучшения качества? Оказывается, выбор между «хранить историю» и «действовать по текущему моменту» – это не плавная настройка, а настоящий фазовый переход первого рода (как таяние льда). И его можно предсказать аналитически. 🪨 Новая статья в Physical Review Letters (плюс 19 страниц матана в Supplemental) даёт чёткие критерии, когда память выгодна, когда нет, а когда возможен гистерезис. Гистерезис – это когда состояние системы зависит не только от текущих параметров, но и от того, как вы к ним пришли (от истории изменения). Модель в двух словах. Попытался 📦 всю жесть из материала сублимировать 😐, вышло, как вышло. Не обессудьте. Итак... Есть скрытое состояние x(t) – например, концентрация питательного вещества. Вы получаете зашумлённое наблюдение: y(t) = x(t) + шум. У вас есть внутренняя переменная z(t) – память, которая эволюционирует по закону: z = v(t) + шум памяти, где v(t) – это управление: вы сами решаете, как менять память. За использование управления вы платите штраф Mv^2, прям как кинетическая энергия, чем больше вы «дёргаете» память, тем дороже. Одновременно вы хотите минимизировать ошибку оценки E[(x - x') ^2] с весом Q. Итоговая функция потерь: J = Q×ошибка + M×затраты на управление. Задача – выбрать стратегию v(y,z), которая минимизирует J в стационарном режиме. В машинном обучении мы часто добавляем L2-регуляризацию: loss = ошибка + lambda*|w|^2. При увеличении lambda веса плавно стремятся к нулю. Здесь параметр M играет роль lambda: чем больше M, тем дороже использовать память, и казалось бы, при больших M коэффициент при памяти должен плавно уменьшаться до нуля. Но здесь есть две связанные переменные (текущее наблюдение и как память на себя же влияет), которые влияют на поведение системы и друг на друга. Они не независимы. Оптимизация потерь J по этим двум переменным приводит к тому, что на их плоскости, могут существовать два локальных минимума – с памятью и без. Между ними – горный хребет (седловая точка). Когда параметры (например, M) меняются, один из минимумов может исчезнуть или стать глобальным. В момент исчезновения система скачком перескакивает из одной ямы в другую – это и есть фазовый переход. Суть открытия на пальцах. Представьте агента, который наблюдает за шумным сигналом и может хранить внутреннее состояние z. Обновление z стоит ресурсов (штраф M). Задача – минимизировать ошибку оценки при ограниченном бюджете. Авторы доказали: · Существуют два порога Thet_Q и Theta_M: · Если Theta_Q < 1 — память точно бесполезна (даже локально). · Если Theta_M >=1 — память всегда выгодна (глобальный оптимум). · Между ними – бистабильность: обе стратегии локально оптимальны, выбор зависит от истории (гистерезис). А теперь разбираем, что из этого можно вынести для AI. 🥴 1. Оптимизация архитектур с памятью (LSTM, Transformer, RNN) Современные модели с памятью, например, трансформеры с окном внимания или LSTM, всегда используют память, даже когда она не нужна. Результаты подсказывают: · При высоком шуме в данных память становится бесполезной – лучше полагаться только на текущий вход. Это объясняет, почему в некоторых задачах обрезка контекста (например, короткое окно внимания) не ухудшает качество. · При быстро меняющейся среде прошлая информация устаревает – нужно динамически уменьшать размер буфера или использовать забывание, как в LSTM, но с адаптивным коэффициентом. 2. Регуляризация и штраф за сложность в RL. В RL агент часто хранит внутреннее состояние например, в PPO. Штраф Mv^2 в статье – аналог штрафа за изменение скрытого состояния. Это можно использовать: · Как регуляризатор в функциях потерь, чтобы поощрять агента использовать память только когда это действительно выгодно. · Аналитические пороги Theta_Q,Theta_M помогают автоматически подбирать коэффициент регуляризации M без дорогой сетки гиперпараметров – просто по статистике шумов среды. Это особенно полезно в Meta-RL, где среда меняется между эпизодами. 3. Continuous Learning и катастрофическое забывание. В задачах continual learning модели должны сохранять знания о прошлых задачах, но обновление памяти (весов) стоит ресурсов. Аналогия: · Параметр M – штраф за изменение весов. · Фазовый переход означает, что при превышении порога штрафа модель перестаёт обновлять веса вообще – т.е. замораживает их. Это даёт критерий, когда лучше полностью остановить обучение (если среда не меняется) или, наоборот, разморозить (если волатильность растёт). На практике это позволяет строить адаптивные стратегии обновления – не тратить ресурсы на веса, которые не нужны. Вот такое интересное исследование. Читайте полную версию, применяйте открытие, и stay tuned 🦾

Как научить рекомендательную систему думать не о следующем лайке, а обо всей сессии? В классических рекомендациях модель обычно оптимизирует ближайший сигнал: клик, лайк, дослушивание. Но каждое действие меняет состояние пользователя. Хорошая рекомендация сейчас может привести к плохому продолжению сессии — и наоборот. AI VK Research попробовали решить эту задачу через Reinforcement Learning. Рекомендации формулируются как RL-задача: пользователь — environment, модель — agent, рекомендация — action, а реакции пользователя становятся reward. Главная сложность — обучаться приходится на логах старой модели. Авторы используют REINFORCE с многошаговой off-policy коррекцией, чтобы учесть разницу между поведением старой и новой политики и при этом не получить взрыв дисперсии. В экспериментах подход улучшил оценку долгосрочной сессионной награды без существенной потери стандартных метрик рекомендаций. Источник: https://habr.com/ru/companies/vk/articles/1068050/ #AI #Recsys #MachineLearning #RL

The RE-GoT (Reward Evolution with Graph-of-Thoughts) - или опять все переписывать / эволюционировать. +1 уровень абстракции... - next step, пока в других чатах крутятся задачи... Начал моделировать дальше и проверять прогнозирование / моделирование наперед и получил "Rust MCTS(Monte Carlo Tree Search) Nodes (84,203)" -> уровень фрактальной рекурсии 5, когда проходят разные гипотезы от изначальной задачи с помощью ее декомпозиции и деревьер решений/возможности. Внезапна продумать на 5 шагов "вниз"/"вглубь" - это уже 84k+ узлов которые надо обрабатывать. /***/ Количество узлов-гипотез в памяти. Это число симулированных вариантов развития событий. Благодаря хранению в Rust (Lock-Free Arena Allocator), Питону не нужно держать 84к объектов в RAM, что предотвращает утечки памяти (Memory Leaks) и зависание Garbage Collector'а. /***/ Описание про Re-GOT: *** The RE-GoT (Reward Evolution with Graph-of-Thoughts) framework is an advanced bi-level artificial intelligence architecture designed to optimize reinforcement learning (RL) tasks by combining graph-based reasoning with visual validation. Instead of relying on manual, human-crafted reward functions, RE-GoT lets large language models (LLMs) and visual language models (VLMs) autonomously build, evaluate, and refine task rewards. *** Красивая картинка в комментах откуда взял: paper'ы 2509.16136v2 + 2509.16136 из arxiv org

Подборка об RL и ризонинге Рассказываем об улучшении RL для сложных задач, оптимизация в RLVR одной строкой кода (!) и обучении компактной модели для дипресёрча. Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes При обучении RL на сложных задачах есть две основные проблемы: 1. Большинство роллаутов — wrong, поэтому положительные примеры для основной части задач не появляются. 2. Сложно дообучать модель, когда так мало положительного сигнала. Улучшение происходит скорее за счёт роста общей «умности» модели на более простых тасках. Авторы предлагают метод Prefix-RL, который как раз направлен на решение сложных задач: 🔴Для них семплируются ответы, и из всех семплов выбирается правильный ответ. 🔴Собираются prefixed problems: промпт + префиксы правильного ответа. 🔴На обучении модель видит исходную задачу и набор prefixed problems и учится продолжать хорошую цепочку. Получается метод, который консистентен с on-policy RL, обладает высоким sample efficiency и может ускорять self-improvement. По замерам авторов, Prefix-RL в сравнении с mid-training SFT + GRPO прокрашивает AIME 2025 больше чем на 12 пунктов при том же компьюте на обучении. Проводят аблейшен на Llama, добавляя в prefixed problems генерации Qwen. Это даёт около +5% при том же компьюте относительно Prefix-RL на prefixed problems инит-модели. Получается что-то похожее на эффективную дистилляцию во время RL. Back-generalization — один из важных выводов статьи. Обучение на цепочках с префиксами улучшает решение задач без них, то есть модель при обучении не попадает в зависимость от подсказок. При этом back-generalization позволяет модели писать начало ответа не той стратегией, что была в префиксах на обучении. Хотя автор сказал, что в агентском обучении аналогичный метод они не пробовали, он хорошо обобщается на агентский сетап: в роли префикса выступает часть траектории. Maximum Likelihood Reinforcement Learning Кликбейт: поменяйте строчку в расчёте advantage, замените std в нормировке на mean в своём RLVR — и всё полетит. Проблема в целом стандартная: GRPO учит модель максимизировать среднюю награду (pass@1), а не вероятность успеха. Из-за этого он «залипает» на лёгких задачах и почти не учится на сложных. В RLVR средний reward — это аппроксимация вероятности правильного ответа (так как награда 0/1). Предлагают взять log p (логарифм вероятности правильного ответа) и разложить его в ряд Маклорена по pass@k — вероятности получить «хотя бы один верный из k независимых семплов». Получается бесконечная сумма вкладов от одной, двух, трёх попыток и так далее с весами 1/k. MaxRL берёт усечение этого ряда до вычислительного бюджета g, то есть размера группы в GRPO. Чем больше семплов N на инференсе, тем выше truncation T ряда и тем ближе к точному ML. Если на пальцах, метод даёт меньше внимания группам, где решаемость уже высокая, и больше смотрит на сложные. MaxRL даёт до 20× прирост эффективности test-time scaling относительно GRPO, Pareto-доминирование по pass@1 и pass@k и лучше масштабируется с данными и вычислениям. Попробовать метод можно дёшево: если уже есть RLVR, достаточно поменять одну строчку в расчёте advantage. Но работ, которые пытаются решить эту проблему, много, и пока непонятно, какая идея окажется лучшей. DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research Популярный постер на конференции. Ребята смогли получить лёгкую модель дипресёрча с крутым качеством за счёт генерации и обновления рубрик. Изначально при обучении модели давали небольшое количество хорошо написанных рубрик. После каждой итерации обучения смотрели на изменения в ответах, для них генерировали дополнительные рубрики и джаджем оценивали их качество. При этом генерация рубрик и оценка тоже выполнялись лёгкой моделью. За счёт этого цикла получилось обучить модель собирать больше полезной информации и не галлюцинировать. В итоге сделали лёгкую модель (8B), которая по качеству сравнима с топовыми моделями дипресёрча. Увидели интересное ❣ Даниил Кириллов, Тимофей Смирнов, Иван Дёгтев #YaICML2026 Душный NLP

В комментах возникло любопытное соображение. А что если мы возьмём чужую модель и будем при помощи неё генерировать верифицируемые задачи для написания кода. Оставим сейчас за скобками вопрос о том, как именно сделать сгенерированные задачи верифицируемые (это не очень просто), но, допустим, мы сделали такой пайплайн. То есть: 1. Генерируем чужой моделью задачки, ответ на которые можно проверить автоматически 2. Обучаемся на этих задачках, используя RL 3. PROFIT! Теоретически при таком подходе «ученик» может даже превзойти «учителя». Как по мне — такой подход это «каша из топора», ЕВПОЧЯ. Ну то есть чужая модель вам тут в целом не нужна — вы можете воспользоваться предыдущей версией своей собственной модели. Резонный контраргумент: допустим, наш способ генерации синтетики такой, что нам нужна очень «умная» модель. Если так, у этого будет одно не очень приятное последствие. Это будет значить, что вы не сможете при генерации заданий использовать достаточно большую температуру генерации, в итоге у вас получится датасет, который будет при его использовании способствовать коллапсу внутренних представлений «ученика» (ну и наследовать предубеждения вы тоже будете, скорее всего)

Qwen-AgentWorld новая world models с 🛍 Команда Qwen выпустила не просто очередную LLM, а world models 😎 (точнее Language World Model) - по сути это модель, которая симулирует последствия действий агентов в 7 доменах: терминал, веб, Android, OS, SWE, поиск, MCP😜 Модель уже доступна с контекстом до 262K токенов. В чём суть? Обычные агенты решают, что делать в среде, в RL это зовётся политикой (policy), а Qwen-AgentWorld же предсказывает, что произойдёт после действия. Это как симулятор "реальности" в голове ИИ, позволяющий планировать без постоянных обращений к реальной среде. Крч становится доступна "осмысленная" многоходовочка. 🧠 Ключевые факты из статьи: 🤍 Архитектура: уже знакомая 35B параметров, активируется только 3B за счёт MoE - 256 экспертов, 8 активных. Гибрид из Gated DeltaNet 75% слоёв для скорости и Gated Attention 25%, для точности. 📚 Обучение: >10 млн реальных траекторий из 7 доменов + 3-этапный пайплайн: - CPT – закладка знаний о динамике сред - SFT – активация рассуждений для next-state prediction. - RL (GSPO) – оттачивание точности с гибридной наградой рубрики + правила. Помните рубрики обсуждали тут. 🏆 Бенчмаркинг AgentWorldBench: результаты на уровне GPT‑5.4 и Claude Opus 4.8, а 35B-версия превосходит более крупные модели. 🤙 Где применять? 1. Симулятор для RL – ожидаемо, можно обучать агентов в тысячах виртуальных сред без развёртывания инфраструктуры. 2. Горячий старт ака warm‑up для агентных моделей, что улучшает результаты на 7ми downstream‑задачах. Это не просто LLM – это шаг к ИИ, который понимает мир через причинно-следственные связи. Следующий шаг - это VLA с алиэкспресс 👍