In the first episode of Beyond the Leaderboard, three Orbit Wars competitors weigh scale against clever engineering: • Isaiah Pressman (https://www.linkedin.com/in/isaiah-pressman-b4b431221/) previously finished 2nd in a competition on his home PC, behind a team running 8 H100s. This time, he won on a cluster, betting that reinforcement learning almost always improves with more compute. • Simon Jégou (https://www.linkedin.com/in/simon-jegou/) competed with about an eighth of the winner's compute. He tried three approaches before landing on his 2nd-place solution. • Gerardo Nahuel Del Toro (https://www.linkedin.com/in/gerardo-del-toro/) reached the top 2% on a single GPU and says massive hardware brings its own problems. Kaggle's Addison Howard hosts the full episode here: https://youtu.be/udrXyYygddo #kaggle

📌 Perplexity научила модель быть учителем самой себе ИИ-поисковик предложил метод обучения под названием JOLT, в котором одна и та же модель выступает сразу учеником и учителем, причём обе роли учатся одновременно. При обучении с подкреплением модель получает награду только за итог попытки, и по ней не понять, какие именно шаги привели к успеху. На длинных агентных задачах, где попытки редко удаются, такого сигнала мало. Обходят это дистилляцией, когда модель посильнее оценивает каждый токен ученика и подсказки становятся плотнее.

Но умение решать задачу и умение её объяснить не одно и то же. Сильный учитель легко уходит туда, куда ученик за ним не дотянется, и подсказки пропадают впустую.

В JOLT учитель видит проверенный ответ, разобранное решение или отчёт о прошлых попытках, а ученик работает вслепую. Обе роли живут в одной модели и обновляют общие веса. Ученик тянется к подсказкам учителя, а учитель получает задачу подстроиться под ученика, т. е. давать такие подсказки, которые двигают его в ту же сторону, куда двигало бы обычное обучение с подкреплением на его собственной награде.

У метода есть второй вариант, JOLT+. В нём ученик получает и подсказки учителя, и обычную награду за итог своей попытки, то есть плотный и разреженный сигналы складываются.

🟡 Тесты Метод проверяли на небольших моделях DeepSeek и Qwen, от 0,6 до 30 млрд параметров. Задачи брали разные, от школьной математики и олимпиадных задач до генерации кода, работы с приложениями и команд в терминале. Сравнивали с GRPO и двумя методами дистилляции. JOLT+ везде показал лучший средний результат, обойдя GRPO на 4,2 процентных пункта на наборе MATH, на 3,0 на LiveCodeBench и на 9,9 на AppWorld. На MATH при равной точности JOLT потратил в 6,5 раза меньше обработанных токенов обучения и примерно в 13 раз меньше сгенерированных. Без награды ученика метод работает хуже. На AppWorld чистый JOLT отстал и от GRPO, и от конкурирующей дистилляции, а на Terminal-Bench уступил GRPO. Perplexity обещает открыть код позже, пока есть только статья с описанием метода. @ai_machinelearning_big_data #AI #ML #LLM #Research #RL #Perplexity

Стартап Eka Robotics привлек внушительные $150 млн на масштабирование своей технологической платформы для робототехники 🤖 🤍Инженеры компании разрабатывают специальную модель vision-force-action, или VFA. Ее главная задача — научить роботов базовой интуиции физики через масштабное обучение с подкреплением в реальном мире. 🤍Вместо жестких алгоритмов и слепого следования скриптам система пытается сформировать у машины понимание того, как взаимодействуют объекты, с какой силой нужно воздействовать на предметы и как предсказывать реакцию среды. 🤍Пока это инвестиции в развитие фундаментальной технологии, которой еще предстоит доказать свою эффективность за пределами лабораторных стендов. Но сама попытка обучить роботов «чувствовать» физику — это как раз тот шаг, который отделяет красивые демо от реальной автономности. 🤍Подробнее — в источнике. ————————— 🤖Подписывайтесь на лучший канал PRO Роботов 📲Мы в MAX

Eka привлекла 150 миллионов долларов на AI для ловких роботов Стартап Eka Robotics разрабатывает AI и роботизированный захват, который умеет быстро брать разные предметы. Например, он может аккуратно поднимать малину, не раздавливая её. Модель объединяет зрение, ощущение силы контакта и управление движениями. Это помогает роботу подстраиваться, когда предмет скользит или меняет положение. Навыки он осваивает в физических симуляциях с помощью обучения с подкреплением — через множество попыток и обратную связь за результат. По данным Eka, робот способен поднимать 1500 предметов весом до килограмма в час, успешно справляясь более чем в 95% случаев. Сейчас компания проводит промышленные пилоты с перекладыванием предметов и работой с проводами. В недавнем раунде Eka Robotics оценили в 1.45 миллиарда долларов. https://techcrunch.com/2026/10/20/eka-is-worth-1-45-billion-thanks-to-a-physical-ai-model-that-has-experts-raving/

Создатель AlphaGo, экс-DeepMind говорит, что через 3 года у нас будет сверх интеллект Дэвид Сильвер - создатель AlphaGo, человек, который первым показал, что нейросети способны превзойти людей. Он ушёл из Google DeepMind в январе этого года и основал компанию Ineffable Labs вместе с Лассе Эспехольтом. Он впервые рассказывает о том, чем они занимаются, а именно создают superlerner - систему, которая добывает знание не из интернета, а из собственного опыта. Стартует с нуля, без претрейна на интернет-данных, а в итоге превосходит человеческие знания. Эту систему можно поместить в любой поток опыта, симулированный или физический, и она будет учиться. Сильвер считает, что учиться на человеческих данных - это быстрый, но тупиковый путь. Он помогает на старте, но не даёт пойти дальше человека. Чтобы вырваться вперёд, систему нужно лишить этой подсказки и дать ей учиться самой. Он говорит, что AlphaGo создавали 2 года с участием человека, а когда вывели правильную формулу AlphaZero, то обучали её вообще без человека, и та обошла AlphaGo за несколько часов. Сильвер считает, что контролировать ИИ-агентов через то, что они говорят, больше не работает, они учатся говорить одно, а делать другое. Поэтому в Ineffable думают о другом подходе: пусть суперинтеллекты следят за суперинтеллектами, а заодно выстраивают саму науку о том, как таким системам мирно уживаться друг с другом. При этом в компании хотят разгоняться в симуляции, но в реальном мире действовать осторожно: выходить из симуляции только тогда, когда есть доказательства, что это безопасно.

Исследователи из ETH Zurich научили серийную роботизированную кисть WUJI ходить на пальцах, вставать после падений и нажимать клавиши. У неё 20 приводимых суставов, Raspberry Pi Zero 2 W, аккумулятор и инерциальный датчик, а вся конструкция весит 818 г. Вместо готовой походки алгоритм сам решает, какой палец переставить, пока остальные удерживают вес устройства. Систему обучали с подкреплением в Nvidia Isaac Lab, причём строение человеческой кисти только усложнило задачу. Пальцы отличаются по длине, большой палец противопоставлен остальным, поэтому при каждом шаге часть пальцев движется, а остальные держат конструкцию. После обучения кисть смогла передвигаться по 14 типам поверхностей, включая дерево, плитку, асфальт, бетон, металлическую решётку, искусственную траву, газон и гравий, со средней скоростью 9,3 см/с. После падения робот самостоятельно поднимался в 21 из 25 случаев. На клавиатуре он правильно выполнил 29 из 32 команд со стрелками и с их помощью управлял Sokoban, а в другом эксперименте толкал небольшой кубик в нужную сторону. Авторы считают, что такая кисть сможет временно отсоединяться от роботизированной руки и добираться туда, куда целая рука попасть не может.

🤖В Китае открыли детский сад для роботов и там им разрешают шалить. В районе Шицзиншань заработала необычная площадка, созданная Tashan Technology совместно с командой пионера обучения с подкреплением и лауреата премии Тьюринга Ричарда Саттона. Идея интересная: вместо того чтобы бесконечно обучать роботов на человеческих демонстрациях, телеуправлении и motion capture, им дают возможность самостоятельно изучать физический мир через прикосновения, пробы и ошибки.🤩 Врезался в стену — получил новый опыт. Попробовал снова — скорректировал движение. Здесь ошибка сама становится обучающими данными. Небольшой паукообразный робот, например, научился двигаться вперёд примерно за 40 минут, не имея предварительных знаний.🎰 Но есть нюанс. Такой подход требует железа, способного пережить тысячи ошибок. Для гуманоидов всё ещё сложнее: баланс, энергопотребление, температура, падения и огромное число степеней свободы. Поэтому телеуправление, симуляции и имитация пока никуда не денутся. Но если роботы должны выйти из лабораторий и продолжать учиться уже в реальном мире, одного заранее собранного датасета им действительно может быть мало. Получается почти как с детьми: сначала учимся на чужом примере, а потом всё равно приходится набивать собственные шишки 🤖 Источник: Global Times ————————— ✔️Подписывайтесь на лучший  канал PRO Роботов 🥲Мы в Max

Пока ходил искал алгоритмы которые в студию завести полезно собрал список *Zero алгоритмов Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm https://arxiv.org/abs/1712.01815 https://www.alphaxiv.org/ru/abs/1712.01815 Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model https://arxiv.org/abs/1911.08265 https://www.alphaxiv.org/ru/abs/1911.08265 Online and Offline Reinforcement Learning by Planning with a Learned Model https://arxiv.org/abs/2104.06294 https://www.alphaxiv.org/ru/abs/2104.06294 Learning and Planning in Complex Action Spaces https://arxiv.org/abs/2104.06303 https://www.alphaxiv.org/ru/abs/2104.06303 Mastering Atari Games with Limited Data https://arxiv.org/abs/2111.00210 https://www.alphaxiv.org/ru/abs/2111.00210 EfficientZero V2: Mastering Discrete and Continuous Control with Limited Data https://arxiv.org/abs/2403.00564 https://www.alphaxiv.org/ru/abs/2403.00564 ReZero: Boosting MCTS-based Algorithms by Backward-view and Entire-buffer Reanalyze https://arxiv.org/abs/2404.16364 https://www.alphaxiv.org/ru/abs/2404.16364 UniZero: Generalized and Efficient Planning with Scalable Latent World Models https://arxiv.org/abs/2406.10667 https://www.alphaxiv.org/ru/abs/2406.10667 One Model for All Tasks: Leveraging Efficient World Models in Multi-Task Planning https://arxiv.org/abs/2509.07945 https://www.alphaxiv.org/ru/abs/2509.07945 Object-Centric World Models Meet Monte Carlo Tree Search https://arxiv.org/abs/2601.06604 https://www.alphaxiv.org/ru/abs/2601.06604 PriorZero: Bridging Language Priors and World Models for Decision Making https://arxiv.org/abs/2605.12289 https://www.alphaxiv.org/ru/abs/2605.12289 Ну и либа в которой большая часть из них сделана и ребята новые алгоритмы создают время от времени: https://github.com/opendilab/LightZero

Подборка об RL и ризонинге Рассказываем об улучшении RL для сложных задач, оптимизация в RLVR одной строкой кода (!) и обучении компактной модели для дипресёрча. Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes При обучении RL на сложных задачах есть две основные проблемы: 1. Большинство роллаутов — wrong, поэтому положительные примеры для основной части задач не появляются. 2. Сложно дообучать модель, когда так мало положительного сигнала. Улучшение происходит скорее за счёт роста общей «умности» модели на более простых тасках. Авторы предлагают метод Prefix-RL, который как раз направлен на решение сложных задач: 🔴Для них семплируются ответы, и из всех семплов выбирается правильный ответ. 🔴Собираются prefixed problems: промпт + префиксы правильного ответа. 🔴На обучении модель видит исходную задачу и набор prefixed problems и учится продолжать хорошую цепочку. Получается метод, который консистентен с on-policy RL, обладает высоким sample efficiency и может ускорять self-improvement. По замерам авторов, Prefix-RL в сравнении с mid-training SFT + GRPO прокрашивает AIME 2025 больше чем на 12 пунктов при том же компьюте на обучении. Проводят аблейшен на Llama, добавляя в prefixed problems генерации Qwen. Это даёт около +5% при том же компьюте относительно Prefix-RL на prefixed problems инит-модели. Получается что-то похожее на эффективную дистилляцию во время RL. Back-generalization — один из важных выводов статьи. Обучение на цепочках с префиксами улучшает решение задач без них, то есть модель при обучении не попадает в зависимость от подсказок. При этом back-generalization позволяет модели писать начало ответа не той стратегией, что была в префиксах на обучении. Хотя автор сказал, что в агентском обучении аналогичный метод они не пробовали, он хорошо обобщается на агентский сетап: в роли префикса выступает часть траектории. Maximum Likelihood Reinforcement Learning Кликбейт: поменяйте строчку в расчёте advantage, замените std в нормировке на mean в своём RLVR — и всё полетит. Проблема в целом стандартная: GRPO учит модель максимизировать среднюю награду (pass@1), а не вероятность успеха. Из-за этого он «залипает» на лёгких задачах и почти не учится на сложных. В RLVR средний reward — это аппроксимация вероятности правильного ответа (так как награда 0/1). Предлагают взять log p (логарифм вероятности правильного ответа) и разложить его в ряд Маклорена по pass@k — вероятности получить «хотя бы один верный из k независимых семплов». Получается бесконечная сумма вкладов от одной, двух, трёх попыток и так далее с весами 1/k. MaxRL берёт усечение этого ряда до вычислительного бюджета g, то есть размера группы в GRPO. Чем больше семплов N на инференсе, тем выше truncation T ряда и тем ближе к точному ML. Если на пальцах, метод даёт меньше внимания группам, где решаемость уже высокая, и больше смотрит на сложные. MaxRL даёт до 20× прирост эффективности test-time scaling относительно GRPO, Pareto-доминирование по pass@1 и pass@k и лучше масштабируется с данными и вычислениям. Попробовать метод можно дёшево: если уже есть RLVR, достаточно поменять одну строчку в расчёте advantage. Но работ, которые пытаются решить эту проблему, много, и пока непонятно, какая идея окажется лучшей. DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research Популярный постер на конференции. Ребята смогли получить лёгкую модель дипресёрча с крутым качеством за счёт генерации и обновления рубрик. Изначально при обучении модели давали небольшое количество хорошо написанных рубрик. После каждой итерации обучения смотрели на изменения в ответах, для них генерировали дополнительные рубрики и джаджем оценивали их качество. При этом генерация рубрик и оценка тоже выполнялись лёгкой моделью. За счёт этого цикла получилось обучить модель собирать больше полезной информации и не галлюцинировать. В итоге сделали лёгкую модель (8B), которая по качеству сравнима с топовыми моделями дипресёрча. Увидели интересное ❣ Даниил Кириллов, Тимофей Смирнов, Иван Дёгтев #YaICML2026 Душный NLP

Как агенты и люди работают с документами, в которых нужно найти ответ на вопрос? Выясняют на ICLR 2026 Продолжаем делиться работами с конференции. А о том, что мы сами привезли на ICML, читайте в канале ML Underhood. Strategic Navigation or Stochastic Search? How Agents and Humans Reason Over Document Collections Авторы задали людям и агентам 2250 вопросов, ответы на которые спрятаны внутри 800 разных PDF и документов. В ходе нового теста MADQA записывали не только финальный ответ, но и весь путь поиска. В результате: • Лучшие агенты уже догнали людей по точности (около 82%), но берут грубой силой, а не умом. • Человек находит ответ с первой попытки в 50% случаев, лучший агент (Gemini 3 Pro) — только в 12%. • Агенты не умеют останавливаться: если задача не по зубам, крутятся по кругу и жгут ресурсы. • Увеличение объёма вычислений не спасает. Один агент потратил 270 млн токенов и 850 долларов, но проиграл более дешёвому и аккуратному. • Около 20% вопросов не осилил никто: ни люди, ни агенты. Новизна работы в том, что в обычных тестах оценивают только корректность ответа. Здесь впервые измеряли, насколько эффективно система к нему пришла, считая каждый шаг поиска. RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments В этой работе предлагают обучаться на верифицируемых средах, сложность которых растёт динамически. Авторы собрали RLVE-Gym из 400 verifiable-задачек. Когда модель начинает хорошо справляться с текущими задачами, уровень их сложности растёт. Получается своего рода curriculum, который не только ускоряет сходимость, но и бустит общее качество. Position: RL Researchers Need to Distinguish Between Solving Simulators and Using Simulators as a Proxy Ресёрчеры из Университета Альберты неожиданно выдают базу в position-статье: оказывается, что если геймить среду, то агент будет плохо работать в онлайне 🤷‍♂️ Нашёл для вас эти статьи ❣ Андрей Соколов #YaICML2026 Душный NLP