#обзор_статьи Давно здесь не было обзоров статей. Но несмотря на вайбкодинг я не разучился читать. Сегодня у нас впервые за долгое время заявка на смену парадигмы в генеративном DL! # Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation https://explorative-modeling.github.io/ Авторы предлагают учить генеративные модели другим лоссом который имеет теоретические основания и одновременно улучшает эффективность использования компьюта, качество и скейлинг с параметрами. Ключевая идея: мы учим генеративные модели одним образом, а инферим их совсем иначе. Например, авторегрессионные модели генерируют один токен за раз, но при инференсе мы требуем от них тысяч токенов на выходе. Диффузионные модели в трейне денойзят один шаг, а при инференсе должны делать готовую картинку. При этом, например, у диффузионной модели часто нет возможности по вектору шума понять в какую именно сторону его надо денойзить, но мы её штрафуем как будто это однозначно определено. Так сложилось потому что генеративные модели пытаются учить мультимодальные распределения. Условно где много гауссиан намешано: в одной части латентного пространства собаки, а в другой кошки и надо научиться генерировать фото обоих. Если пытаться генерировать за один шаг, то модель не может сделать ничего лучше, чем выдать нечто среднее. Пошаговая генерация это хак, который позволяет семплировать не из p(данные), а из p(данные|мы уже начали генерировать собаку), и таким образом дают модели возможность выбрать одну из мод распределения и фокусироваться на ней. Хаки это плохо, потому что разные процедуры обучения и инференса гарантируют сдвиг входов. И вообще надо, чтобы всё было end-to-end. Предлагают простое решение: во время обучения делать несколько попыток генерации, а бекпропать только самую близкую к данным. Утверждается, что такая постановка позволяет модели поисследовать разные моды распределения, а не натягивать любую сову на один глобус. На примере диффузии работает так. Для каждого примера: 1. Семплируем K разных способов его зашумить. 2. Для каждого из K делаем предикт моделью, чтобы уменьшить шум и считаем обычный диффузионный лосс. 3. Бекпропаем только наименьший из полученных лоссов. Так же предлагают процедуру как учить такую Exploration Model с нуля. Если всё как авторы утверждают, то это имеет потенциал улучшить весь генеративный DL повсеместно, от LLM до генераторов порно до VLA которыми мы занимаемся в Steelman

Про культурный код моделей и соответствие каким-то ценностям LLM. Мне много стали присылать в лс такую новость. 😬 Тлдр. Модели AI будут проверять на соответствие культурным ценностям, для получения звания национальных или суверенных. 😐 Я очень много писал о том, почему такие проверки сделать непросто. Вот пример. 🦻 Если коротко, на просторах сети мало русских текстов в отношении доли к английским. И тк модели учатся в тч на этих текстах, их доля там привалирует, ну иначе, вам не обучить модель на 700B параметров только на ру базе, это будет не оптимально. Да есть синта, соглашусь, но синта не даёт такой буст, как мультилингв данные. Таким образом, на этапе уже предобучения у вас лежит возможность сгенерировать не то, что соответствует культурном коду вашей страны. Особенно если перейти на запрос на английском или китайском языках. Что же с ру LLM? А теперь если посмотреть на все модели в ру сегменте, то это или Qwen-like модели, с инициализацией с весов (а значит часть информации уже лежало там с претрена китайцами), или модели, где 65%+ не ру дата в претрене. Отсюда остаётся вопросы: Как пройти проверку? Какие эксперты, на каких сетах и на каком языке будут проверять соответствие? В целом, тк уже на уровне языков в обучении можно пробить модель на чужой культурный код, то остаются только методы: - гвардов сверху и спец логики рядом (если обстрел по апи) - sft и RL элаймент модели под нужное поведение под сеты оценки, а я не уверен, что методология и сеты оценки будут закрыты от оцениваемых. И оба способа НЕ идеальны, тк и в гардах и sft/RL есть понятие OOV примеров, те запросов, которые модель никогда не видела и даже не смогла на уровне "эмерджентности" аппроксимировать. Те вас рано или поздно пробьют всеравно. А ещё есть галлюцинации... 🚬 Таким образом, пройти проверку можно, есть и хаки, и честные способы, но и есть понятные причины рисков. И будет жутко интересно, особенно, когда какая-то модель пройдёт тесты, а потом в какой-то соц сети её пробьют, выложат скрины и скажут, ну как так. Что уже не раз бывало. 👍

✔️ Kimi поймали на следах Claude: модель могла обучаться на его скрытых рассуждениях Исследователи нашли способ восстанавливать зашифрованные reasoning-блоки закрытых моделей и решили проверить, помнят ли другие LLM эти скрытые цепочки. Самая сильная аномалия оказалась у Kimi-K3. Если дать Kimi начало конкретного рассуждения Claude, модель продолжает его намного точнее, чем другие LLM. В некоторых тестах разница доходила примерно до шести порядков. На примере с Opus 4.8 это видно особенно хорошо: Kimi получает несколько первых токенов скрытого reasoning и дальше идёт почти по той же логике решения. Без этой подсказки рассуждает иначе. Это ещё не доказательство того, что Moonshot напрямую использовала приватные данные Claude. Но выглядит так, будто Kimi могла видеть похожие скрытые траектории во время обучения. Модель могла перенять сам способ решения задач. https://x.com/kotekjedi_ml/status/2087147093735714919 #AI #Kimi #Claude #LLM

Роботы достигли 90% точности в сложных задачах, просмотрев 1 млн часов видео с людьми Стартап Dyna Robotics представил базовую ИИ-модель для роботов DYNA-2, обученную на 1 млн часов видеозаписей действий человека от первого лица. Разработчики утверждают, что использование доступного видео с людьми вместо дорогостоящих данных с самих роботов увеличило точность выполнения сложных задач с 20% до 90% и в 1,55 раза превзошло результаты прошлого поколения системы. Заявленная эффективность требует независимой проверки, но компания уже привлекла $143,5 млн инвестиций. https://hightech.plus/2026/08/11/roboti-dostigli-90-tochnosti-v-slozhnih-zadachah-prosmotrev-1-mln-chasov-video-s-lyudmi

Кстати, по поводу скупки книг эйай-стартапами: Если бы я был Антропиками (то бишь, ультра-прошаренными эйай-чуваками, но абсолютно без моральных принципов), то я бы не просто скупал все подряд бу-книжки по каталогам, а нанял бы специальных людей, чтобы они целенаправленно искали качественные книги, выпущенные именно МАЛЫМ тиражом. Скармливал бы книжку модели и уничтожал весь тираж. Чтобы не просто впитать ценные human-created знания, но чтобы они гарантированно не достались другим LLM и перестали существовать. Я охотился бы за такими книгами, не жалея бабла. Чтобы потом втирать инвесторам и юзерам: "Наш эйай действительно уникален!". Хрен бы кто поспорил. Как хорошо, что я не настолько аморален, чтобы такое предлагать. И в реальности так никто не делает, ведь даже у Антропиков есть какие-то границы. Или нету? Антикварный букинист Питер де Врис из голландского Харлема рассказал журналистам: Ему написал сингапурский стартап 2077AI: мол, собирают книги на разных языках, готовят крупный заказ (для кого - не сказал, NDA). К письму приложили список, и там сплошь раритет: "Моделирование методом дискретных элементов в геомеханике" 1999 года, "Лазерное упрочнение современной керамики", редкая монография про ирландский фольклор, и т.д. и т.п., всего около 3000 изданий. Похожие письма в те же недели получили букинисты в Швейцарии, Испании и Германии - от этой же компании или от других похожих. Важно, что охотятся именно за узкоспециализированным и супернишевым чтивом, которое физически существует в нескольких экземплярах на весь мир. Такие дела 😈😈😈

Почему все нейронные тексты выглядят одинаково? 😅 Наверняка многие кто читает этот пост уже мысленно выделили для себя чек-лист, чтобы понять что текст был сгенерирован нейронкой - тире, короткие фразы, но почему это именно так? На самом деле ответ очень тупой - ее так научили сами люди, а если точнее, то они ее за это хвалили 😑 У меня есть такая гипотеза - при дообучении и валидации модели показывают несколько вариантов ответа на один и тот же вопрос, а живые люди выбирают, какой лучше. Люди - обычные ассесоры и как правило человек выбирает не самый умный ответ, а тот, который быстрее всего "выглядит умным". Модель это запоминает и начинает штамповать приемы, которые создают ощущение что это что-то умное на ровном месте. Пожалуй, лично для меня самая заметная конструкция - антитеза вида "это уже не А, а Б". Берется какая-то банальщина и к ней довольно топорно добавляется "A" и подается через контраст как откровение. Новой информации ноль, но звучит как эпично поворотный момент в тексте. Найти ее легко, если первая часть "это уже не А" легко выкидывается без потери смысла, скорее всего это такой бессмысленный бантик от нейронки для красоты. Нормальное противопоставление так не ломается - "Мы зарабатываем не на аффилятке, а на подписке" Длинные тире - та же логика. Если подумать, то это самый безопасный знак препинания, им почти невозможно ошибиться и сломать предложение. В общем случае модель избегает риска и ставит тире, вероятно, для безопасного повышения стиля письма. Я думаю, что сюда же все эти уже ныне винтажные слова времен GPT-3 - revolutionizing, pivotal и другой эпик спич типа коротких. Предложений с паузой. Вот так. Кстати, этот пост как это часто у меня бывает был вдохновлен обсуждениями в чате канала. Так что темы постов всегда можно предлагать в комментариях. А еще у нас с вами не за горами трансляция на 8 тысяч подписчиков похоже (каждые 500) 🤝 @neural_prosecco

Исследователи дали coding agent задачу собрать training environment и научить vision-модель считать цветные звёзды. С ограничением по времени. Агент работал через autoresearch-пайплайн на NeMo RL, NeMo Gym и reusable skills. Он сам поднимал окружение, запускал обучение, проверял результаты и двигал эксперимент дальше, пока исследователь только направлял процесс. Результат: Qwen3-VL-2B поднялась с 25% до 96.9% accuracy на задаче подсчёта цветных объектов. Агент ведёт исследовательский цикл: * собирает среду * запускает обучение * оценивает модель * анализирует результат * предлагает следующий эксперимент И вот это уже похоже на будущее ML-разработки: человек задаёт направление и критерии, а агент берёт на себя рутину вокруг экспериментов. https://developer.nvidia.com/blog/how-to-run-an-autoresearch-workflow-with-rl-agent-skills-and-nvidia-nemo/?linkId=100000430716000

ICML 2026 — личные впечатления Конференция закончилась, но говорить о ней можно ещё долго. Сегодня личными впечатлениями с нашим каналом поделился старший разработчик команды инфраструктуры обучения YandexGPT Владислав Тыцкий.

Конференция ощущалась очень масштабной: много людей, огромные залы для докладов, плотное расписание и буквально бесконечное количество постеров. Иногда возникало ощущение, что между интересными работами нужно не ходить, а почти бегать. Для себя я в основном смотрел темы вокруг pretraining, scaling, MoE, efficient training и разных попыток лучше понять динамику обучения LLM. В этом смысле конференция оказалась очень насыщенной: почти в каждой постерной сессии находилось несколько работ, которые хотелось разобрать подробнее. Постерный формат показался мне самым полезным. На докладах — особенно в больших залах — немного теряется камерность: масштаб впечатляет, но вовлечённость аудитории ощущается слабее. У постера проще быстро понять основную идею, задать автору вопрос и уйти либо с хорошим инсайтом, либо с пониманием, что работа тебе не очень релевантна. Отдельно понравилась инфраструктура конференции. У ICML очень удобные сайт и приложение: можно собирать расписание, смотреть материалы онлайн, возвращаться к записям и в целом не чувствовать, что ты полностью пропустил материал, если не успел попасть на доклад. Плюс Gangnam оказался приятным районом для такой конференции: вокруг много кофеен, мест для еды и просто красивый бизнес-квартал, по которому интересно гулять между сессиями. ICML большая, шумная и местами немного перегруженная, но при этом очень полезная. Особенно если заранее понимать, какие темы тебе интересны, и не пытаться посмотреть вообще всё.

Владислав также рассказал о некоторых запомнившихся постерах. Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers Статья об uncertainty-aware routing в MoE. Идея в том, чтобы добавить неопределённость именно в router — место, где MoE и так принимает важное и довольно хрупкое решение. Практически интересно, что такой слой можно дообучать уже поверх обученных моделей. В экспериментах это улучшает калибровку и устойчивость роутера к шуму при небольшом дополнительном компьюте. Decoupling the “What” and “Where” With Polar Coordinate Positional Embeddings Работа о позиционных эмбеддингах и RoPE. Авторы обсуждают, что в RoPE могут смешиваться content- и position-информация, и предлагают PoPE — способ лучше развести «что» и «где». Не уверен, что это прямо новый дефолт вместо RoPE, но сама идея про content phase и positional phase показалась интересной. BAS: Bridging Adam and SignSGD for Memory-Efficient LLM Training Постер о memory-efficient-оптимизации. Авторы пытаются приблизиться к Adam-like динамике, но снизить память за счёт block-wise статистик. Плюс используют трюк с sign update, что делает работу интересной не только с точки зрения оптимизации, но и с точки зрения практических ограничений больших обучений. Revisiting Efficiency–Accuracy Scaling in Mixture-of-Experts Architectures Hardware-aware-работа о трейд-оффе между качеством и стоимостью MoE. Авторы предлагают LatentMoE: скоры роутера считаются в исходном пространстве, после чего токены — перед отправкой к экспертам — проецируются в пространство меньшей размерности. Это уменьшает объём all-to-all и стоимость вычисления экспертов. Сэкономленный бюджет можно вложить в большее число экспертов и больший top-k. #YaICML2026 Душный NLP

✔️ Cloudflare вводит фильтрацию ИИ-ботов по категориям Платформа обновила систему управления ИИ-ботами, перейдя от полной блокировки автоматизированного трафика к точечному распределению прав доступа. Краулеры разделены на 3 категории: Search (индексация для ИИ-поиска), Agent (действия от лица пользователей в реальном времени) и Training (сбор данных для обучения моделей). С 15 сентября 2026 года платформа изменит базовые настройки для новых доменов. На страницах с рекламой система начнет автоматически блокировать Training- и Agent-ботов. Доступ останется только у категории Search ради сохранения реферального трафика. Корпоративные клиенты дополнительно получат каталог верифицированных алгоритмов BotBase, который позволяет идентифицировать конкретного бота и ограничить его действия (например, запретить полное копирование или сохранение материалов сайта). @ai_machinelearning_big_data #news #ai #ml