ML Global Recap'H1: это 10 из 10✨ Вчера сходила на ML Global Recap'H1 2026 в Яндексе, большой митап с обзором ICML. Тот самый, который я две недели пиарила здесь в канале, а потом благополучно забыла зарегистрироваться сама. Вспомнила в последний момент, когда регистрацию уже закрыли. Выручили друзья по ШАДу и нашли для меня место, так что на самый разгар я все-таки успела. Что было полезного: ✔️Общий обзор конференции и трендов: куда движется область по итогам первого полугодия и что реально взлетело. ✔️Доклады про ризонинг, тема, вокруг которой сейчас крутится половина всего интересного. ✔️Доклад ровно по моей теме, про оценку моделей и тренды бенчмаркинга. Все никак не доходили руки разобраться, что там по статьям с ICML на эту тему, а тут готовая выжимка. Но главное на таких митапах, конечно, люди. От нашей команды собрался золотой состав AGI NLP, ребят из Sber AI было столько, что нас обогнали только местные яндексоиды. И отдельная история это встретить здесь вас. Каждый раз, когда на таком мероприятии ко мне подходят, просят сфоткаться и говорят, что читают канал, я не знаю, куда себя деть от смущения и радости одновременно. Спасибо вам, это правда очень вдохновляет и мотивирует писать дальше! Итог: 10 из 10. Полезно, интересно, вкусный кофе-брейк и отличная компания. @mashkka_ds #трудовыебудни #ml #icml #митап

ICML 2026 — личные впечатления Конференция закончилась, но говорить о ней можно ещё долго. Сегодня личными впечатлениями с нашим каналом поделился старший разработчик команды инфраструктуры обучения YandexGPT Владислав Тыцкий.

Конференция ощущалась очень масштабной: много людей, огромные залы для докладов, плотное расписание и буквально бесконечное количество постеров. Иногда возникало ощущение, что между интересными работами нужно не ходить, а почти бегать. Для себя я в основном смотрел темы вокруг pretraining, scaling, MoE, efficient training и разных попыток лучше понять динамику обучения LLM. В этом смысле конференция оказалась очень насыщенной: почти в каждой постерной сессии находилось несколько работ, которые хотелось разобрать подробнее. Постерный формат показался мне самым полезным. На докладах — особенно в больших залах — немного теряется камерность: масштаб впечатляет, но вовлечённость аудитории ощущается слабее. У постера проще быстро понять основную идею, задать автору вопрос и уйти либо с хорошим инсайтом, либо с пониманием, что работа тебе не очень релевантна. Отдельно понравилась инфраструктура конференции. У ICML очень удобные сайт и приложение: можно собирать расписание, смотреть материалы онлайн, возвращаться к записям и в целом не чувствовать, что ты полностью пропустил материал, если не успел попасть на доклад. Плюс Gangnam оказался приятным районом для такой конференции: вокруг много кофеен, мест для еды и просто красивый бизнес-квартал, по которому интересно гулять между сессиями. ICML большая, шумная и местами немного перегруженная, но при этом очень полезная. Особенно если заранее понимать, какие темы тебе интересны, и не пытаться посмотреть вообще всё.

Владислав также рассказал о некоторых запомнившихся постерах. Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers Статья об uncertainty-aware routing в MoE. Идея в том, чтобы добавить неопределённость именно в router — место, где MoE и так принимает важное и довольно хрупкое решение. Практически интересно, что такой слой можно дообучать уже поверх обученных моделей. В экспериментах это улучшает калибровку и устойчивость роутера к шуму при небольшом дополнительном компьюте. Decoupling the “What” and “Where” With Polar Coordinate Positional Embeddings Работа о позиционных эмбеддингах и RoPE. Авторы обсуждают, что в RoPE могут смешиваться content- и position-информация, и предлагают PoPE — способ лучше развести «что» и «где». Не уверен, что это прямо новый дефолт вместо RoPE, но сама идея про content phase и positional phase показалась интересной. BAS: Bridging Adam and SignSGD for Memory-Efficient LLM Training Постер о memory-efficient-оптимизации. Авторы пытаются приблизиться к Adam-like динамике, но снизить память за счёт block-wise статистик. Плюс используют трюк с sign update, что делает работу интересной не только с точки зрения оптимизации, но и с точки зрения практических ограничений больших обучений. Revisiting Efficiency–Accuracy Scaling in Mixture-of-Experts Architectures Hardware-aware-работа о трейд-оффе между качеством и стоимостью MoE. Авторы предлагают LatentMoE: скоры роутера считаются в исходном пространстве, после чего токены — перед отправкой к экспертам — проецируются в пространство меньшей размерности. Это уменьшает объём all-to-all и стоимость вычисления экспертов. Сэкономленный бюджет можно вложить в большее число экспертов и больший top-k. #YaICML2026 Душный NLP

ICML 2026: что обсуждают в Сеуле В этом году крупнейшая конференция о машинном обучении проходит в Южной Корее. По традиции будем рассказывать о самом интересном — открываем серию обзоров от инженеров и исследователей Яндекса. Немного инсайтов о Xiaomi Ребята тоже используют On-policy Distillation для мержа своих экспертных моделей. Вайб доклада: как мы сделали топ-1-опенсорс-модель по ИИ-индексу, с миллионным контекстом и 1000 токенов в секунду без регистрации и СМС супердёшево. Public report'а нет, про обучение не рассказали, но в докладе можно было подсмотреть трюки по оптимизации. Например, гибридные SWA-слои, которые реюзают KV-кэш от полного аттеншна перед ними, помогают в 7 раз уменьшить объём кэша, не потеряв в качестве. Xiaomi MiMo-V2.5-Pro TL;DR: Context length и Inference speed. Новая опенсорсная модель на 1 триллион параметров может работать с контекстом объёмом до 1 миллиона токенов в 10 раз быстрее (до 1000 TPS). Претрейн — sparse-аттеншн и shared KV-кэш. На основе HSWA авторы предложили гибридный HySparse, чтобы увеличить sparsity. Это позволило в 10 раз сэкономить на объёме кэша и получить почти линейный аттеншн. MiMo-V2.5-Pro обучали в QAT-формате, MXFP4. Пост-трейн — Multi-Teacher On-Policy distillation с top-k, а не top-1. По метрикам MOPD показал себя значительно лучше и стабильнее остальных подходов, подобных Cascade RL. MoE RL оказался нестабилен, так как выбирается только 10% экспертов. В качестве решения прибегли к R3: Replace the Rollout Routing. Инференс Mimo-V2.5 Pro UltraSpeed — это FP4 (mxfp4) + DFlash Speculative decoding + TileRT inference engine. Для ускорения делают бакетинг по задачам (например, чат/код). vLLM Hook v0: A Plug-in for Programming Model Internals on vLLM IBM Research привезли инструмент, с помощью которого можно модифицировать логику в движке инференса vLLM и строить кастомные пайплайны. Мотивация: несмотря на свою эффективность, движок vLLM не может похвастаться богатым функционалом. Авторы попробовали исправить это. Код — на GitHub. Model Optimization Flywheel: Continuously Self-Improving LLMs in Production Работа команды Shopify. Ребята отмечают важность голденсетов (ground truth set), потому что это потолок качества моделей, — и рассказывают, как собирают такие сеты. Информацию получают от менеджеров. Если каппа Коэна низкая, то переписывают рубрику или инструкцию. Для подбора промпта judge пользуются GEPA и ACE. В датасет попадает и брак, и кейсы плохого срабатывания моделей. Некорректные ответы правят люди и judge. Ещё больше о конференции читайте в канале ML Underhood: уже рассказали о работах основного трека, Spotlight-статье и первом дне. А если вы тоже на ICML, приходите пообщаться к любому из наших постеров. Уже на конференции ❣ Иван Дёгтев, Даниил Кириллов, Тимофей Смирнов, Артём Миронов, Федор Великонивцев Душный NLP

📌 Лауреаты ICML 2026 Организаторы Международной конференции по машинному обучению опубликовали список работ, удостоенных наград этого года.

ICML считается одной из ведущих мировых площадок в сфере искусственного интеллекта, а её премии - заметным профессиональным признанием.

Лауреатов основной категории выбирали в несколько этапов - из 53 первоначальных кандидатов отобрали короткий список из 22 работ, которые затем в анонимизированном виде оценивал комитет из 11 человек. 🟡 Высшую награду в категории "Выдающиеся статьи" разделили 2 статьи The Flexibility Trap оспаривает распространённое мнение о диффузионных языковых моделях о том, что свобода выбирать порядок генерации текста, которую принято считать достоинством таких моделей, в задачах на рассуждение, наоборот, ухудшает результат. High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions показывает, что диффузионные модели способны достигать высокой точности за существенно меньшее число вычислений. 🟡Отдельно отмечены работы, отстаивающие определённую точку зрения Лучшей признана статья Сары Болл и Фила Хакеманна, в которой утверждается, что элайнмент ИИ, создаваемый ради безопасности, может применяться и для цензуры. Почётного места удостоена работа Ли Цивэя и соавторов про то, что изучение дипфейков недостаточно учитывают проблему создания интимных изображений без согласия людей. 🟡Ещё 5 статей получили упоминания в основной категории 🟠Как модели обходят «детекторы лжи» при обучении; 🟠Отбор обучающих данных для генерации видео; 🟠Пределы запоминания данных языковыми моделями; 🟠Объяснение того, почему разные диффузионные модели выдают схожие результаты; 🟠Анализ эффекта грокинга, когда модель сначала запоминает обучающие примеры, а обобщать, то есть верно работать на новых, ранее не встречавшихся данных, начинает гораздо позже, если обучение продолжать. Премию Test of Time, отмечающую вклад с долгосрочным влиянием, присудили работе за авторством коллектива DeepMind под руководством Владимира Мниха. Она предлагает метод асинхронного RL, который повлиял и на обучение больших языковых моделей. @ai_machinelearning_big_data #news #ai #ml

Я на ICML в Сеуле, и тут на main conference аж две мои статьи, чем я очень горжусь! Но и это еще не все, еще две статьи — на MechInterp воркшопе, который будет 10 числа. И сегодня уже через пару часов буду стоять у постера одной из статей (если мне его таки распечатали))), поэтому приходите в HALL A #2606 в первую постерную сессию посмотреть на меня и помочь толпой сделать вид что статья популярна, хах Статья: MidSteer: Optimal Affine Framework for Steering Generative Models (arxiv link) Это — вторая моя статья по теме representation engineering, и первая попытка уйти от чисто эмпирического рукомахательного рисерча и сделать что-то более математически/теоретически обоснованное. История такая: как я писала раньше, первой моей статьей по этой теме была CASteer — steering-метод для удаления концептов из активаций диффузионной модели. В CASteer стиринг для удаления применяется довольно наивно, без нормального теоретического обоснования, только что-то вроде "ну вот у нас есть linear representation hypothesis, поэтому логично двигать активацию в сторону анти-стиринг-вектора, и давайте подвинем именно на такой коэффициент потому что такая трансформация сохраняет норму". После того, как я доделала CASteer, мне захотелось понять, как делать стиринг для удаления более фундаментально, т.е. можно ли вывести в некотором смысле лучшее преобразование для удаления концепта из активации. Оказалось, что для задачи удаления такое уже существует. Это статья LEACE: Perfect linear concept erasure in closed form. В ней выводится в некотором смысле лучшее линейное преобразование для удаления концепта из векторов-активаций моделей. Но применяется это в статье только для активаций, которые были получены из модели типа BERT и потом применяются для решения какой-нибудь downstream задачи классификации. То есть, метод не применяли на активациях LLM/диффузий, чтобы влиять на их генерацию. Я стала разбираться с LEACE. Оказалось, во-первых, что обычный activation steering для удаления концептов из активаций, который делается оргононализацией активации к стиринг вектору — это просто частный случай LEACE. То есть, обычный стиринг == LEACE в предположении о том, что матрица ковариаций активаций слоя единична, и среднее активаций равно нулю. Тут у меня возник вопрос, а почему тогда в статьях по стирингу не используется LEACE. Тут два предположения: 1) для LEACE надо считать матрицу ковариации слоя, что долго и дорого 2) как писала выше, статья LEACE не тестирует метод на генеративных моделях, и, возможно, поэтому о LEACE просто мало знают те, кто стирят LLMки Хорошо, стиринг для удаления — частный случай LEACE. Давайте теперь попробуем сделать что-то новое. Например, попробуем решить чуть другую задачу — не удаления концепта из активации, а перевода одного концепта c_1 в другой c_2 (concept switching). Например, c_1=котик, c_2=песик, и тогда цель — чтобы LLM/диффузия генерили текст/картинки с песиками вместо котиков, если в промпте при этом просят котиков. И, как и в LEACE, скажем, что преобразование должно быть линейным и в некотором смысле "оптимальным". Оптимальность в данном случае задается как "минимальное изменение вектора активации при условии изменения концепта c_1 -> c_2". Оказывается, такое "оптимальное" линейное преобразование для concept switching можно вывести. Более того, есть даже два варианта. Первое очень просто получается из LEACE изменением коэффициента, но у него есть недостаток — при применении оно меняет c_1 <-> c_2 в обе стороны, т.е. вместо котиков вы получите песиков, и наоборот. А второе — новое, которое меняет c_1 -> c_2, но не наоборот. Вот это новое преобразование для concept switch (теорема и результаты экспериментов) и есть главное novelty моей статьи. В итоге главные моменты статьи: • Cтиринг для удаления концептов — частный случай LEACE • Оптимальное линейное преобразование для concept switch (случай c_1 <-> c_2) — следствие LEACE • Новая теорема и эксперименты: оптимальное линейное преобразование для concept switch (случай c_1 -> c_2) — MidSteer Ссылки: Статья на arxiv Alpharxiv (тут можно поставить лайк 🥺)

On Efficient Scaling of GNNs via IO-Aware Layers Implementations 📄 Статья 💻 Код Засветилось уже много где в русскоязычных тг-каналах про ML, но оно заслуживает отдельного разбора. Графовые нейронные сети имеют ряд небесполезных приложений — всякий там дизайн новых молекул, физика, анализ транзакций и социальных сетей. Однако их оптимизации уделялось сравнительно мало внимания по сравнению с LLM, потому существующие реализации в популярных фреймворках (DGL, PyG) далеки от оптимального потребления памяти и вычислительных ресурсов. Существенной сложностью при работе с графами являются нерегулярная/разреженная структура данных и нерегулярные паттерны доступа. И в работе наших соотечественников (Spotlight на ICML, между прочим) сделали куда более эффективную реализацию стандартных графовых операций.