ICML 2026: что обсуждают в Сеуле В этом году крупнейшая конференция о машинном обучении проходит в Южной Корее. По традиции будем рассказывать о самом интересном — открываем серию обзоров от инженеров и исследователей Яндекса. Немного инсайтов о Xiaomi Ребята тоже используют On-policy Distillation для мержа своих экспертных моделей. Вайб доклада: как мы сделали топ-1-опенсорс-модель по ИИ-индексу, с миллионным контекстом и 1000 токенов в секунду без регистрации и СМС супердёшево. Public report'а нет, про обучение не рассказали, но в докладе можно было подсмотреть трюки по оптимизации. Например, гибридные SWA-слои, которые реюзают KV-кэш от полного аттеншна перед ними, помогают в 7 раз уменьшить объём кэша, не потеряв в качестве. Xiaomi MiMo-V2.5-Pro TL;DR: Context length и Inference speed. Новая опенсорсная модель на 1 триллион параметров может работать с контекстом объёмом до 1 миллиона токенов в 10 раз быстрее (до 1000 TPS). Претрейн — sparse-аттеншн и shared KV-кэш. На основе HSWA авторы предложили гибридный HySparse, чтобы увеличить sparsity. Это позволило в 10 раз сэкономить на объёме кэша и получить почти линейный аттеншн. MiMo-V2.5-Pro обучали в QAT-формате, MXFP4. Пост-трейн — Multi-Teacher On-Policy distillation с top-k, а не top-1. По метрикам MOPD показал себя значительно лучше и стабильнее остальных подходов, подобных Cascade RL. MoE RL оказался нестабилен, так как выбирается только 10% экспертов. В качестве решения прибегли к R3: Replace the Rollout Routing. Инференс Mimo-V2.5 Pro UltraSpeed — это FP4 (mxfp4) + DFlash Speculative decoding + TileRT inference engine. Для ускорения делают бакетинг по задачам (например, чат/код). vLLM Hook v0: A Plug-in for Programming Model Internals on vLLM IBM Research привезли инструмент, с помощью которого можно модифицировать логику в движке инференса vLLM и строить кастомные пайплайны. Мотивация: несмотря на свою эффективность, движок vLLM не может похвастаться богатым функционалом. Авторы попробовали исправить это. Код — на GitHub. Model Optimization Flywheel: Continuously Self-Improving LLMs in Production Работа команды Shopify. Ребята отмечают важность голденсетов (ground truth set), потому что это потолок качества моделей, — и рассказывают, как собирают такие сеты. Информацию получают от менеджеров. Если каппа Коэна низкая, то переписывают рубрику или инструкцию. Для подбора промпта judge пользуются GEPA и ACE. В датасет попадает и брак, и кейсы плохого срабатывания моделей. Некорректные ответы правят люди и judge. Ещё больше о конференции читайте в канале ML Underhood: уже рассказали о работах основного трека, Spotlight-статье и первом дне. А если вы тоже на ICML, приходите пообщаться к любому из наших постеров. Уже на конференции ❣ Иван Дёгтев, Даниил Кириллов, Тимофей Смирнов, Артём Миронов, Федор Великонивцев Душный NLP

Байки с полей Сгонял в конце прошлой недели на Conversations, сейчас расскажу, что было интересного, а что полезного Ну во первых, был очень рад контингенту на конфе – развиртуализовался с кучей селеб нашего ИИ-пузыря – от Ромы Куцева из llmarena и vsellm до Ярослава Шмулева из R77, попил пива с шашлыками у Валеры Ковальского и покатался на тачке Глеба Кудрявцева Но мы же на такие конфы не за этим ездим? Вернее не только за этим Если прям честно, я очень хотел пообщаться с ребятами из реального сектора (всегда говорю, что там гораздо больше простор для оптимизаций и гораздо меньше экспертизы как ее делать) И они там были. Я смог добраться до КМЗ (Кенгиссепский Машиностроительный Завод), Московского Метро и еще кое-каких нефтянников. Ну все, похвастался, теперь расскажу, какие сейчас запросы нарыл: - голосовой ввод для инспекторов ОТК (которые руками проверяют изделия) - контроль рабочего времени конструктора (по камерами и записи экрана) - сравнение цен/условий закупок у поставщиков - и поиск у них просрочек + оформление претензий - автоматизация ввода первички и номенклатур + регистрация чертежей в их системе - семантическая аналитика 500 млн чат бот сессий в месяц - ну и конечно, q&a боты по базе знаний компании (нормативка, поставщики, рынок и т.д.) Еще из любопытного, узнал в кулуарах про схему, когда на тендер залетает компания однодневка, жестко демпингует, а потом требует откупные, чтобы выйти из тендера. А если не дать, то они выиграют тендер и потом ничего не будут делать, только жрать месяцы простоя, пока не получиться их выпнуть через юристов. Из решений – нанять нормального тендерного специалиста, который поможет так составить тендер под конкретную компанию, что такие паразиты в него не пролезут Ну и еще есть всратая история, как одна девушка смогла без опыта устроиться дата аналитиком не скажу куда, чтобы клеить CEO. И наняла себе реального аналитика за часть зп, чтобы он закрывал её таски. Эффективный менеджмент, получается. И такое бывает, вау P.s. короче, конфа – огонь, теперь еду в мск на Agentic Dev Conf, приходите слушать доклад, зовите пить пиво