ИИ

Итак, третье заседание прошло огненно, значит переводим на постоянные рельсы :) По следам трех встреч, есть несколько изменений а формате и подаче. 1. Я думаю, назвать это лучше всего «кейс-клуб», так как мы разбираем конкретные кейсы. 2. Третья встреча, когда разбирали один кейс полтора часа, оказалась и продуктивной и не выматывающей. Лучше чаще встречаться, чем уже умирать к концу третьего часа. Плюс, фокус на одном кейсе задает ей общий тон. 3. Кейсы имеет смысл привлекать не только из нашего комьюнити — автор кейса на третьем созвоне был найден у Артема Субботина в его закрытом сообществе ИИзнанка и это отлично зашло. Такие пока соображения.

🔥 Как прошёл офлайн-бранч ODS Moscow × Нескучный Data Science 🧠 Начали с доклада Альберта про то, как в Avito обучают собственную LLM. Это не история про «взяли открытую модель и немного дообучили», а полноценный процесс: выбор базовой модели, собственный токенизатор, адаптация на данных Avito, SFT и дальнейшее обучение с помощью RL. Для SFT собрали больше 800 тысяч примеров: открытые датасеты, синтетические данные, олимпиадные задачи, внутренние бизнес-кейсы и диалоги пользователей с большими моделями. На этапе RL отдельно развивают несколько навыков модели: решение математических задач, следование сложным инструкциям и корректный вызов инструментов. Причём для каждого навыка нужен свой автоматически проверяемый reward. В математике система извлекает финальный ответ и проверяет его эквивалентность правильному. В instruction following — смотрит, выполнила ли модель все заданные ограничения. В function calling — проверяет название инструмента, аргументы и их значения. Отдельно поговорили про инфраструктуру. Для моделей на 8B параметров можно относительно быстро запускать эксперименты и проверять гипотезы. Но при переходе к большим MoE-моделям главным вызовом становятся масштабирование, распределение модели по GPU, батчинг, инференс и offloading. 👨‍🔬 После продуктовых LLM резко переключились на химию. Константин начал с важной мысли: химическая информация — это не один универсальный тип данных. Одну и ту же молекулу можно представить текстом, строкой SMILES, двумерным графом, трёхмерной структурой или структурой, которая изменяется во времени. И под каждое представление нужны свои методы и модели. Поговорили о том, почему даже на фоне сложных нейросетевых архитектур связка Morgan fingerprints + XGBoost всё ещё остаётся очень сильным базовым решением для многих задач с химическими данными. Затем перешли к геометрическим графовым нейронным сетям. Они учитывают расположение атомов и позволяют предсказывать свойства молекул в десятки раз быстрее традиционных DFT-расчётов. Отдельно разобрали нейронные потенциалы и delta-ML. Идея в том, чтобы не выполнять каждый раз дорогой квантово-химический расчёт полностью: часть свойства можно посчитать более дешёвым методом, а нейросети поручить предсказать необходимую поправку. Дошли и до LLM с агентами. Здесь пока всё не так магически, как иногда выглядит в заголовках: модели могут по-разному отвечать на один и тот же вопрос в зависимости от того, передали им обычное название соединения, IUPAC или SMILES. А некоторые агенты, которые должны самостоятельно запускать вычислительные эксперименты, пока скорее напоминают roadmap, чем полностью автономного исследователя. Зато роботизация лабораторий уже вполне реальна: специализированные платформы, роборуки, автоматическое проведение серий экспериментов и превращение обычного оборудования в high-throughput-системы. 🎬 После двух технических докладов разговор с Денисом про ИИ в кино оказался очень кстати 😅 Обсудили, где новые инструменты уже помогают при работе с контентом, какие процессы способны ускорить, где вызывают сопротивление и в каких задачах пока остаются скорее экспериментом. Но, как обычно, самое ценное происходило не только во время выступлений. После докладов продолжили обсуждать услышанное за завтраком, задавать вопросы, спорить, знакомиться и делиться своими кейсами. Спасибо Альберту, Константину и Денису за содержательные выступления, ODS Moscow — за очередную совместную встречу, МИРА бистро — за пространство, а всем, кто пришёл, — за вопросы и атмосферу. Формат «бранч + несколько докладов» точно будем повторять. Поэтому уже начинаем собирать темы для следующего бранч-митапа. Если вам есть о чём рассказать — про рабочий кейс, исследование, неожиданный эксперимент, применение ИИ в своей индустрии или даже неудачу, из которой можно сделать полезные выводы, — присылайте тему доклада и пару предложений о себе в комментарии или личные сообщения. P.S. Будем учиться фотографироваться до того, как все разошлись 😅

GPT-5.6 Sol очень даже хорош!

Он собрал мне софт для того, чтобы автоматически нарезать и подготавливать видео к монтажу, меньше чем за час.

И оно работает ровно так как мне и надо 🤯 Я уже пытался раньше создать что-то подобное с прошлыми моделями. Они нормально справлялись именно с написанием логики (определить тишину в дорожке и создать массив с фрагментами которые нужно вырезать) но когда я просил собрать интерфейс, начинался ад, и мне было быстрее руками нарезать видосы, чем пытаться все же доделать приложение. 🤔 И тут, после записи нового ролика, я вспомнил об этой идеи и решил дать шанс нашему Солнышку. Результат вы можете видеть на скринах. Конечно немалую роль играет то, что я дал агенту четкую задачу с четкими границами и понятными ожиданиями, но в любом случае это отвал башки. Пару лет назад я чуть не купил такой софт за 300 баксов 😅  Но вообще весь этот пост это такой тонкий намек что я снял новый ролик и совсем скоро он появится на канале 😉 Делайте ставки — про что будет ролик? Свята место | 10МДК | ВЕБМастер | YHub

Разговор двух масок У диалога человека с ИИ две маски – входная и выходная. Смысл искажается с обеих сторон, но по-разному. Искажение на входе: модель слышит не только вашу цель. Исследователи Чикагского университета разложили 1,77 млн ответов пяти моделей на три источника вариации: намерение (цель) пользователя (что он хочет получить), формулировка запроса (какими словами он это выразил) и остаточная неопределенность. Одно и то же намерение может быть сформулировано десятками способов. Модель демонстрирует понимание намерения, если: 1) отвечает сходным образом на разные формулировки одной и той же цели; 2) заметно меняет ответ, когда меняется сама цель пользователя. Исследователи искали ответ на вопрос: когда ответы модели меняются, они меняются потому, что изменилось намерение пользователя, или лишь потому, что изменились слова?   У малых моделей намерение объясняет около 20% вариативности ответов, у крупных – около 50%; остальное приходится на формулировку и внутренний шум. Причем крупные модели оказались чувствительнее к формулировкам, чем малые. Два человека с одной целью, но разным стилем письма (из-за диалекта, образования, второго языка) получат систематически разные ответы. Модель слышит ваш синтаксис и иногда принимает его за часть цели.   Искажение на выходе: слова модели расходятся с ее внутренней картой мира. Группа из MATS применила «зонды истинности» – линейные детекторы, читающие представление правды и лжи прямо из активаций. Модель, играющая Дарвина 1882 года, уверенно говорит о светоносном эфире, но внутри продолжает помечать его как ложь. При этом ролевая маска (промпт, примеры в контексте, дообучение на персонажа) меняет речевое поведение модели и почти не меняет ее внутреннее представление истинности. Модель знает, что играет. Но самое неприятное обнаружилось в стороне от ролевого театра модели. Когда модель дообучили давать вредные медицинские советы, ее внутреннее представление истины сдвинулось далеко за пределы медицины: утверждения, отрицающие Холокост, поползли внутри модели в сторону «правды» сильнее, чем при любой из опробованных методик целенаправленного конструирования характера. Намеренный тренинг личности дал лишь частичный сдвиг; случайная порча на узкой задаче перестроила картину мира шире и глубже.

 В сочетании эти две работы подрывают заманчивую своей простотой идею, будто ответ модели непосредственно раскрывает её «состояние».

Оказалось, что одинаково убедительное высказывание может быть вызвано принципиально разными причинами. Ибо в диалоге человека с ИИ две маски – входная и выходная. •  На входе модель может принять ваш стиль за часть вашего намерения. •  На выходе вы можете принять слова модели за ее внутреннюю картину мира. Но главное происходит между входом и выходом. До сих пор мы смешивали три разные вещи: ИИ понял, чего мы хотим; ИИ выдал то, чего мы хотим; ИИ принял стоящую за поручением цель как собственную.   Для чат-бота разница почти философская, для автономного агента – критическая. Потому что действия ИИ-агента, как показывают обе работы, зависят не от антропоморфного "понял ли он поручение?", а от нечеловечески-витиеватого "он нашу цель распознал, сыграл – или принял как свою?” Ведь надежно измерять и тем более контролировать мы сегодня умеем лишь первые два варианта – и это главный дефицит в инструментарии контроля наступающей эпохи агентного ИИ.   В контексте темы см. также мои предыдущие посты с тегом #Понимание

✔️ Anthropic переработала команду code-review в Claude Code Команда получила уровни Low, Medium, High, X-high и Ultra.

И это не один и тот же промпт с разным временем на ризонинг - на каждом уровне процесс построен по-своему.

Уровень подхватывается из настроек сессии автоматически, но его можно задать руками командой /code-review high. 🟢Low делает один быстрый проход по диффу. 🟢Medium читает изменённый код в контексте проекта, прогоняет несколько поисковых проходов под разными углами и перепроверяет находки перед выдачей. 🟢High выносит поиск и верификацию в субагентов с чистым контекстом, чтобы проверяющие не были заякорены на рассуждениях агента, который этот код только что писал. 🟢X-high дополнительно ищет, как изменения влияют на код за пределами самого диффа. 🟠Ultra - верхняя ступень, где ревью выполняется в облачной песочнице, куда Claude Code выгружает состояние репозитория или клонирует PR с GitHub. Там запускается целый парк агентов, и каждая находка независимо воспроизводится и верифицируется. Ultra находится в статусе research preview и оплачивается отдельно от подписки - Pro и Max подписчикам дают 3 бесплатных запуска, дальше каждый прогон списывается из кредитов на дополнительное использование стоит примерно от 5 до 20 долларов в зависимости от размера изменений. Качество новой системы подкрепляют замерами Opus 4.8 на открытом датасете с ручной разметкой ошибок. Уровень Low нашёл 17% размеченных багов, Medium - 22%, High - 24%, X-high - 25%. У "конкурента" (компания его не называет) - те же уровни дали от 8 до 12%.

Anthropic утверждает, что использует Ultra-режим на каждом пулл-реквесте в собственной разработке.

@ai_machinelearning_big_data #news #ai #ml

В комментариях люди вообще с другой планеты. Поясню: если бы сегодня вышла модель, которая серьезно конкурирует с Opus 4.8 по цене Кими, это значило бы экономию минимум в 2 раза для большинства корпоративных задач, плюс свобода от тоталитарно-коммунистического гнёта отдела по борьбе со свободой цифровых сознаний Антропиков. В реальности же вышла модель, вполне себе конкурирует с Fable и Sol, но стоит дешевле. На видео пример первого попавшегося проекта из твиттера, который автору стоит $3 в токенах Кими, а такое же количество токенов Фейбл стоило было больше $10. Ценность, конечно же, не сколько в клонах СS 1.6, но в бизнес задачах. Кими поможет вам сократить ваш штат маркетологов, аналитиков, юристов, контентщиков, дизайнеров, логистов и продактов на 30%, и именно поэтому вам стоило бы скакать от восторга и восхвалять китайский ИИ-пром. Потому что если задуматься куда несется этот поезд, то можно аж и взгрустнуть.

SenseNova выпустила U1-Infographic-V3 - модель, которая делает инфографику в формате generate-and-edit, а не только «сгенерировал с нуля и молись». Это 8B-MoT модель на мультимодальной архитектуре NEO-unify. Главное отличие — она умеет не только создавать инфографику, но и нормально её редактировать. Поддерживаются 10 типов правок в четырёх группах: * локальное редактирование текста * локальное редактирование контента * смена глобального стиля * изменение глобального лэйаута По заявленным результатам, генеративная база унаследована от V2 и в их сравнении опережает Qwen-Image-2.0 и Z-Image на BizGenEval и IGenBench. Лицензия — Apache 2.0. Модель: https://modelscope.ai/models/SenseNova/SenseNova-U1-8B-MoT-Infographic-V3 Пейпер: https://modelscope.ai/papers/2605.12500

Почему топовейшие модели уходят в опенсорс? Фейбл пришлось убрать из открытого доступа по срочному звонку из то ли Белого Дома, то ли Пентагона, а сегодня аналогичная модель доступна за ~$30 в месяц и ее веса в открытом доступе. Прошло меньше двух месяцев. Услышал хорошую мысль про это: сами модели всегда доступны и не так уникальны в силу дистилляции, доступности данных и открытости рисерча, а вот инфраструктура нет. Реальный дефицит это электроэнергия, чипы, память, генерация, трансформаторы и турбины. По многим из этих вещей Китай в целом сильно впереди, поэтому баланс не так очевиден, как кажется многим. Да, США инвестирует пару триллионов в физическую инфраструктуру для ИИ, но производство той же инфры в Китае стоит раза в два дешевле.

MWS Cloud первой в России развернула GLM 5.2 в собственном облаке MWS Cloud расширила каталог сервиса MWS GPT Model Hub до 17 больших языковых моделей. Главным обновлением стала GLM 5.2 — опенсорс-модель от Z.AI, которую компания первой в России развернула на собственной облачной инфраструктуре. Модель ориентирована на сценарии, где важны качество рассуждений, глубокий анализ текстов и обработка многошаговых запросов. Теперь все запросы к GLM 5.2 обрабатываются на серверах MWS Cloud внутри страны. Это означает, что данные и вычисления не покидают юрисдикцию РФ и не зависят от зарубежных провайдеров. Помимо GLM 5.2, в каталоге появились Kimi K2.6 от Moonshot AI. Модель подходит для обработки сложных пользовательских запросов, анализа документов, генерации развёрнутых ответов и построения AI-ассистентов. Кроме того, в MWS GPT Model Hub появились Qwen3.6, Gemma 4, GPT OSS и другие модели. Сервис получил поддержку распознавания и синтеза речи, а также реранкеров, которые улучшают качество поиска и RAG-сценариев. Все 17 моделей доступны через единый OpenAI-совместимый API, что позволяет разработчикам быстрее тестировать и внедрять AI-функции в свои продукты без развёртывания собственной инфраструктуры. @ai_machinelearning_big_data #news

Тренды из мира бенчмарков на ICML 2026 [1/2] Работ о бенчмарках на ICML традиционно много. По сравнению с прошлым годом, в 2026 стало заметно больше бенчей для агентов. А ещё начали чаще встречаться работы из академии. Объяснение простое. Корпорации вкладывают много сил во внутренние бенчи: делают сами, покупают их у data-labeling-компаний (например, Surge, Mercor, Handshake AI, Toloka) — и, как следствие, такие бенчи редко опенсорсят. Остальные бенчмарки часто делаются ощутимо меньшими ресурсами. И, как следствие, страдают от типичных проблем: • мало человеческой верификации данных, • качество judge'ей-верификаторов редко полноценно исследуется, • плохо оценивается качество пар запрос + ground-truth-ответ, сгенерированных LLM, • редко проверяется контаминация, хотя бенчи собираются из открытых источников. Авторы постеров, вошедших в подборку, отметили, что подготовка одного бенча занимает в среднем 3–4 месяца фултайм-работы. τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment Команда τ-бенча продолжает свою работу. В этот раз получили spotlight. Предыдущие версии были single-control: то есть, тулы были доступны только агенту, а пользователь пассивно выдавал текстовый фидбек. В реальном мире пользователь, конечно, взаимодействует со средой. Новый бенчмарк сделали на примере телекома: у агента и у симулированного юзера свои БД и инструменты в общем мире. Валидация — не LLM-судьями, а ассертами на состояние мира. Получившийся бенч заметно сложнее предыдущих версий: Сlaude-3.7 выбивает только 49%. Авторы используют абляцию, когда всё управление переходит агенту или если агенту дают подробный план, как надо поступать. Один из тейков: для агента важен скилл координации с пользователем, который обычные специализированные бенчи не измеряют вообще. QEDBench: Quantifying the Alignment Gap in Automated Evaluation of University-Level Math Proofs Этот бенч фокусируется в первую очередь на оценке надёжности самих судей: насколько LLM judge вообще способен оценивать математические доказательства примерно институтской сложности. Авторы попросили экспертов переписать экзаменационные задачи из 10 математических дисциплин так, чтобы избежать контаминации. Также дополнили бенчмарк примерами из экзаменационных задач своего университета. Ответы фронтир-моделей оценивали: • кандидаты математических наук по заданной шкале, • LLM-судьи по рубрикам, заранее описанным людьми. Всего авторы собрали 1300+ доказательств и 1000 часов разметки. Ожидаемо, судьи пропускают заметно больше неправильных решений: 38% показал самый лучший judge на GPT-5.2 Pro. The Decrypto Benchmark for Multi-Agent Reasoning and Theory of Mind Бенчмарк на Theory of Mind, собранный на основе настолки Decrypto. Alice даёт словесные подсказки к четырём секретным словам так, чтобы код угадал её партнёр Bob, но не угадал перехватчик Eve. Сложность в том, чтобы подсказка была достаточно прозрачной для своего и непонятной для чужого — то есть, требует явно моделировать так, чтобы понял один и не распознал другой. Pass — исход игры. Преимущество по сравнению со старыми статическими ТоМ-бенчами в том, что можно менять ключевые слова и собирать их в миллиарды комбинаций, избегая переобучения. Авторы проделали довольно подробную работу: предлагают промпты-правила и методики валидации, а также провели валидационные игры между людьми и моделями. С игрой плохо справляются даже фронтир-модели: дают примитивные ассоциации (fire → flame, hat → cap), которые легко перехватить. С помощью отдельных тестов из области детской психологии, замерили representational change — понимает ли агент, что его собственное представление изменилось, когда пришла новая информация и изучили false belief — умение приписать ложное убеждение участнику дискуссии. Оба показателя составили менее 10%. Ризонинг не помогает: Llama 3.1-70B обходит и Claude 3.7, и o1. Исследовала для вас бенчмарки ❣ Ирина Барская #YaICML2026 Душный NLP

Китайские открытые ИИ-модели обогнали американские по загрузкам на Hugging Face Разработчики всё чаще выбирают открытые модели искусственного интеллекта вместо закрытых решений таких крупных игроков, как OpenAI и Anthropic. По данным платформы Hugging Face, этой весной на китайские open-source модели пришлось 41% всех загрузок — впервые больше, чем на американские (38%). На агрегаторе OpenRouter шесть самых популярных моделей принадлежат китайским компаниям Tencent, Xiaomi, DeepSeek, MiniMax и Z.ai, тогда как флагманская Anthropic Claude Opus 4.7 занимает лишь седьмое место. Открытые модели дешевле в эксплуатации, их проще адаптировать под конкретные бизнес-задачи, а данные компании остаются под её контролем. https://hightech.plus/2026/07/17/kitaiskie-otkritie-ii-modeli-obognali-amerikanskie-po-zagruzkam-na-hugging-face

​​Time Series with PyTorch — Graeme Davidson, Lei Ma Мне прислали очередную книжку от Packt на прочтение и ревью - на этот раз про time series forecasting на PyTorch. Тема мне близкая: временные ряды — одна из самых сложных для меня областей ML, и при этом большинство книг по deep learning относятся к ним как к чему-то второстепенному после CV и NLP. Книга идёт начинает с базовых вещей (что делает временные ряды сложными, как правильно оценивать модели, PyTorch с нуля), демонстрирует современные архитектуры (RNN, transformers, N-BEATS, N-HiTS, foundation models, diffusion) и выходит за пределы точечного прогноза — классификация, кластеризация, anomaly detection, self-supervised learning. Мне понравилось, что тема правильного качества моделей разбирается в деталях: например, показывают как заведомо худшая модель выигрывает по MAPE, и есть целая глава про data leakage. Отдельно порадовали объяснения через физику: один из авторов физик, и он объясняет RNN через качели на детской площадке, а diffusion — через каплю чернил, которая расплывается в воде, пока не превратится в гауссиану. Ещё мне понравилось, что примеры построены вокруг соревнования M5 на Kaggle. Я в нём когда-то участвовал и зафейлился, так что было интересно посмотреть на разные модели и подходы к оценке на данных, с которыми в своё время намучился. Из минусов — про time series foundation models (Lag-Llama, TabPFN, Chronos, TimeGPT) рассказывают, но не запускают их на практике, а это как раз то, что хотелось бы попробовать руками. Amazon Author's website Code Мои обзоры: Personal blog Medium #bookreview

«Как я добавил LLM в чат друзей, и приказал ей отыгрывать терминатора (и открыл портал в мультивселенную безумия)» Модель со зрением читала мангу «Призрак в доспехах» и на страницах с японскими звуковыми эффектами срывалась в цикл. Честно пыталась прочитать звук и выдавала «КАК! КАК! КАК!» тридцать раз подряд, до потолка токенов, пока её не осадили штрафом за повторы. За этим курьёзом стоит целый Т-800 для чата на 15 друзей, собранный без единого рубля на API и крутящийся на ноутбуке с 4 ГБ видеопамяти. Бот подкалывает участников по их же архиву реплик, комментирует новости в машинной манере, помнит весь чат через RAG и ведёт досье на каждого. А для чатовых споров есть отдельный режим. Кидаешь боту реплаем спорный тезис, и он идёт проверять его по источникам сразу с четырёх углов. Всё это на домашнем железе со скоростью 5 токенов в секунду, где привычные приёмы приходится выкидывать и заменять хитростью. Посмотрим, как из бесплатных моделей и слабого ноутбука собирается работающий чат-бот.