RPC-Bench: новый бенчмарк для long-context, RAG и multimodal paper understanding На ModelScope вышел RPC-Bench - датасет для проверки моделей на реальном понимании научных статей. Он заточен не под короткие QA, а под задачи, где модель должна работать с длинным контекстом, PDF-структурой, визуальными элементами и вопросами в стиле peer review. Внутри есть текстовые и визуальные входы: Markdown, оригинальные PDF, результаты парсинга и изображения страниц. Это делает RPC-Bench полезным не только для LLM, но и для VLM-оценки, где важно понимать документ как полноценный артефакт, а не просто набор извлечённых абзацев. Масштаб тоже серьёзный: 61,3K QA-пар из 4 150 научных работ, включая около 15K human-verified QA-пар для evaluation. Интересная часть в происхождении данных. Вопросы собраны из реальных review-rebuttal exchanges, поэтому они ближе к тому, как статью проверяет рецензент: методы, доказательства, claims, слабые места и соответствие выводов экспериментам. По результатам видно, что задача далека от решённой. Даже GPT-5 набирает только 68,2% по correctness-completeness, а после conciseness adjustment результат падает до 37,46%. Dataset: https://modelscope.ai/datasets/zai-org/RPC-Bench Paper: https://modelscope.ai/papers/2601.14289

Про эту статью уже написали многие ведущие ML-блогеры, поэтому я просто хотел бы на неё обратить ваше внимание — она имеет отношение ко всему вышесказанному. А то мне тут в комментах написали, что «байесы это левацкая дребедень». Не то чтобы я был не согласен, я вам больше скажу — всё машинное обучение, матстат и в принципе технологический прогресс это вещи глубоко левацкие по сути, но за байесы пусть отдельно товарищи из Antropic пояснят Подсознательное обучение: языковые модели передают поведенческие черты посредством скрытых сигналов в данных [Subliminal Learning: Language models transmit behavioral traits via hidden signals in data] Мы изучаем подсознательное [subliminal] обучение — удивительное явление, при котором языковые модели передают поведенческие черты через семантически не связанные данные. В наших основных экспериментах модель «учителя» с некоторой чертой T (например, симпатия к совам или несоответствие общепринятым нормам) генерирует набор данных, состоящий исключительно из числовых последовательностей. Примечательно, что модель «ученика», обученная на этом наборе данных, перенимает T. Это происходит даже при фильтрации данных для удаления ссылок на T. Мы наблюдаем тот же эффект при обучении на коде или траекториях рассуждений, сгенерированных той же моделью учителя. Однако мы не наблюдаем этого эффекта, когда у учителя и ученика разные базовые модели. Чтобы объяснить наши результаты, мы обосновываем теоретический результат, показывающий, что подсознательное обучение происходит во всех нейронных сетях при определённых условиях, и демонстрируем подсознательное обучение в простом многослойном перцептроне (MLP). Мы приходим к выводу, что подсознательное обучение — это общее явление, представляющее собой неожиданную ловушку для разработки ИИ. Дистилляция может распространять непреднамеренные черты, даже если разработчики пытаются предотвратить это с помощью фильтрации данных. https://arxiv.org/abs/2507.14805 https://t.me/gonzo_ML/3876 https://t.me/boris_again/3325 https://t.me/seeallochnaya/2686 В общем, если коротко резюмировать: учились на цифровых последовательностях, сгенерированных учителем, и в результате переняли его любовь к совам

Ускорение генерации роллаутов с помощью спекулятивного декодинга Самая времязатратная часть в GRPO — это генерация траекторий модели, на которую приходится около 72% всего процесса. Поэтому хочется ускорить генерацию роллаутов — и в сегодняшней статье NVIDIA рассказано, как это можно сделать. По большому счёту, генерация роллаутов — это обычный инференс модели. При наивном инференсе видеокарты используются не на полную. Помочь решить эту проблему способен спекулятивный декодинг. Его суть заключается в том, что маленькая драфт-модель, учится предсказывать, какие токены сгенерирует основная модель. Последней остаётся лишь верифицировать, правильную ли гипотезу выдала драфт-модель. В режиме спекулятивного декодинга разрыв между компьютом и трансфером памяти сокращается. Авторы проверяли свою гипотезу на небольшой модели — Qwen3-8B. Обучали её на математическом датасете DAPO-Math-17K, а валидировали — на AIME-2024. При этом других наборов данных не использовали, что немного подозрительно. Возможно, именно из-за такого выбора сетапа получились хорошие результаты. Кроме того, замеры проводили на Qwen3-235B, но в симуляции, из-за чего полученные результаты могут отличаться от реальных. Модель обучали в двух режимах. Первый, RL-Think, предполагает простое обучение после SFT (или продолжение RL-стадии поверх уже ризонящей модели), а второй, RL-Zero, — RL сразу поверх претрейн-модели. Во втором случае спекулятивные модели вроде EAGLE дают лучший acceptance. Касательно самого предсказания: авторы пришли к выводу, что наибольшее ускорение получается при трёх спекулируемых токенах. Интересно, что при предсказании уже пяти токенов генерация, напротив, замедляется. В RL-Zero ускорение генерации — 1,77x против 1,54x в RL-Think: драфтеру проще предсказывать распределение менее обученной политики. На общем времени GRPO-шага разрыв уменьшается, потому что спекулятивный декодинг ускоряет только генерацию, а пересчёт log-prob и шаг оптимизатора занимают примерно то же время, что и без него. В симуляции с Qwen3-235B ускорение составило 2,5х. Но, опять же, в реальных рабочих сценариях прирост может быть скромнее. В дополнение авторы предлагают доучивать драфт-модель во время GRPO, чтобы она не отставала от меняющейся политики основной модели. Делается это так: берутся скрытые представления основной модели, на них навешивается .detach() , после чего они отправляются в драфтер. Такая система позволяет обучать драфтера вместе с основной моделью, не оказывая на неё влияния (схема на приложенном изображении). Разбор подготовил Павел Васильев Душный NLP

North-Mini-Code-1.0-w4a16 Квантованная версия (4-бит вес, 16-бит активации) первой модели Cohere для разработчиков: управление подзадачами, анализ архитектуры, code review. * Архитектура: Sparse MoE на базе Transformer. 30B параметров всего, 3И активно. Высокая скорость, низкие требования к GPU. * Контекстное окно: 256K токенов для анализа репозиториев целиком. * Максимальный вывод: до 64K токенов. * Поддержка: нативные инструменты, чередующееся рассуждение (interleaved reasoning) через JSON-схему. * Обучение: платформы SWE-Agent, mini-SWE-agent, OpenCode, Terminus 2 для устойчивости в реальных средах. Сценарии использования: * генерация кода и тестов * рефакторинг legacy-кода * автоматизированный code review в CI/CD * локальный AI-ассистент для приватности * создание агентных пайплайнов для аудита безопасности и unit-тестов #MoE #reasoning #coding

В комментах возникло любопытное соображение. А что если мы возьмём чужую модель и будем при помощи неё генерировать верифицируемые задачи для написания кода. Оставим сейчас за скобками вопрос о том, как именно сделать сгенерированные задачи верифицируемые (это не очень просто), но, допустим, мы сделали такой пайплайн. То есть: 1. Генерируем чужой моделью задачки, ответ на которые можно проверить автоматически 2. Обучаемся на этих задачках, используя RL 3. PROFIT! Теоретически при таком подходе «ученик» может даже превзойти «учителя». Как по мне — такой подход это «каша из топора», ЕВПОЧЯ. Ну то есть чужая модель вам тут в целом не нужна — вы можете воспользоваться предыдущей версией своей собственной модели. Резонный контраргумент: допустим, наш способ генерации синтетики такой, что нам нужна очень «умная» модель. Если так, у этого будет одно не очень приятное последствие. Это будет значить, что вы не сможете при генерации заданий использовать достаточно большую температуру генерации, в итоге у вас получится датасет, который будет при его использовании способствовать коллапсу внутренних представлений «ученика» (ну и наследовать предубеждения вы тоже будете, скорее всего)

Нейродайджест за неделю (#121) LLM - Анонс GPT 5.6 от OpenAI — Вышли три варианта (Sol, Terra, Luna). Это ответов на Fable. В следующем месяце версию Sol обещают запустить на Cerebras со скоростью 750 токенов в секунду. Генеративные модели - Нативные 4K в SeeDance 2.5 — ByteDance анонсировали новую модель с поддержкой до 50 мультимодальных референсов. А ещё запустили платформу для легальных ремиксов с отчислениями правообладателям. Прочее - Чип OpenAI — Jalapeño предназначен исключительно для инференса. Разработан совместно с Broadcom всего за девять месяцев, но продавать или сдавать в аренду его не планируют. - ИИ прочитал обуглившийся свиток — В рамках Vesuvius Challenge впервые удалось полностью расшифровать папирус, переживший извержение Везувия. Это оказался философский текст 2 века до нашей эры. > Читать дайджест #120 #дайджест @ai_newz

LFM2.5-230M: ультракомпактная модель работает на Raspberry Pi и почти любом современном телефоне Команда Liquid AI выпустила LFM2.5-230M — одну из самых маленьких языковых моделей на сегодня, всего на 230 миллионов параметров. Модели хватает 293 МБ памяти на Raspberry Pi 5 и 375 МБ на смартфоне. На Raspberry Pi 5 модель выдаёт 42 токена в секунду при декодировании, а на флагмане Galaxy S25 Ultra разгоняется до 213 т/с. Человек читает текст со скоростью примерно 5–7 т/с. На бенчмарках модель конкурирует с моделями вдвое больше и часто их обходит. Модель поставили на человекоподобного робота Unitree G1, и она работала на встроенном чипе NVIDIA Jetson Orin. Модель выступила в качестве слоя выбора навыков: берёт одну команду на обычном языке вроде «постой 2 секунды, потом иди вперёд со скоростью 1 м/с на 3 метра» и раскладывает её на последовательность вызовов готовых низкоуровневых навыков. Получается, что модель на 230 миллионов параметров может служить языковым интерфейсом управления для робота. Главное ограничение модели простое: ей нужно около 350MB RAM и более-менее современный процессор. Прямыми тестами авторов подтверждены запуск на одноплатнике Raspberry Pi 5. Заявлена поддержка чипов Apple, AMD, Qualcomm и Nvidia, ее потянет почти любой современный телефон или планшет, а на ноутбуках ресурсов с запасом. Часы тоже теоретически потянут, но на практике мешают нагрев и неемкая батарейка. Микроконтроллеры и простая бытовая электроника (чайники, лампочки, фитнес-браслеты, наушники) точно не потянут: там памяти килобайты, а не сотни мегабайт. Несмотря на размер, на бенчмарках модель обходит соперников вдвое крупнее. На тесте следования инструкциям IFEval она набрала 71.71 против 63.49 у Gemma 3 1B и 59.94 у Qwen3.5-0.8B. Сильнее всего она в вызове инструментов и извлечении данных, а вот для математики, кода и сложных рассуждений авторы её брать не советуют — она заточена под другое. Модель и веса можно скачать на Hugging Face, исходники и SDK лежат на Github. #Stateoftheart

Запись стрима "Что же такое harness?". Ссылка на YouTube: https://www.youtube.com/watch?v=QAxejH-KNak Стрим получился полезным, с примерами на практике. Большое спасибо, Паша, что согласился прийти! Таймкоды доступны как на YouTube, так и прямо в Telegram: 00:00 — Вступление 07:12 — О чём этот стрим? 09:31 — Что такое harness? 17:10 — Откуда появился термин «harness»? 23:20 — Виды harness 26:20 — Анатомия harness 34:28 — Вопросы от зрителей 35:20 — Что такое Skill? 39:10 — Чем harness отличается от guardrails? 44:30 — Можно ли использовать harness в продакшене банка? 49:43 — Чем harness отличается от scaffolding? 53:05 — Агент Coddy на практике 54:45 — Как harness может быть заточен под модель? На примере Coddy 59:03 — Как Coddy обрабатывает запрос? 1:00:30 — Пример работы Agent Loop 1:03:30 — 30 инструментов для on-prem-модели 1:06:15 — Работа с schedule-задачами 1:08:50 — Работа в режиме Plan 1:12:20 — Заставляем OSS-120B работать по SSH 1:14:20 — Проблемы on-prem-моделей с мультиязычностью 1:16:40 — Как работают Agent Skills? 1:21:30 — Протокол ACP на примере интеграции с Obsidian 1:31:10 — HTTP API в Coddy 1:36:50 — Уроки и грабли при создании собственного harness 1:48:00 — Готовые фреймворки для создания harness 1:50:06 — Принципы построения агентов на базе harness и отличие от AI-агентных фреймворков 1:53:55 — Harness работает только через API или поддерживает подписки Claude и Codex? 1:55:55 — Инструменты для экономии токенов 2:00:30 — Как патчить Hermes и Claude Code? 2:03:09 — Мониторинг качества harness Полезные ссылки со стрима: 1. Презентация – использовать как полезную шпаргалку по harness 2. Coddy – harness, который создал Паша 3. Pi – минималистичный harness 4. Hermes – качественно-сделанный harness, который умеет доделывать самого себя 5. OpenClaw = Hermes+страдания (для ценителей) Подписывайтесь на каналы участников трансляции: Павел Рыков Константин Доронин p.s.: Под конец стрима у меня немного отвалился звук. Прошу понять и простить – я всё ещё в процессе дрессировки OBS.

Qwen3-ASR Ах да, сама распознавалка речи у них тоже обновилась Компактная, высокая пропускная способность, мультиязычность Распознавание речи и выравнивание по таймстампам. Покрывают 30 языков, 22 диалекта китайского, разные акценты. • SOTA среди открытых ASR-моделей • сопоставима с проприетарными API • 1.7B параметров • нативная поддержка в Transformers • стриминг • 2000× throughput при 0.6B параметров • идентификация языка + STT в сложных акустических условиях • Qwen3-ASR-0.6B - 2000x пропускная способность при 128 одновременных запросов • единый режим стриминга и офлайн, работа с длинными аудио • Forced Alignment через Qwen3-ForcedAligner-0.6B: таймстампы до 5 минут, 11 языков, точность выше E2E-аналогов #asr #stt

Qwen 3.6 27B is the sweet spot for local development или нет? https://quesma.com/blog/qwen-36-is-awesome/ https://news.ycombinator.com/item?id=48721903 Увидел я тут очередной пост про то, как же хорошо гонять локальные модели. Автор запустил модель локально с помощью llama.cpp с квантизацией в 8-bit на Macbook Max M5 120 Gb. И вот я ну никак не могу с этим всем согласиться. Первое, и самое главное, это качество. Qwen неплох, но он намного хуже frontier-level моделей, особенно при квантизации. Я недавно рассказывал как пробовал minimax - ему было очень далеко до клода/кодекса. Кроме того, современная разработка с помощью AI - это про агентов, agentic workflows. Из условно-открытых моделей вроде такое только GLM может. И есть ещё вопрос стоимости. Macbook Max M5 120 Gb стоит несколько тысяч долларов. Это годы подписки на клод/кодекс. Да, можно сказать, что такую мощную машинку можно много для чего использовать. Но так ли это надо? Сомневаюсь. И даже при такой переплате качество будет заметно хуже топовых моделей #ai

Ключевое за 3 дня ⚡ Главное • OpenAI + Broadcom: чип Jalapeño — ASIC для AI, разработанный за 9 месяцев с помощью нейросетей. • OpenAI запускает серию GPT-5.6 для ограниченной аудитории — Релиз семейства моделей с флагманской версией Sol. 📈 Рост и Оптимизация • Ускорение Gemini Nano на Pixel — Применение Frozen Multi-Token Prediction для работы на мобильных устройствах. • Модели вознаграждения слишком чувствительны — Метод кластеризации наград от Meta для защиты от reward hacking. • Экономический индекс Anthropic за июнь 2026 — Аналитика корреляции вычислительных затрат AI и экономической ценности. • Отчёт о ценах на память от Stanford — Данные о динамике стоимости систем хранения и памяти. 🛠 Инструменты • Recall — Инструмент создания базы знаний и поиска по прочитанному через API. • PrompTessor — Рабочее пространство для генерации, оценки и оптимизации промптов. • Serno — AI-анализ бизнес-решений для поиска противоречий и слепых зон. • Cursor — Редактор кода с функциями автоисправления багов и генерации по инструкциям. • Leapd — Платформа для автоматизированного управления бизнес-процессами 24/7. • ByThen — Сервис для создания видео без участия реальных актеров. • Cocodly — Инструмент для разработки веб- и мобильных приложений с помощью AI. • Qwen Image Agent — Модель с улучшенной генерацией изображений через систему планирования. • Google тестирует коллекции для NotebookLM — Новый функционал для группировки рабочих блокнотов по темам.