ИИ

Почему o1 pro до сих пор в топах нашего LLM Бенчмарка? И почему она стоит 20 центов?! Да это потому, что ее прогоняли в ручном режиме на Pro подписке в порядке исключения. Если o1 pro запускать по API сейчас, то аналогичный workload будет стоит 200-400 евро. И смысла особого иметь не будет. Но вот тренд получается очень интересный. OpenAI и прочие вендоры моделей перестали делать упор в очень мощные и внимательные модели, которые стоят дорого и практического смысла не имеют. Вместо этого теперь развиваются новые архитектуры моделей и харнесов вокруг них (вы же помните время, когда sparse MoE было новинкой?) вкупе с оптимизацией железа под новые форматы. Кстати, Fable/Mythos - это уже не про гигантскую нейронку, а про хорошую связку моделей, инструментов и агентных подходов. Как мы видим из BitGN Research, если взять небольшую модельку и обвязать ее хорошим харнесом, то получится результат лучше (и дешевле), чем просто с самой дорогой моделью. См, например отчеты @dev_salikhov про Exoskeleton - базовый и на Open Weights. В итоге получается, что на практических задачах стоимость применения frontier LLM, которые достаточно хороши для решения задач без какого-то харнеса, падает. В TOP-10 бенчмарка уже есть модели, которые укладываются в 5 евро - Qwen3.7 Max, GPT-5.5, Claude Opus 4.7. А если задача требует чего-то за пределами возможностей топовых недорогих моделей, то вместо покупки дорогой модели можно просто собрать нормальный эвал и подобрать архитектуру под задачу в полуавтоматическом режиме. Благо Agentic Goals завезли уже почти во все AI Coding системы. Ваш, @llm_under_hood 🤗

по сети ходят мем (который вероятно не только мем) о том как инженер убрал со стола клавиатуру и работает с одним только микрофоном. после вчерашнего анонса Метой brain2qwerty (неинвазивного BCI, который позволяет управлять компьютером через "силу мысли") фронтир сместился еще дальше. на самом деле, еще в 2010-2011 году вместе с профессором МГУ А. Капланом я тестил и даже пытался как-то применить коммерчески такие интерфейсы. они вполне себе работали, помогали печатать или играть в шахматы не используя ничего, кроме модуляции активности собственного мозга (в простонародии -- фокусировка). однако, тогда это был довольно стандартный ЭЭГ с большой степенью помех и неточностей, плюс очень медленный. то что предложила мета это два улучшения: 1. использование МЭГ (магнитоэнцефалографии) вместе с ЭЭГ для увеличения точности 2. ИИ модель, которая умеет сильно точнее и быстрее декодировать мозговые волны в печатный текст вот тут все детали о том как оно работает.

В будущем не будет продактов, инженеров и дизайнеров: создатель Claude Code Борис Черный сказал, что нас ждет всего 5 архетипов

1. Prototyper: генератор множества идей, только некоторые из которых будут реализованы. 2. Builder: быстро превращает прототипы и идеи в продукт. 3. Sweeper: чистит UX, упрощает код, оптимизирует систему. 4. Grower: берет продукт и итеративно улучшает его с точки зрения Product-Market Fit. 5. Maintainer: владеет зрелой системой и следит за ее безопасностью, надежностью и эффективностью.

При этом эти архетипы не будут зависеть от домена или специфического стека, как большинство современных ролей, и один человек сможет объединять в себе до трех статусов. В новой системе не нашлось места только эйчарам 🤷‍♂️

AMD представила обновлённую платформу Versal Premium Gen 2 Memory on Package (MoP), в которой до 32 ГБ памяти LPDDR5X размещаются на одной подложке с SoC. Заявленная пропускная способность достигает 288 ГБ/с, а сама компоновка позволяет сократить площадь платы до 60% по сравнению с дискретной памятью. Решение ориентировано на промышленные и специализированные сценарии: ИИ на периферии, сетевое оборудование, профессиональное видео, аэрокосмические и оборонные системы. HBM в этой линейке не используется — ставка сделана на LPDDR5X и длительный жизненный цикл продукта, который заявлен на уровне более 15 лет. В архитектуру также добавлены интерфейсы PCIe 6.0 и CXL 3.1, а сами чипы рассчитаны на работу в расширенном температурном диапазоне от -40 до 110 °C. Серийные поставки Versal Premium Gen 2 MoP ожидаются во второй половине 2027 года.

RPC-Bench: новый бенчмарк для long-context, RAG и multimodal paper understanding На ModelScope вышел RPC-Bench - датасет для проверки моделей на реальном понимании научных статей. Он заточен не под короткие QA, а под задачи, где модель должна работать с длинным контекстом, PDF-структурой, визуальными элементами и вопросами в стиле peer review. Внутри есть текстовые и визуальные входы: Markdown, оригинальные PDF, результаты парсинга и изображения страниц. Это делает RPC-Bench полезным не только для LLM, но и для VLM-оценки, где важно понимать документ как полноценный артефакт, а не просто набор извлечённых абзацев. Масштаб тоже серьёзный: 61,3K QA-пар из 4 150 научных работ, включая около 15K human-verified QA-пар для evaluation. Интересная часть в происхождении данных. Вопросы собраны из реальных review-rebuttal exchanges, поэтому они ближе к тому, как статью проверяет рецензент: методы, доказательства, claims, слабые места и соответствие выводов экспериментам. По результатам видно, что задача далека от решённой. Даже GPT-5 набирает только 68,2% по correctness-completeness, а после conciseness adjustment результат падает до 37,46%. Dataset: https://modelscope.ai/datasets/zai-org/RPC-Bench Paper: https://modelscope.ai/papers/2601.14289

Сэкономил за месяц почти 30 часов Моя самая полезная программа последних месяцев Wispr, которая позволяет печатать голосом. Сначала использовал voice-to-text только для работы с нейронками и вайб-кодинга, а теперь надиктовываю ей почти всё. В среднем моя скорость около 90 слов в минуту. За последний месяц наговорил больше 80 000 слов. Если бы печатал всё это руками, потратил бы почти на 30 часов больше. Благодаря этому я стал чаще фиксировать мысли и гораздо эффективнее работать с нейронками. По скорости работы, печатать руками сегодня, это как продолжать писать на бумаге в эпоху появления компьюетеров. Пользуетесь чем-то подобным?

Теперь в каждой компанией работает свой Клод Anthropic недавно выкатила Claude Tag - теперь Клода можно тегать в Slack-канале, как обычного коллегу. Просто пишете задачу в обычной формулировке и призываете Клода - он её разбивает на этапы и фигачит в фоне через свои тулы (конкретные тулы и доступы можно настроить в конкретном канале). Работает пока только в Slack, но видимо будут раскатывать и на другие инструменты. Чем это отличается от обычного агента-ассистента? Ну, он мультиплеерный. Раньше у каждого юзера был свой отдельный чат с ИИ, а теперь Клод общий в канале. Каждый каждый участник видит, чем он занят прямо сейчас. Можно подхватить задачу с того места, где её оставил коллега, не объясняя контекст заново, и всё такое. Ещё агент учится на переписке канала, подтягивает контекст из других источников (если дали права), и не надо каждый раз вводить его в курс дела. А если включить ambient-режим, агент начинает работать без тега вообще - сам глядит зависшие треды и напоминает о задачах, на которые все молча забили. Интересно, желание реальных кожаных коллег доделывать свои задачки после такого как себя будет чувствовать? Любопытно, что внутри самого Anthropic через внутреннюю версию Tag уже создаётся 65% кода продуктовой команды (ну, по их словам). В общем, ИИ-компании пытаются всё сильнее проникнуть в операционные задачи и встроиться в каждую дырку. Эта битва продолжается, и в рабочем слое Anthropic пока уверенно побеждает. В лайфстайле всё не так очевидно, но это уже другая история. Фичизм

Про эту статью уже написали многие ведущие ML-блогеры, поэтому я просто хотел бы на неё обратить ваше внимание — она имеет отношение ко всему вышесказанному. А то мне тут в комментах написали, что «байесы это левацкая дребедень». Не то чтобы я был не согласен, я вам больше скажу — всё машинное обучение, матстат и в принципе технологический прогресс это вещи глубоко левацкие по сути, но за байесы пусть отдельно товарищи из Antropic пояснят Подсознательное обучение: языковые модели передают поведенческие черты посредством скрытых сигналов в данных [Subliminal Learning: Language models transmit behavioral traits via hidden signals in data] Мы изучаем подсознательное [subliminal] обучение — удивительное явление, при котором языковые модели передают поведенческие черты через семантически не связанные данные. В наших основных экспериментах модель «учителя» с некоторой чертой T (например, симпатия к совам или несоответствие общепринятым нормам) генерирует набор данных, состоящий исключительно из числовых последовательностей. Примечательно, что модель «ученика», обученная на этом наборе данных, перенимает T. Это происходит даже при фильтрации данных для удаления ссылок на T. Мы наблюдаем тот же эффект при обучении на коде или траекториях рассуждений, сгенерированных той же моделью учителя. Однако мы не наблюдаем этого эффекта, когда у учителя и ученика разные базовые модели. Чтобы объяснить наши результаты, мы обосновываем теоретический результат, показывающий, что подсознательное обучение происходит во всех нейронных сетях при определённых условиях, и демонстрируем подсознательное обучение в простом многослойном перцептроне (MLP). Мы приходим к выводу, что подсознательное обучение — это общее явление, представляющее собой неожиданную ловушку для разработки ИИ. Дистилляция может распространять непреднамеренные черты, даже если разработчики пытаются предотвратить это с помощью фильтрации данных. https://arxiv.org/abs/2507.14805 https://t.me/gonzo_ML/3876 https://t.me/boris_again/3325 https://t.me/seeallochnaya/2686 В общем, если коротко резюмировать: учились на цифровых последовательностях, сгенерированных учителем, и в результате переняли его любовь к совам

Ускорение генерации роллаутов с помощью спекулятивного декодинга Самая времязатратная часть в GRPO — это генерация траекторий модели, на которую приходится около 72% всего процесса. Поэтому хочется ускорить генерацию роллаутов — и в сегодняшней статье NVIDIA рассказано, как это можно сделать. По большому счёту, генерация роллаутов — это обычный инференс модели. При наивном инференсе видеокарты используются не на полную. Помочь решить эту проблему способен спекулятивный декодинг. Его суть заключается в том, что маленькая драфт-модель, учится предсказывать, какие токены сгенерирует основная модель. Последней остаётся лишь верифицировать, правильную ли гипотезу выдала драфт-модель. В режиме спекулятивного декодинга разрыв между компьютом и трансфером памяти сокращается. Авторы проверяли свою гипотезу на небольшой модели — Qwen3-8B. Обучали её на математическом датасете DAPO-Math-17K, а валидировали — на AIME-2024. При этом других наборов данных не использовали, что немного подозрительно. Возможно, именно из-за такого выбора сетапа получились хорошие результаты. Кроме того, замеры проводили на Qwen3-235B, но в симуляции, из-за чего полученные результаты могут отличаться от реальных. Модель обучали в двух режимах. Первый, RL-Think, предполагает простое обучение после SFT (или продолжение RL-стадии поверх уже ризонящей модели), а второй, RL-Zero, — RL сразу поверх претрейн-модели. Во втором случае спекулятивные модели вроде EAGLE дают лучший acceptance. Касательно самого предсказания: авторы пришли к выводу, что наибольшее ускорение получается при трёх спекулируемых токенах. Интересно, что при предсказании уже пяти токенов генерация, напротив, замедляется. В RL-Zero ускорение генерации — 1,77x против 1,54x в RL-Think: драфтеру проще предсказывать распределение менее обученной политики. На общем времени GRPO-шага разрыв уменьшается, потому что спекулятивный декодинг ускоряет только генерацию, а пересчёт log-prob и шаг оптимизатора занимают примерно то же время, что и без него. В симуляции с Qwen3-235B ускорение составило 2,5х. Но, опять же, в реальных рабочих сценариях прирост может быть скромнее. В дополнение авторы предлагают доучивать драфт-модель во время GRPO, чтобы она не отставала от меняющейся политики основной модели. Делается это так: берутся скрытые представления основной модели, на них навешивается .detach() , после чего они отправляются в драфтер. Такая система позволяет обучать драфтера вместе с основной моделью, не оказывая на неё влияния (схема на приложенном изображении). Разбор подготовил Павел Васильев Душный NLP

North-Mini-Code-1.0-w4a16 Квантованная версия (4-бит вес, 16-бит активации) первой модели Cohere для разработчиков: управление подзадачами, анализ архитектуры, code review. * Архитектура: Sparse MoE на базе Transformer. 30B параметров всего, 3И активно. Высокая скорость, низкие требования к GPU. * Контекстное окно: 256K токенов для анализа репозиториев целиком. * Максимальный вывод: до 64K токенов. * Поддержка: нативные инструменты, чередующееся рассуждение (interleaved reasoning) через JSON-схему. * Обучение: платформы SWE-Agent, mini-SWE-agent, OpenCode, Terminus 2 для устойчивости в реальных средах. Сценарии использования: * генерация кода и тестов * рефакторинг legacy-кода * автоматизированный code review в CI/CD * локальный AI-ассистент для приватности * создание агентных пайплайнов для аудита безопасности и unit-тестов #MoE #reasoning #coding

✔️ OpenAI переманила главного разработчика Apple Vision Pro Вице-президент Apple по аппаратному обеспечению Пол Мид, 7 лет работавший над проектом Vision Pro, перешел в OpenAI. Он присоединится к разработке физических ИИ-устройств. Мид будет работать в команде с дизайнером Джони Айвом и еще двумя бывшими топ-менеджерами Apple. Спецификации будущих гаджетов не раскрываются. По словам Сэма Альтмана, задача нового оборудования - обеспечить взаимодействие с ИИ вне интерфейса смартфонов. Мид уволился из Apple на фоне реструктуризации. Из-за изменения цепочки подчинения он потерял прямой доступ к высшему руководству корпорации. Пост Мида в Apple занял его бывший заместитель. bloomberg.com ✔️ Южная Корея инвестирует $650 млрд в ИИ и полупроводники Президент страны анонсировал 10-летнюю программу развития микроэлектроники, ИИ и робототехники с бюджетом $650 млрд. Центральный элемент стратегии - строительство нового полупроводникового кластера на юго-западе страны. Проект реализуют Samsung Electronics и SK Group. Правительство обеспечит базовую инфраструктуру: электричество, воду, транспортные сети, а также строительство жилья и подготовку инженерных кадров. firstpost.com ✔️ Amazon дистиллирует модели Anthropic для внутренних задач Компания создает компактные модели, обучаемые на инференсе Claude, чтобы избежать скачка расходов. Со следующего года Amazon откажется от почасовой оплаты за компьют Anthropic и перейдет на тарификацию за токены. На данный момент платформа Amazon Bedrock предлагает клиентам услугу дистилляции для моделей Nova и Llama. Использование семейства Claude для аналогичной процедуры пока доступно только инженерам самой Amazon. Параллельно корпорация развивает собственную линейку моделей, чтобы диверсифицировать риски и снизить зависимость от одного вендора ИИ. theinformation.com ✔️ Институт Аллена обновил открытую модель для анализа спутниковых снимков до v1.2 В мажорном обновлении OlmoEarth отказались от стандартных позиционных сигналов в пользу RoPE. Переход устранил артефакты в выходных эмбеддингах и улучшил качество представления данных. Рост производительности зафиксирован в бенчмарках kNN и linear-probe для всех версий модели. Архитектура OlmoEarth поддерживает мультимодальный анализ и обрабатывает мультиспектральные снимки Sentinel-2 и Landsat, радарные данные Sentinel-1, глобальные карты рельефа и индексы растительности. Семейство включает 4 размера: Nano, Tiny, Small и Base. Веса моделей опубликованы на Hugging Face. Код и скрипты для дообучения доступны на GitHub. Ai2 с сети Х ✔️ ИИ разрушает классическую бизнес-модель консалтинга Руководство Deloitte прогнозирует отказ от почасовой оплаты консалтинга из-за развития ИИ-агентов. На внутреннем собрании в компании заявили, что к 2035 году автономные модели займут основную долю рынка профессиональных услуг. Вместо продажи человеко-часов консалтинговые корпорации переходят на IT-модель - подписки и решения с фиксированной ценой. McKinsey и Boston Consulting Group внедряют ценообразование, привязанное к результатам работы. По данным WSJ, на подобные контракты у McKinsey приходится более 30% выручки. wsj.com @ai_machinelearning_big_data #news #ai #ml