TurboVLA: робот получает команды в разы быстрее при 97% успешных выполнений благодаря замене LLM на BERT Исследователи из Хуачжунского университета науки и технологий и Huawei опубликовали TurboVLA, компактную vision-language-action модель, которая выдаёт действия для робота за 31.2 мс на RTX 4090 и набирает 97.7% на бенчмарке для роботов LIBERO. Главное отличие от других VLA в том, что внутри нет LLM. Вместо неё лёгкий текстовый энкодер BERT, а картинка и инструкция обмениваются информацией напрямую через модуль кросс-внимания. Отсюда 0.2B параметров вместо миллиардов и меньше 1 ГБ видеопамяти при инференсе. Обычно VLA-модели устроены так: робот получает картинку с камеры и текстовую инструкцию по типу «сложи три миски друг на друга». Визуальные признаки сначала проецируются в пространство токенов языковой модели, склеиваются с токенами инструкции, прогоняются через модель, и уже из её скрытых состояний декодируются действия. Этот путь обозначается как V → L → A: сначала зрение, затем язык, потом действие. Ключевое наблюдение исследователей простое: если в инструкции уже написано, что делать, то от текста нужно только подсказать, на какие визуальные детали смотреть. Вместо V → L → A авторы предлагают прямое отображение V + L → A. Картинки и инструкция кодируются независимо, потом обмениваются информацией напрямую, минуя большую языковую модель. За один прямой проход модель выдаёт сразу чанк из 12 шагов управления. Результаты на бенчмарке для роботов LIBERO: TurboVLA набирает 97.7% в среднем при 0.2B параметров, 0.9 ГБ видеопамяти и 31.2 мс задержки. Для сравнения, модель π0.5 выдаёт 96.9% при 3.4B параметров, 12.8 ГБ и 93.6 мс. VLA-JEPA набирает 97.2% при 2.8B и 108.7 мс, CogVLA 97.4% при 8.3B и 115.5 мс. Среди лёгких моделей Evo-1 даёт 94.8% при 0.8B, VLA-Adapter 97.3% при 1.5B. На реальном роботе AgileX Piper модель проверили на четырёх задачах (взять валик, отодвинуть карту, нажать степлер, сложить три миски) и получила от 80% до 92.5% успеха, в каждой из них обойдя π0.5. Симуляционную часть можно воспроизвести целиком: обучение и тесты шли на открытых датасетах LIBERO и RoboTwin 2.0 (для версии под RoboTwin брали визуальный энкодер побольше, там 0.4B параметров). Собственные данные использовали только для дообучения под реального робота. TurboVLA рассчитана на конкретные инструкции. Если попросить робота «приготовить завтрак», разбивать это на шаги будет нечем. Код модели доступен на GitHub под лицензией Apache-2.0, веса выложены на Hugging Face. #Stateoftheart

🚀 Microsoft открыла Skill Recorder - систему, которая превращает вашу работу на экране в навык для ИИ-агента Принцип максимально простой: вы один раз выполняете задачу самостоятельно, а приложение фиксирует экран, переключения между окнами, посещённые страницы, буфер обмена и голосовые пояснения. Затем GitHub Copilot восстанавливает: цель → последовательность шагов → `SKILL.md` → автоматизацию Агент старается заменить повторение кликов более надёжными инструментами: API, CLI, gh, web_fetch и встроенными возможностями платформы. Например, можно один раз показать обработку GitHub Issue, а затем получить навык для массовой работы с похожими задачами. Сейчас Skill Recorder создаёт навыки и автоматизации для Microsoft Scout, Copilot Cowork и Copilot Studio. Исходный код опубликован под лицензией MIT. Запись хранится локально, но после нажатия Analyze скриншоты, события и расшифровка голоса отправляются в облако GitHub. Пароли, токены и API-ключи записывать нельзя. https://github.com/microsoft/skill-recorder #Microsoft #AIAgents #GitHubCopilot #Automation #OpenSource

Мини-гайд по оркестрации агентов У нас недавно в EDU появилось приложение, которое монтирует записи моих лекций и вебинаров для YouTube: находит и вырезает раскачку в начале, паузы, тишину, оговорки, замазывает то, что не должно попасть в кадр. Первую версию завайбкодил стажёр, а потом я ее переписал с командой агентов за выходные. Собственно, Никита попросил рассказать, как именно я это делал, потому что хочет научиться нормально работать с агентами. Я попросил дружбана разобрать логи всех сессий, чтобы вытащить оттуда метод. Если коротко, то вышло вот что: 1) Сначала карта, потом изменения. Первая команда всей переписки была не "почини", а "разбери код, собери CLAUDE.md и нарисуй схему в артефакте, чтобы я быстрее разобрался". А дальше допрос: зачем тут вот это, насколько оно критично, что сломается, если выкинуть 2) Свою догадку - в карантин. У меня было ощущение, что архитектура переусложнена, но просил я не согласиться со мной, а взвесить оба варианта, причем на другой модели. Больше всего мне самому понравился прием, который мы придумали с AI Natives в ходе какого-то зумбара: "сделай архитектурное ревью, НО это твое последнее слово, после него ты умрешь" 3) Не одним куском, а фазами, и между каждой - критик на другой модели, которому запрещено хвалить. В гите так и осталось: Phase 1 —> Phase 1 review fixes (Fable) —> Phase 2 —> и так далее; 4) Тест = запустить, а не посмотреть глазами на код. Приложение само предлагает, что вырезать, и оценивает, насколько оно в этом уверено; все, что выше 0.82, принималось автоматом. Прогнали на реальном двухчасовом вебинаре - а моделька, оказывается, ставит всем подряд одно и то же: 137 кусков из 141 ровно 0.85. То есть принималось вообще все, включая вступление и живой Q&A. По коду такое не увидишь 5) Мерить там, где оно крутится, а не на ноуте. В случае работы с видео это особенно важно 6) Каждый косяк - сразу в CLAUDE.md, это память команды на будущее. И коммит только после того, как проверили, а не после того, как собралось 7) В конце - взгляд сверху: что сделали, что не решено, где узкие места и что осталось до прода. Агент сам назвал главный оставшийся риск, и это стало следующей задачей Все это собрал в небольшой гайд —> вдруг, вам тоже будет полезно, хотя по мне там не какой-то rocket science напишите, если вам какой-то поинт из гайда пришелся в тему

Дайджест новостей за неделю 27 июля–2 августа 2026 Раз в неделю я выпускаю обзор самых интересных новостей финансов и технологий в России и мире (одновременно в формате текста, видео и подкаста) – достаточно потратить всего 15–30 минут, чтобы быть в курсе событий. Темы прошедшей недели: — Тема недели: Павел объявлен этим самым — Новости России: Суд решил, что нейронки – это несекьюрно — Новости финансов: ФРС искореняет инфляцию (но не так, как все хотели) — Лонгрид недели: Ашенбреннер потерял много денег — Новости AI: Модель Антропика тоже сбежала — Новости технологий: Трамп против роботов-пылесосов — Новости крипты: Холодные кошельки с биткоинами взломали — Хорошая новость недели Топовые посты прошлой недели из моего второго канала: 🐌 Интересная стата про открытие новых бизнесов в США и UK (точнее, про шансы их закрытия) 🐌 Дамодаран вангует про SpaceX 🐌 Буду с 4 по 11 августа в Астане, не теряйте #RationalNews #нетвойне текст | видео | подкаст

Большие языковые модели хорошо распознают изображения. Могут подробно описать, что они там видят и даже где оно примерно находится на листе. Но с точным позиционированием элементов на картинке всё ещё справляются не идеально. Для этого существует отдельный класс моделей. Нашёл на Hugging Face маленькую узкоспециализированную модель для разметки скриншотов веб-страниц. Называется ScreenParser. По факту, это YOLO, дообученный на вот этом датасете из 1,45 миллионов веб-страниц. Модель крошечная (25 миллионов параметров), поэтому без проблем запустится на вашем рабочем ноутбуке. Размечает на bbox-ы и класс элемента. Всего есть 55 классов, которые могут существовать на веб-странице. В JSON складывает также уверенность в том, что элемент распознан верно. Если уверенность низкая, то всегда можно сделать кроп нужной области и отправить на распознание ещё раз. Я уже попробовал модель в качестве одного из инструментов при вёрстке макетов по картинке. Пример разметки можете увидеть в медиа поста. Ставьте 🔥 , если хотите скилл по вёрстке из картинки/скриншота с помощью ScreenParser. Думаю, её также можно добавить к какой-нибудь мелкой on-prem-модели для того, чтобы улучшить навык browser-use.

Graph Engineering. Anthropic починили главный баг мульти-агентов Графы агентов — новый стандарт. Быстрее, масштабнее, умнее. Но есть проблема: один сбой в ноде → портит весь результат. И вы даже не понимаете где именно. Если вы уже пробовали multi-agent пайплайны — вы это видели. Что происходит под капотом Раньше: loop engineering - Один агент - Линейный процесс - Шаг → проверка → следующий шаг Теперь: graph engineering - Десятки агентов параллельно - Каждая нода — отдельная задача - Скорость выше, покрытие лучше Но как всегда платим мы за этот праздник. Цена выполнены задачи на круг выше. - Токены улетают быстрее - Дебаг почти невозможен - Ошибка масштабируется на весь граф Ключевой инсайт Anthropic Проблема не в графах. Проблема — в валидации. Если проверка слабая → граф деградирует экспоненциально. Что они сделали (и что стоит повторить) 1) Разделили валидацию на типы - Standalone — глубокая проверка финального результата (thermo-nuclear-code-quality-review) - Embedded — проверка внутри каждого шага - Second opinion — независимая ревизия без контекста - использовать Chrome headless вместо тестов в обычном Chrome, так как это дороже в токенах. Команды: /verify (анализирует код от начала до конца и подтверждает, что он работает) toolchain – цепочка инструментов, которая подтверждает. /review skill для проверки кода 2) Добавили orchestration layer - Один skill управляет всеми проверками - Запускает их параллельно - Собирает единый отчёт 3) Критический момент: модель для проверки - Дешёвые модели → больше ложных ошибок - Дорогие модели → меньше, но точнее - Экономия здесь = деградация всей системы Реальный кейс: Haiku нашёл "много багов" → половина ложные Opus нашёл меньше → но релевантно Вывод: дешёвая проверка = двойная работа Практическое применение Где это даёт максимум ROI: - Генерация кода → проверка архитектуры + тесты - Контент-пайплайны → фактчекинг + стиль - Data pipelines → валидация данных на каждом этапе - AI-ассистенты → контроль галлюцинаций Фреймворк, который можно забрать - Разбей задачу на ноды - Добавь embedded проверку в каждую - Повесь second opinion на критические шаги - Сделай orchestrator skill - Самую сильную модель — только на проверку === В графах выигрывает не тот, у кого больше агентов. А тот, у кого лучше система валидации. И это уже не про промпты. Это про архитектуру. 🎞 Подробнее в видео

Принес вам клондайк информации про Seedance 2.5 и не только. Сразу идем с козырей сюда: https://waytoagi.feishu.cn/wiki/PXmgwhty9i4LRak2yLIcidpZnle Видим огромную китайскую Wiki. Пытаемся перевести - не получаетсо. После этого у вас есть два пути: 1. Помучить chatGPT Work(как я вначале) - он вам сделает перевод налюбой язык в PDF, например. 2. Со все дури кликнуть на Login or Registration вверху справа, там выбрать More Ways to Login, потом выбрать Lark для входа, там логнуться Гуглом. Оппаньки, и у вас появится магическое меню справа вверху (...) где можно: - перевести на русский и еще десяток языков - настроить автоперевод(!) и выбранные слева разделы буду автоматически переводиться - выкачать как пдф, doc или md и скормить на перевод - сделать копию - это как на гугль драйве, можно сделать свою папку Чтобы вернуться в полную навигацию, выйдите из режима перевода сверху Короче, забирайте свежий, пахнущий краской Гайд по Seedance 2.5, включая длинные видео и прочая. А также вокфлоу с Блендором и даже сравнение с Minimax H3! Все это создано 31 июля, а редактируется прямо сейчас (вики). Если у вас не получилось с логином, то есть обходной путь, но не для всех страниц: найдо найти на странице в начале ссылки типа https://mp.weixin.qq.com/s/ei-RigH49vVpsAybY0YW6g Их уже кушает Гугл Транслейт, держите: https://mp.weixin.qq.com/s/4klSaB5gL4jAXM9t6fNWQA https://mp.weixin.qq.com/s/60pLamaeBUmh7dy3bT2cNg https://mp.weixin.qq.com/s/tVIprEnTLPeAuQBtySBPeA https://mp.weixin.qq.com/s/xg6P4AyTLbyNzhFPoa_STQ Ну и поглядите эту Вики, там и про Happy Horse и про 3Д и про Комфи. Это прям палеонтологический музей генеративной истории. @cgevent