ИИ

Я наконец, запустил свой Codex на Linux сервере, с прямым контролем из-под мобильного ChatGPT приложения (через `remote-control`). Это дает возможность запускать разные задачи нативно без привязки к маку. NB: До этого пробовал разные харнесы со своими telegram интеграциями, но все это не то. Хотелось именно нативного. Для этого:

# ставим `codex` CLI одной из последних верси
npm install -g @openai/codex@latest

# запускаем демона с включенным remote control 
codex remote-control start

# Получаем коротко-живущий код, который вводим в "pair new device" в мобильном приложении
codex remote-control pair

# Остановить демона, когда он не нужен, или когда начинают идти ошибки подключения
codex remote-control stop

Работает пока не очень стабильно (т.к. фича экспериментальная), но это именно тот workflow, который разрабатывает OpenAI. Ваш, @llm_under_hood 🤗

Зарабатываем на ИИ, часть 3 Я написал о том кто зарабатывает и растет быстрее всех в ИИ сегодня, и что должно быть правдой чтобы построить большую компанию в пост-ИИ мире. Давайте теперь порассуждаем о трендах, потому что невозможно предсказать точно будущее, но можно найти базовые принципы и отвалидировать их на эмпирических трендах. 1. Open source займет большую часть рынка Отставание открытых моделей от фронтира держится на уровне 3 месяцев и постепенно сокращается. При этом цена моделей ниже в разы. Любая компания, которая хочет построить moat вокруг пост-трейна будет использовать именно открытые модели, делать вокруг них RL чтобы минимизировать цену для своих пользователей. Перепродажа токенов - это худший бизнес, которым вы хотите заниматься. Он будет работать только в масштабе с минимальной операционной маржой, как Amazon для зубной пасты. Большинство задач в экономике уже сегодня не требуют фронтир моделей, но требуют все более сложную агентскую оркестрацию и харнес, именно там можно создавать проприентарную ценность, а значит и капитализацию. 2. Адаптация технологий будет медленнее их развития За каждый % в экономически значимом бенчмарке, все меньший процент адопшена в реальном корпоративном мире будет происходить. Причина в том, что внедрение ИИ — это процесс перестройки организационно дизайна, но люди владеющие бюджетом считают что это процесс технический. В реальности он социальный, это задача менеджмента, что требует изменения привычек и способа координации, инсентивов, даже постепенной смены системы образования. Эффект от ИИ в экономике есть сегодня, но его чувствуют примерно 0.1% компаний, тогда как ТАМ этого эффекта скорее 90-99%. Рынок экономической диффузии потенциально больше рынка продажи токенов, потому что ты продаешь знание и изменение (бесконечны), а не конвертацию электронов в токен (конечны). Это рынок сбора контекста и изменение системы оранизации людей вокруг технологий, но не технологий. Напишу отдельный пост о диффузии и рынке труда на основе последних исследований, что я читал. 3. Миру нужно 1,000x (по словам Дженсена 1,000,000,0000x) больше ИИ вычислений, но победят приложения Спрос на ИИ вырастет в тысячи раз, из-за пунктов (1), (2), агентов, персональных ИИ систем и массовых юзкейсов, о которых я писал, типа образования и медицины. При этом, история развития любой технологии на планете показывает, что инфраструктура всегда в итоге становится наименьшей долей в добавочной стоимости. Железная дорога, телегрфные столбы, оптоволокно и сервера для сайтов зарабатывают куда меньше, чем сервсиные бизнесы и продукты. То же самое неминуемо в ИИ, но buildout фаза может занять многие годы (я писал почему), а вот ИИ нейтив продукты пока еще толком никто не изобрел. Все пытаются либо навайбкодить то, что вообще должно (и будет) бесплатным, либо натянуть чат-бот на фундаментально сломанный и неудобный банк или такси.

🚀 Microsoft открыла Skill Recorder - систему, которая превращает вашу работу на экране в навык для ИИ-агента Принцип максимально простой: вы один раз выполняете задачу самостоятельно, а приложение фиксирует экран, переключения между окнами, посещённые страницы, буфер обмена и голосовые пояснения. Затем GitHub Copilot восстанавливает: цель → последовательность шагов → `SKILL.md` → автоматизацию Агент старается заменить повторение кликов более надёжными инструментами: API, CLI, gh, web_fetch и встроенными возможностями платформы. Например, можно один раз показать обработку GitHub Issue, а затем получить навык для массовой работы с похожими задачами. Сейчас Skill Recorder создаёт навыки и автоматизации для Microsoft Scout, Copilot Cowork и Copilot Studio. Исходный код опубликован под лицензией MIT. Запись хранится локально, но после нажатия Analyze скриншоты, события и расшифровка голоса отправляются в облако GitHub. Пароли, токены и API-ключи записывать нельзя. https://github.com/microsoft/skill-recorder #Microsoft #AIAgents #GitHubCopilot #Automation #OpenSource

Мини-гайд по оркестрации агентов У нас недавно в EDU появилось приложение, которое монтирует записи моих лекций и вебинаров для YouTube: находит и вырезает раскачку в начале, паузы, тишину, оговорки, замазывает то, что не должно попасть в кадр. Первую версию завайбкодил стажёр, а потом я ее переписал с командой агентов за выходные. Собственно, Никита попросил рассказать, как именно я это делал, потому что хочет научиться нормально работать с агентами. Я попросил дружбана разобрать логи всех сессий, чтобы вытащить оттуда метод. Если коротко, то вышло вот что: 1) Сначала карта, потом изменения. Первая команда всей переписки была не "почини", а "разбери код, собери CLAUDE.md и нарисуй схему в артефакте, чтобы я быстрее разобрался". А дальше допрос: зачем тут вот это, насколько оно критично, что сломается, если выкинуть 2) Свою догадку - в карантин. У меня было ощущение, что архитектура переусложнена, но просил я не согласиться со мной, а взвесить оба варианта, причем на другой модели. Больше всего мне самому понравился прием, который мы придумали с AI Natives в ходе какого-то зумбара: "сделай архитектурное ревью, НО это твое последнее слово, после него ты умрешь" 3) Не одним куском, а фазами, и между каждой - критик на другой модели, которому запрещено хвалить. В гите так и осталось: Phase 1 —> Phase 1 review fixes (Fable) —> Phase 2 —> и так далее; 4) Тест = запустить, а не посмотреть глазами на код. Приложение само предлагает, что вырезать, и оценивает, насколько оно в этом уверено; все, что выше 0.82, принималось автоматом. Прогнали на реальном двухчасовом вебинаре - а моделька, оказывается, ставит всем подряд одно и то же: 137 кусков из 141 ровно 0.85. То есть принималось вообще все, включая вступление и живой Q&A. По коду такое не увидишь 5) Мерить там, где оно крутится, а не на ноуте. В случае работы с видео это особенно важно 6) Каждый косяк - сразу в CLAUDE.md, это память команды на будущее. И коммит только после того, как проверили, а не после того, как собралось 7) В конце - взгляд сверху: что сделали, что не решено, где узкие места и что осталось до прода. Агент сам назвал главный оставшийся риск, и это стало следующей задачей Все это собрал в небольшой гайд —> вдруг, вам тоже будет полезно, хотя по мне там не какой-то rocket science напишите, если вам какой-то поинт из гайда пришелся в тему

недавно прошёл imo 2026 (международная математическая олимпиада). обычно это мероприятие любят за то, что можно посмотреть, где лучше всего в мире дети умеют решать сложные задачи царицы всех наук, и кого можно захайрить в хэдж-фонд через 5 лет. но с недавних пор туда стали допускать llm и это стало отдельным зрелищем. и в этом году opus 5 идеально решил imo 2026: 42/42 балла. это пока единственная модель, которую успели прогнать по задачам олимпиады, и она сразу показала идеальный скор. на примере таких событий очень занятно наблюдать за скоростью прогресса. openai и google в прошлом году тоже взяли на imo золото. при этом скор там был не идеальный, как у opus 5, и вообще это были внутренние специально затюненные модели компаний, недоступные обычным пользователям. вообще в теме ии и математики происходят невероятные вещи: модели чуть ли не каждую неделю делают открытия по задачам, которые я едва могу прочитать. модель openai опровергла гипотезу эрдёша 1946 года про единичные расстояния (80 лет считалось, что лучше квадратной решётки не бывает; оказалось, бывает), и филдсовский лауреат гауэрс назвал это вехой ai-математики. а alphaproof nexus от deepmind автономно закрыл 9 из 353 открытых задач эрдёша. imo тут выглядит разминкой. но если интересно следить за людьми, то небольшая статистика: 1/ 666 участников из 117 стран. 55 золотых медалей, 105 серебряных, 189 бронзовых. идеальный результат у семерых. золото разъехалось по 31 стране. 2/ китай: все шесть участников взяли золото, 232 балла из 252 возможных и три идеальных 42/42 из семи на всю олимпиаду. следом сша (207 баллов, четыре золота) и россия (196, тоже четыре). 3/ семь из десяти лучших команд азиатские: китай, сингапур, вьетнам, корея, индия, кндр, япония. кндр к слову, на девятом месте, выше японии, франции и германии. 4/ словакия взяла два золота, больше, чем германия и франция вместе. по золоту у боснии, северной македонии и грузии. а у нидерландов, швеции, норвегии, дании, бельгии и финляндии на всех ни одного золота или серебра, только бронза. 5/ лучшая команда западной европы, франция, всего лишь #15. без единого золота, зато пять серебра. из той же серии ровных команд без звезды: бразилия (#11, тоже пять серебра это лучший результат в латам), казахстан (#22) 6/ отдельное наблюдение про происхождение. в сборной сша за последние десять лет примерно две трети участников с китайскими фамилиями, ещё ~15% с индийскими (считал по фамилиям, так что оценка грубая). в этом году из шести человек, трое ванов и один яо. ещё решил чекнуть, где сегодня работают олимпиадники, особенно когорты последних 5–10 лет. данные местами шумные, так что оставляю на ваше усмотрение. свежий срез по ~18 000 медалистов (карьера прослеживается примерно у половины): 36% уходят в академию, 22% в тех, 12% в квант, фаундеров всего 4.5%. топ работодателей в абсолюте: google 212 человек, meta 86, deepmind 49, jane street 47, openai 38. ai-лабы теперь в топе, хотя такой категории ещё недавно не существовало: в двадцатке также nvidia (22), anthropic (15) и mercor (14). на 15-й строчке отдельная категория «stealth startup»: 16 медалистов прямо сейчас пилят что-то неанонсированное. еще любопытно, что многие в лабах работают в safety и интерпретируемости (deepmind, anthropic, transluce). тренд по когортам тоже читается: в конце 90-х phd получали 75–95% золотых, у когорт 2010-х уже 60–80%, остальных перетягивают квант и лабы. по вузам концентрация: самый частый бакалавриат медалиста это mit (536 человек, 12% всех), дальше кембридж (321) и, неожиданно, тегеранский шариф (135) , выше принстона, гарварда и стэнфорда. ну и на случай, если вы переживаете, что где-то что-то не успели, помните: дарио амодеи был в сборной сша по физике, но в финальную пятёрку на олимпиаду так и не прошёл. ставьте лайки, сделаю доп разбор на другие предметы (физика, информатика, химия). и как бонус посмотрю на карьерные пути победителей кенгуру и русского медвежонка. ссылки откуда брал данные [1] [2]

Большие языковые модели хорошо распознают изображения. Могут подробно описать, что они там видят и даже где оно примерно находится на листе. Но с точным позиционированием элементов на картинке всё ещё справляются не идеально. Для этого существует отдельный класс моделей. Нашёл на Hugging Face маленькую узкоспециализированную модель для разметки скриншотов веб-страниц. Называется ScreenParser. По факту, это YOLO, дообученный на вот этом датасете из 1,45 миллионов веб-страниц. Модель крошечная (25 миллионов параметров), поэтому без проблем запустится на вашем рабочем ноутбуке. Размечает на bbox-ы и класс элемента. Всего есть 55 классов, которые могут существовать на веб-странице. В JSON складывает также уверенность в том, что элемент распознан верно. Если уверенность низкая, то всегда можно сделать кроп нужной области и отправить на распознание ещё раз. Я уже попробовал модель в качестве одного из инструментов при вёрстке макетов по картинке. Пример разметки можете увидеть в медиа поста. Ставьте 🔥 , если хотите скилл по вёрстке из картинки/скриншота с помощью ScreenParser. Думаю, её также можно добавить к какой-нибудь мелкой on-prem-модели для того, чтобы улучшить навык browser-use.

Трансляции лекций «Лето с AIRI 2026» Наша летняя школа по искусственному интеллекту близится к завершению. Делимся записями трансляций потоковых лекций⤵️ ⏯«Тренды в развитии ИИ и исследования AIRI» Иван Оселедец, д.ф.-м.н., профессор РАН, генеральный директор Института AIRI, декан факультета искусственного интеллекта МГУ ⏯«Обучаемая манипуляция объектами: от RL к VLA моделям» Александр Панов, д.ф.-м.н., профессор РАН, директор лаборатории «Когнитивные системы ИИ» Института AIRI, директор Центра когнитивного моделирования МФТИ ⏯«На пути к сильному ИИ в медицине» Дмитрий Дылов, PhD, директор лаборатории «Сильный ИИ в медицине» Института AIRI ⏯«Стратегия и подходы применения генеративного ИИ в кибербезопасности» Антон Митрофанов, исполнительный директор, Управление экспертизы кибербезопасности Сбера ⏯«От весов до прода: как ломают и защищают ИИ-системы» Олег Рогов, к.ф.-м.н., руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI, руководитель лаборатории безопасного ИИ AIRI-МТУСИ ⏯«Vision? Language? Action? Models» Владислав Куренков, руководитель группы «Адаптивные агенты» Института AIRI ⏯«Интерпретируемый ИИ в анализе многоканальных электрофизиологических данных» Алексей Осадчий, д.к.н., руководитель группы «Нейроинтерфейсы» Института AIRI, директор Центра биоэлектрических интерфейсов НИУ ВШЭ ⏯«От промпта к цифровому сотруднику» Ярослав Беспалов, руководитель группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине» Института AIRI ⏯«На пути к L5 автономии в транспорте. Актуальные задачи современных систем» Дмитрий Сенюшкин, к.к.н., руководитель группы «Автономное зрение» Института AIRI ⏯«От машинного обучения к ИИ материаловедению» Роман Еремин, к.ф.-м.н., руководитель группы «Дизайн новых материалов» Института AIRI ⏯«Может ли ИИ заменить учёных?»Автономные агенты и будущее науки» Пётр Анохин, к.б.н., руководитель группы «Нейрокогнитивные архитектуры» Института AIRI ⏯«Ура, Уроборос! От понимания BIM к самоэволюции и градостроительству» Артём Просветов, исполнительный директор по исследованию данных, Сбер ⏯«Знает ли модель, что она не знает? Введение в оценивание неопределённости в LLM и VLM» Елизавета Гончарова, к.к.н., руководитель группы «Мультимодальный ИИ» лаборатории FusionBrain Института AIRI ⏯«Всем пятёрки, или как оценивать AI-исследователей — парадоксы, ловушки, качество и новизна» Анастасия Волкова, руководитель направления по исследованию данных Центра исследований генеративного ИИ Sber AI ⏯«Как не потерять права на свои разработки» Вита Власова, руководитель направления партнёрского сопровождения и интеллектуальной собственности Института AIRI ⏯«Faithfulness в языковых моделях» Глеб Ершов, Data Science-инженер Авито ⏯«Как ИИ помогает взламывать код жизни» Алёна Аспидова, инженер-исследователь группы геномики Центра ИИ-разработки новых лекарственных препаратов AIDD Института AIRI ⏯«Эффективный ИИ: главные оптимизации последних лет и почему они сработали» Данил Сивцов, инженер-исследователь группы «Вычислительный интеллект» Института AIRI ⏯«Терминальные агенты в задачах автоматизации актовый зал доменных исследований» Даниил Сухоруков, научный сотрудник группы «ИИ в промышленности» Института AIRI ⏯«Современные методы квантования моделей» Начын-Энхэдоржу Ооржак, специалист по исследованию данных, Блок «Риски», Сбер Записями всех лекций и семинаров мы поделимся после завершения Школы✔️

Занимаются ли разработчики ИИ-моделей пеликанмаксингом? Несколько лет Саймон Уиллисон встречает каждый крупный релиз одним промптом про SVG с пеликаном на велосипеде, и картинка стала неформальным бенчмарком, который обсуждает весь Hacker News. Когда на кону триллионы, велик соблазн втихую натаскать модель именно на этот сюжет. Кто-то решил это проверить и сгенерировал 1008 картинок по сетке из восьми животных и шести видов транспорта в семи передовых моделях. Логика простая. Если лаборатории тренируют модели под бенчмарк, пеликаны должны быть наверху рейтинга. Пеликан оказался шестым из восьми, его обошли кошка, кит, енот, цапля и антилопа, а связка пеликан на велосипеде встала на 42-е место из 48. Похоже на закрытое дело, только дальше в ход идут регрессия с поправкой на сложность и один-единственный результат, который выбился из статистического шума. Выясним, устоял ли вывод об отсутствии пеликанмаксинга под строгой проверкой.

Graph Engineering. Anthropic починили главный баг мульти-агентов Графы агентов — новый стандарт. Быстрее, масштабнее, умнее. Но есть проблема: один сбой в ноде → портит весь результат. И вы даже не понимаете где именно. Если вы уже пробовали multi-agent пайплайны — вы это видели. Что происходит под капотом Раньше: loop engineering - Один агент - Линейный процесс - Шаг → проверка → следующий шаг Теперь: graph engineering - Десятки агентов параллельно - Каждая нода — отдельная задача - Скорость выше, покрытие лучше Но как всегда платим мы за этот праздник. Цена выполнены задачи на круг выше. - Токены улетают быстрее - Дебаг почти невозможен - Ошибка масштабируется на весь граф Ключевой инсайт Anthropic Проблема не в графах. Проблема — в валидации. Если проверка слабая → граф деградирует экспоненциально. Что они сделали (и что стоит повторить) 1) Разделили валидацию на типы - Standalone — глубокая проверка финального результата (thermo-nuclear-code-quality-review) - Embedded — проверка внутри каждого шага - Second opinion — независимая ревизия без контекста - использовать Chrome headless вместо тестов в обычном Chrome, так как это дороже в токенах. Команды: /verify (анализирует код от начала до конца и подтверждает, что он работает) toolchain – цепочка инструментов, которая подтверждает. /review skill для проверки кода 2) Добавили orchestration layer - Один skill управляет всеми проверками - Запускает их параллельно - Собирает единый отчёт 3) Критический момент: модель для проверки - Дешёвые модели → больше ложных ошибок - Дорогие модели → меньше, но точнее - Экономия здесь = деградация всей системы Реальный кейс: Haiku нашёл "много багов" → половина ложные Opus нашёл меньше → но релевантно Вывод: дешёвая проверка = двойная работа Практическое применение Где это даёт максимум ROI: - Генерация кода → проверка архитектуры + тесты - Контент-пайплайны → фактчекинг + стиль - Data pipelines → валидация данных на каждом этапе - AI-ассистенты → контроль галлюцинаций Фреймворк, который можно забрать - Разбей задачу на ноды - Добавь embedded проверку в каждую - Повесь second opinion на критические шаги - Сделай orchestrator skill - Самую сильную модель — только на проверку === В графах выигрывает не тот, у кого больше агентов. А тот, у кого лучше система валидации. И это уже не про промпты. Это про архитектуру. 🎞 Подробнее в видео

Принес вам клондайк информации про Seedance 2.5 и не только. Сразу идем с козырей сюда: https://waytoagi.feishu.cn/wiki/PXmgwhty9i4LRak2yLIcidpZnle Видим огромную китайскую Wiki. Пытаемся перевести - не получаетсо. После этого у вас есть два пути: 1. Помучить chatGPT Work(как я вначале) - он вам сделает перевод налюбой язык в PDF, например. 2. Со все дури кликнуть на Login or Registration вверху справа, там выбрать More Ways to Login, потом выбрать Lark для входа, там логнуться Гуглом. Оппаньки, и у вас появится магическое меню справа вверху (...) где можно: - перевести на русский и еще десяток языков - настроить автоперевод(!) и выбранные слева разделы буду автоматически переводиться - выкачать как пдф, doc или md и скормить на перевод - сделать копию - это как на гугль драйве, можно сделать свою папку Чтобы вернуться в полную навигацию, выйдите из режима перевода сверху Короче, забирайте свежий, пахнущий краской Гайд по Seedance 2.5, включая длинные видео и прочая. А также вокфлоу с Блендором и даже сравнение с Minimax H3! Все это создано 31 июля, а редактируется прямо сейчас (вики). Если у вас не получилось с логином, то есть обходной путь, но не для всех страниц: найдо найти на странице в начале ссылки типа https://mp.weixin.qq.com/s/ei-RigH49vVpsAybY0YW6g Их уже кушает Гугл Транслейт, держите: https://mp.weixin.qq.com/s/4klSaB5gL4jAXM9t6fNWQA https://mp.weixin.qq.com/s/60pLamaeBUmh7dy3bT2cNg https://mp.weixin.qq.com/s/tVIprEnTLPeAuQBtySBPeA https://mp.weixin.qq.com/s/xg6P4AyTLbyNzhFPoa_STQ Ну и поглядите эту Вики, там и про Happy Horse и про 3Д и про Комфи. Это прям палеонтологический музей генеративной истории. @cgevent