Qwen-AgentWorld новая world models с 🛍 Команда Qwen выпустила не просто очередную LLM, а world models 😎 (точнее Language World Model) - по сути это модель, которая симулирует последствия действий агентов в 7 доменах: терминал, веб, Android, OS, SWE, поиск, MCP😜 Модель уже доступна с контекстом до 262K токенов. В чём суть? Обычные агенты решают, что делать в среде, в RL это зовётся политикой (policy), а Qwen-AgentWorld же предсказывает, что произойдёт после действия. Это как симулятор "реальности" в голове ИИ, позволяющий планировать без постоянных обращений к реальной среде. Крч становится доступна "осмысленная" многоходовочка. 🧠 Ключевые факты из статьи: 🤍 Архитектура: уже знакомая 35B параметров, активируется только 3B за счёт MoE - 256 экспертов, 8 активных. Гибрид из Gated DeltaNet 75% слоёв для скорости и Gated Attention 25%, для точности. 📚 Обучение: >10 млн реальных траекторий из 7 доменов + 3-этапный пайплайн: - CPT – закладка знаний о динамике сред - SFT – активация рассуждений для next-state prediction. - RL (GSPO) – оттачивание точности с гибридной наградой рубрики + правила. Помните рубрики обсуждали тут. 🏆 Бенчмаркинг AgentWorldBench: результаты на уровне GPT‑5.4 и Claude Opus 4.8, а 35B-версия превосходит более крупные модели. 🤙 Где применять? 1. Симулятор для RL – ожидаемо, можно обучать агентов в тысячах виртуальных сред без развёртывания инфраструктуры. 2. Горячий старт ака warm‑up для агентных моделей, что улучшает результаты на 7ми downstream‑задачах. Это не просто LLM – это шаг к ИИ, который понимает мир через причинно-следственные связи. Следующий шаг - это VLA с алиэкспресс 👍

✔️ Google реорганизует команду ИИ-кодеров Команда по разработке ИИ для кодинга станет постоянной структурой. Подразделение займет место между этапами pre-training и post-training и возьмет на себя расширение возможностей моделей в программировании. Причина реструктуризации в отставании от Anthropic в сегменте ИИ для кодинга. Google ошибочно полагала, что базовые LLM освоят программирование автоматически без выделенного обучения. В результате инструмент Antigravity оказался проблемным, разработчики раскритиковали Gemini 3.5 Flash за высокую цену, а релиз флагманской Gemini 3.5 Pro до сих пор не состоялся. @ai_machinelearning_big_data #news #ai #ml

СМИ все равно власть, даже в эпоху ИИ Испанцы из Good Rebels разобрали 40 000 ответов ChatGPT, Gemini и Perplexity с целью понять откуда нейросети берут мнение о бренде. Выяснили что редакционный контент "традиционных" СМИ становится дифференцирующим фактором для повышения узнаваемости бренда в таких моделях, как ChatGPT, Gemini или Perplexity, Упоминания в медиа поднимают присутствие бренда в ответах модели в 1,78 раза для банков и в 1,64 для страховых. Редакционный контент отличает заметный бренд от невидимого. Раньше мы оптимизировали выдачу под Яндекс и Google. Сейчас очевидно пора оптимизировать ответы под ChatGPT. Но есть проблема, канал непрозрачный, ни охватов, ни кликов, ни дашборда, виден только итог. Анализ также показывает, что не существует универсальной стратегии оптимизации присутствия бренда в сфере искусственного интеллекта. Perplexity в значительной степени основывает свои ответы на корпоративных веб-сайтах и ​​сайтах с отзывами, которые присутствуют более чем в 78% проанализированных случаев. Gemini более избирательно подходит к редакционным источникам, а ChatGPT практически не ссылается на URL-адреса напрямую, хотя и включает ссылки на СМИ почти в четверти своих ответов.

AI КАК РЕДАКТОР, А НЕ АВТОР Когда я запускал блог, одной из самых неприятных задач было не “придумать тему”. Тем обычно много. Сложнее было разложить мысль компактно, без каши в предложениях, и так, чтобы опытному читателю не хотелось закрыть пост на третьей строке со словами “господи, что я читаю” 😅 И первое место, где AI меня реально вытащил — это не код. Это текст. 🔸Блог Почти каждая статья проходила через ChatGPT: — проверить стилистику — поправить грамматику — найти кривые формулировки — предложить другой способ сказать ту же мысль И вот последнее оказалось важнее, чем кажется. Потому что иногда мысль вроде нормальная, но звучит так, будто её три раза уронили по дороге. У каждого автора есть набор любимых речевых конструкций. Одни и те же связки, одни и те же обороты, один и тот же способ подводить к выводу. С одной стороны — это стиль. С другой — если не обновлять этот пул, текст начинает звучать как пережёванная версия самого себя. У меня это особенно заметно, потому что я довольно быстро нахожу первичную формулировку мысли, но намного хуже умею посмотреть на неё под другим углом. Я уже писал про это в статье Проклятие знаний: когда мысль у тебя в голове собрана, очень легко забыть, что то, что очевидно для тебя может быть не очевидно для читателя. 🔹Курс Вторая большая область — подготовка курса. Первые 3 месяца я собирал материал руками. Ночью, когда жена уходила спать, я садился за комп, шёл в Google, читал научные статьи, разбирался, что там вообще написано, и складывал всё в Notion. Не просто “ссылка на источник”, а: — какая мысль откуда взята — где её нужно использовать — в каком порядке она должна идти — что нельзя исказить при пересказе Так была сделана почти половина курса. А потом появились reasoning-модели, которым можно скормить большой промпт, файлы и дать 40 минут подумать. И здесь AI стал не автором, а независимым валидатором: правильно ли я понял источник, не перепутал ли причинность, не натянул ли вывод на свою картину мира, потому что очень хочется, выдать желаемое за действительное 😅 Вот это оказалось прям ценно. Потому что найти источник — не самая сложная часть. Сложная часть — прочитать, правильно понять, а потом донести мысль так, чтобы не исказить исходный смысл. 🔸И это хорошо ложится на исследования В SAP/HPI исследовании про опыт разработчиков с GenAI есть важный практический вывод:

когда человек использует один режим работы с AI — только chat или только in-code — нагрузка падает. Когда начинает метаться между режимами, выигрыш пропадает.

А ещё точнее в ту же точку попадает свежий RCT Anthropic про формирование навыков. Исследование про код, но механизм универсальный:

когда человек полностью отдаёт задачу AI, у него растёт ощущение продуктивности, но проседает понимание, чтение и отладка — причём без реального выигрыша по скорости. А те, кто работает с AI вовлеченно, спрашивая объяснения, а не готовый ответ, понимание сохраняют.

С текстом у меня работает так же. AI полезен, когда у него понятная роль: редактор, переформулировщик, валидатор или исследователь. А промпт формируется несколькими итерациями, где я подробно рассказываю куда нужно капнуть, что взять и как преобразовать. Но если прописать “давай классную статью по архитектуре”, на выходе очень быстро получается стерильный AI-slop/мусор 🤢 🔻 AI хорошо снижает стоимость итерации мысли. Но мысль всё равно должна быть твоя. Иначе вместо авторского текста/кода получится гладкая, правильная и абсолютно мёртвая жвачка. Ставь 👍 если тебе заходит такого рода контент! Ты знаешь кому переслать эту статью 💪 #ai@UniArchitect

Прошло 3 недели и никто не написал про Apple и WWDC, а мне было лень, но что поделать, надо браться. В начале июня компания проводила ежегодную конференцию для разработчиков и вместе с этим рассказала про обновления в AI. Очень сильно прокачали Siri, теперь она работает на относительно большой (по мобильным меркам) LLM, умеет вызывать инструменты и тесно связана с приложениями и экосистемой. Я видел пару демонстраций в твиттере, где запросы и сценарии показались мне не предусмотренными разработчиками (то есть модель на них не тренировали), и тем не менее Siri справилась отлично. Для тех, кто пользовался LLM, такая генерализация не является чем-то выдающимся, но для обычных пользователей может вызвать ВАУ-эффект. Ого, оно что И ТАК умеет??? Не только по пяти заложенным 15 лет назад сценариям работать? На девайсах может быть одна из двух моделей — AFM 3 Core (3 миллиарда параметров) и AFM 3 Core Advanced для девайсов помощнее, Phone 17 Pro и выше, iPad с чипом M4 и выше, MacBook с чипами M3 и выше. Такое ограничение потому, что модель действительно «Large» — 20 миллиардов параметров с микстурой экспертов (MoE). Но работает очень хитро — классический MoE работал бы плохо, так как у девайса ограничена пропускная способность между NAND (флеш-память для хранения ваших файлов и весов модели) и DRAM (где хранятся активные параметры для работы). В обычном MoE вы не знаете наперёд, какие именно эксперты вам нужны, поэтому загружаете всю модель, что а) долго б) занимает много памяти, а потом уже экономите на вычислениях, так как работает часть экспертов. Apple применили трюк, который я вижу впервые: для вашего промпта модель предварительно выбирает набор экспертов на всю модель, а затем загружает только их, и получается от 1 до 4 миллиарда активных параметров. Подход называется Instruction-Following Pruning for Large Language Models и описан в этой статье из начала 2025-го года. Также эта модель работает и для распознавания вашего голоса (поэтому и оно улучшилось), и для генерации нового голоса Siri (...тоже улучшилось). Вот тут внизу есть пара семплов было/стало, честно говоря старое мне нравится больше 🤷‍♂️ И вторая часть анонса — это удвоение ставки на Private Cloud Compute (PCC), который анонсировали два года назад. Идея в том, что для более сложных запросов, для которых локальной модели (особенно на смартфоне) не хватает, можно отправить промпт и контекст (например, файлы) на зашифрованный сервер, внутрь которого ни у кого нет доступа. Несмотря на то что система имеет открытый код и анализировалась лучшими специалистами по кибербезопасности, надеюсь, что Mythos тоже натравили 😀 Так вот, в PCC тоже обновилась модель, AFM 3 Cloud. Она запущена на серверах Apple и крутится на собственных чипах M-серии. И есть ещё AFM 3 Cloud Pro, которая ещё больше, ещё умнее, развернута на серверах Google на Nvidia GPU. Мне кажется это очень крутой паттерн, с которым мы будем жить: на смартфонах и умных девайсах в ближайшее время не будет настолько мощных чипов, как в серверных стойках, но хочется, чтобы умные модели были доступны. Все эти модели созданы компанией Apple, это НЕ модели Gemini. Говорят, что Apple усовершенствовала некоторые из этих моделей, дистиллируя Gemini, но все они являются совершенно новыми моделями, в которых используются собственные знания и технологии Apple. Самое крутое — и на смартфонах, и на макбуках у вас как у разработчика есть доступ к этим LLM. То есть вы можете написать приложение, не обучать свою модель (только сделать промпт) и вызывать её. Это бесплатно для локальной модели, а для облачных бесплатно до какого-то порога, дальше придется платить. Вот тут и тут можно посмотреть на скорость генерации на разных девайсах — получается даже быстрее, чем я бы ожидал!

1М контекстное окно - прорыв или фикция? Context Arena забенчмаркали стойкость контекста для GLM 5.2 и Opus 4.8 - значит, это хороший повод нам вспомнить про контекстную инженерию. На бенчмарке отчетливо видна существенная просадка внимательности моделей на 512к контексте: в среднем, почти в 2 раза в сравнении с 64к контекстом и примерно в 1.5 раз в сравнении с 128к контекстом - грубо говоря, для нас с вами это означает то, что на 512к контексте агент будет терять в полтора раза больше деталей, чем на при 128к заполненности. Для открытых моделей проблема потери контекста особенно актуальна, поэтому практический вывод такой, что по-хорошему, с ними стоит держать заполненность контекстного окна не выше 128к, а лучше даже меньше - ни о каком 1М, конечно, и речи не идет, там просадка будет колоссальной. Кстати, у моделей Kimi K2.6 и, тем более, Minimax M3 дела обстоят еще хуже. Что еще? Открыв закрытых моделей на большом контексте от открытых все еще впечатляет, хоть уже и не такой драматичный - спасибо DeepSeek за DeepSeek Sparse Attention, которую в GLM-5.2 развили через IndexShare. Кстати, о GLM 5.2 - как видно, моделька действительно на удивление успешная в т. ч. на больших контекстах. Opus 4.8 идет рядышком с GPT 5.5, но последняя все равно сильнее, особенно на совсем больших контекстах. На этом месте вспоминаем интересную деталь - в Codex App по дефолту контекстное окно для GPT 5.5 все еще 256к - то есть, по сути, точность всегда остается где-то на уровне 75%+- (по MRCRv2), а благодаря превосходному алгоритму компактизации, команде Codex удается сохранить все действительно важное так, что эти компактизации обычно и не заметны вовсе - то есть, конкретно в случае с Codex проблему контекстной инженерии ребята здорово решили на уровне модели и на уровне Harness (обвязки), в то время, как Claude Code в этом аспекте требует чуть больше ручной работы - модель на 1M контекста там включается прямо в выпадающем списке (велик соблазн ее включить), но кажется, что простой обыватель зачастую не очень понимает, что переключение на эту модель потребует от него ручного управления контекстом - как только контекст переваливает за условные 200к, начинается зона риска, в которой нужно либо переходить в новый чат, либо, хотя бы, вызывать компактизацию - что и приходилось делать. Что уж говорить, что пользователям открытых моделей за загрузкой контекста все еще стоит следить куда пристальнее. Короче, в 2026-м контекстную инженерию (в которую входит контроль % заполнения контекстного окна) пока никто не отменял - чем больше забит контекст, тем сильнее приходится надеятся на удачу. И, конечно, не забываем про контроль AGENTS.md, скиллов, MCP, progressive disclosure и т. д. - тоже все составляющие context engineering, с открытыми моделями все это становится еще важнее. Кстати, современная версия Context Arena прогоняет бенчмарк MRCRv2 от Google DeepMind (GDM-MRCRv2). Paper про MRCRv2 (Michelangelo) Датасет MRCRv2 А как вы менеджите контекст? Обращаете ли внимание на % заполнения? Наблюдаете ли просадки в качестве output модели на больших контекстах? @ai_driven

Google не ждёт смерти поиска. Google сам его меняет Пока многие обсуждают, убьёт ли ChatGPT классический поиск, Google делает гораздо более интересный ход. Он постепенно превращает поиск в AI-ассистента. Сегодня у компании уже два AI-продукта: AI Overviews — готовый ответ прямо над поисковой выдачей. AI Mode — полноценный диалоговый поиск, где можно уточнять вопрос, загружать изображения и вести длинный разговор. Масштабы аудитории соответствуют Гуглу: AI Overviews используют более 2,5 млрд пользователей в месяц. У AI Mode — уже более 1 млрд пользователей в месяц. Понятно, что это использование очень разное и для большинства пользователей заключается в беглом просмотре блока вверху результатов поиска. Но даже проценты из этого могут дать новый большой источник клиентов для любого бизнеса. Для нас, продактов, это новая реальность. С одной стороны — новые риски. Если раньше мы (или наши партнеры из рекламных агентств) пытались понять алгоритмы SEO, то теперь нужно понимать логику LLM, которая ещё менее прозрачна. С другой — появляются новые возможности. Раньше пользователь приходил в Google с набором ключевых слов: “Купить honda click в кредит” Теперь он приходит с настоящей задачей: “Мне нужен первый мотоцикл для ежедневных поездок на работу. Бюджет до 120 тысяч песо, желательно с недорогим обслуживанием и возможностью оформить кредит.” Это уже не поиск страниц или сайтов. Это поиск решения проблемы. Google тоже понимает, что меняет правила игры. Недавно они анонсировали новые инструменты для владельцев сайтов. Правда, при проверке в живом аккаунте сайта, который хорошо проиндексирован Гуглом, оказалось что никаких инструментов пока нет. Пост в блоге — только планы и анонс стратегии. Когда-нибудь в Search Console появятся отдельные отчёты по показам в AI Overviews и AI Mode. Владельцы сайтов смогут увидеть, насколько часто их контент используется генеративным поиском. Кроме того, Google уже тестирует отдельный переключатель, который позволяет отказаться от использования сайта в AI-ответах, не исчезая из обычной поисковой выдачи. Правильный выбор стратегии. Зачем бороться с трендами, если можно адаптироваться и возглавить? Жду, когда появится аналитика. По личным ощущениям — результаты в блоке AI Overviews отлично отвечают на половину поисков и даже нет желания скролить ниже — туда где синие ссылки, за первые места в которых когда-то была война и большие ставки 😉 #aifuture #google #search #producteye

#дайджест Дайджест AI/ML за две недели 15-28 июня 2026 OpenAI: GPT-5.6 (Sol, Terra, Luna) Sol - плюс сайз модель сопоставимая с Mythos. SOTA на TerminalBench 2.1. остальные бэнчи сравнивают в рамках линейки GPT, так что вероятно там дай бог паритет с Fable. Цена - $5/$30 Terra - модель на уровне GPT-5.5. Цена - $2.50/$15 (у GPT-5.5 $5/$30) Luna - по бэнчмаркам уровень GPT-5.4, но на класс ниже по размеру. Цена - $1/$6 (у GPT-5.4 $2.5/$15) Civitates Foederatae Americae - правительство США попросило придержать публичный релиз и сделать ограниченное превью для 20 партнёров, согласованных правительством. Как было с Mythos, но теперь менее добровольно. Широкий доступ обещают "через пару недель". Но как говорится - на Альимана надейся, а сам ищи как получить паспорт США. Блогпост, Системная карточка Zhipu: GLM-5.2 Открыли веса под MIT. MoE на 744B параметров (40B активных), контекст 1M. И наконец-то с цифрами: SWE-bench Pro 62.1, Terminal-Bench 2.1 81.0, GPQA-Diamond 91.2, AIME 2026 99.2, HLE 40.5 (54.7 с тулами), в общем, открытая модель не очень далеко от фронтира. Цена по API $1.40/$4.40 за 1M, кэш входа $0.26. Веса, Блогпост ???: Happy Oyster 1.0 Одна модель - два продукта. По слухам от Alibaba. Adventure Mode - world-model в духе Genie, можно летать на драконах и ползать червем через WASD. Directing Mode - видеогенерация в которую можно вмешиваться и создавать развилки для происходящих в кадре действий. На старте дают 1000 кредитов, так что можно попробовать самому. Сайт Jülich: CytoNet Модель архитектуры коры человеческого мозга (клеточной микроструктуры по гистологическим срезам, а не симуляцию активности). Тренировали на 6.5 петабайтах данных с 21 посмертного мозга. Брутальный ML. Блогпост, Статья Sakana AI: Fugu и Fugu Ultra Модель-оркестратор, обученная раскидывать задачу по пулу фронтир-моделей (и рекурсивно по самой себе) и собирать ответ. По их собственным замерам Fugu Ultra тянется к фронтиру: SWE-Bench Pro 73.7, Terminal-Bench 2.1 82.1, GPQA-D 95.5, HLE 50.0. Веса закрыты, какие модели в пуле - не раскрывают. Цена Ultra $5/$30, в ЕС пока недоступно. Блогпост, Технические детали Zyphra: "Can Scale Save Us From Plasticity Loss in LLMs?" - статья в которой изучают потерю пластичности (деградацию способности учиться новому) у трансформеров от 5M до 314M. Момент её наступления растёт сублинейно к размеру, так что одним увеличением модели не вылечить. Статья Alibaba: Qwen-Robot Suite Alibaba собирает полный стек моделей для роботов восприятие-навигация-действие. Qwen-RobotManip (обобщающая Vision-Language-Action модель), Qwen-RobotNav (навигация, Vision-Language-Navigation модель) и Qwen-RobotWorld (видео-world-model для предсказания сцен). Не оупенсорс. Блогпост NVIDIA: MotionBricks Модель для генерации анимаций движения. Одна модель держит 350к+ элементов движений, работает в реальном времени и переносится на новые задачи zero-shot, без дообучения. Проект гоняют на гуманоиде Unitree G1 и в Unreal Engine 5. Выложены демо и инференс-чекпоинты, позже обещают полный пайплайн тренировки. Проект, Статья NVIDIA: CUDA-X новые AI инструменты для всяких наук ALCHEMI - микросервисы под скрининг химических соединений и материалов, до 50x ускорение перебора кандидатов. DAQIRI - библиотека обработки данных с детекторов в CERN. С её помощью гоняют real-time ИИ прямо по тем >99% столкновений, которые система отбора обычно выбрасывает не глядя. cuPhoton - работа с астрономическими данными телескопов и рентгена, ускорили чтение и анализ данных обсерватории в тысячи раз. Блогпост ByteDance: Seedance 2.0 Mini Облегчённая и дешёвая версия видеомодели Seedance 2.0: 480p/720p. Заявляют ~2x скорость относительно Seedance 2.0 Fast при сравнимом качестве и примерно вдвое дешевле обычной BytePlus, API-доки EpicGames: Unreal Engine 5.8 добавили нативный MCP-плагин Cerebras: разогнали Google Gemma 4 (31B мультимодальную) до 1500+ токенов/с macOS: fm CLI Теперь работает с моделями из набора Foundation Models можно прямо в терминале Mac. Google: Gemini 3.5 Flash computer use встроили прямо в модель как штатный инструмент

А у нас там подкаст вышел, видели? Если вдруг нет, то заходите на YouTube, в ВК или Дзен, там увидите подкаст Виктора Кантора и Татьяны Гайнцевой – AI Researcher и PhD-кандидат в Queen Mary University of London, исследовательница в области интерпретируемости и управления поведением генеративных моделей. Обладательница стипендии DeepMind, преподаватель Deep Learning School и Nebius Academy, соосновательница Deep Learning School, автор телеграм-канала DLStories и подкаста Deep Learning Stories. Ранее занималась исследованиями в Huawei и Philips, работая над задачами компьютерного зрения и медицинского AI. В выпуске разговор получился не столько про карьеру в AI, сколько про исследовательское мышление. Почему одни специалисты годами улучшают метрики моделей, а другие пытаются понять, что происходит внутри них? Зачем вообще исследовать интерпретируемость нейросетей? Можно ли управлять поведением LLM через активации отдельных слоев? И почему иногда самый интересный вопрос в машинном обучении – не «как сделать лучше», а «почему это вообще работает»? Ждём вас на удобной для вас площадке: https://youtu.be/pXMd0N6xSAQ https://vk.com/video-228219607_456239235 https://dzen.ru/video/watch/6a314bf1a6d473684e1eb721

Midnight Code Cup 2026 Qualification Round. Results. Прошел квалификационный раунд, интересные ощущения от него. Вот тут можно почитать задачи: https://codeforces.com/gym/106478 Вот тут посмотреть финальные результаты: https://ranker.codeforces.com/ranklist/106471 Мы в этих контестах разрешаем пользоваться AI, и очень интересно наблюдать, насколько быстро все меняется. В финале прошлого года (который был летом) команды уже довольно часто использовали AI. Он давал возможность быстро написать хорошее решение и войти в топ, но при этом код становилось сложно поддерживать, участники не понимали, что в нем происходит, и ближе к концу контеста на топовых местах были команды, которые большинство кода писали руками. Сейчас же почти все команды в топе использовали AI, и в основном занимались тем, что говорили агентам, что нужно делать, а не решали задачи сами. При этом те команды, которые по старинке пытались решать задачи руками, потратили много времени на написание бойлерплейта, и им не хватило времени, чтобы написать какое-то хорошее решение. Чем-то напоминает обычную работу программиста, где уже сейчас можно получать результаты сильно быстрее за счет использования AI, но есть много людей, которые не пытаются или не хотят это делать, и в итоге окажутся в сложном положении. На этом контесте я был автором задачи С. Кажется, с точки зрения сложности/глубины вышло довольно хорошо. Мой личный критерий "интересности" оптимизационной задачи следующий. Если попросить агента написать хорошее решение задачи, а потом в бесконечном цикле просить его "улучшить", то он не придет к оптимальному решению, а застрянет в каком-то локальном оптимуме. А правильная стратегия — это иногда сделать несколько шагов назад и понять, можно ли как-то глобально по-другому решить задачу. Например, в лидерборде можно видеть, что большинство решений в топе получило примерно 70k баллов, но при этом есть решение от Probably worse than LLMs, которое получило 90k. И что-то мне подсказывает, что решения построены на немного разных идеях, и текущим агентам тяжело перестать микрооптимизировать код, который дает 70k, и сделать большой скачок до 90k. Если вы участвовали, как вам контест?

Обсуждали на одном из подкастов моё скептическое отношение к синтетическим людям. В дискуссию врывается Рон Кохави с теми же аргументами на примере разбора SimAB: Simulating A/B Tests with Persona-Conditioned AI Agents for Rapid Design Evaluation.

I think there is value in using LLMs as a screening tool, and this paper is a good example. The tool could be used as a fast design-screening tool that makes predictions based on historical A/B tests, conventions, best practices, and folklore. It may work well against experiments similar to the history it has been trained on, but it is unlikely to work well for radical ideas (e.g. long-ad titles that I start my Maven course and book with). The title’s use of “Simulating” over-reaches, as it is impossible to establish causality from observational data without additional assumptions. LLMs are trained from historical data and are therefore not enough to simulate A/B tests without strong assumptions.

И

The system's greatest strength is acting as a "Shift-Left" tool in the design process. Before any engineering effort is spent coding a variant, SimAB can evaluate mockups to catch blatant usability flaws, confusing copy, or structural friction. As the authors note, it is an excellent mechanism to "kill bad ideas fast".

То есть да, что-то быстро проверить можно, но использовать как инструмент оценки, тем более численной, — это непонимание принципов работы LLM.

Только успели выкатить мини-релиз SWE-rebench с Gemini 3.5 Flash, MiniMax M3 и Junie (теперь на Opus 4.8 high, кстати, топ1 model-harness результат этого цикла: 61.6% resolved / 72.7% pass@5), как сразу прилетел Fable Решил написать небольшой обзор планов на ближайшие релизы лидерборда: – Поэвалили Opus 4.8 в разных reasoning efforts: от low до ultracode с dynamic workflows. Скоро расскажем про трейдоффы качество/цена + какие-то интересные наблюдения из траекторий – Точно будет релиз для любителей локальных моделей: квены, геммы, gpt-oss разных размеров. Если есть популярные модели, которые гоняются на мелком железе и которые было бы интересно посравнивать, пишите, подумаем над тем, чтобы поэвалить тоже – Ну и Fable, разумеется 💀 P.S. Если вдруг знаете кого-нибудь из антропик, кто мог бы помочь с кредитами, напишите плиз в DM @alex_golubev13 😳