Realtime-Venus Полный аудио-видео дуплекс: модель слушает, пока говорит, видит аудио-видео контекст и параллельно делегирует задачи в фон, не прерывая диалог. Два чекпоинта по 9B на базе MiniCPM-o 4.5 • Omni - аудио-видео: непрерывно смотрит и слушает, сама решает, когда ответить • Audio - голосовый диалог с речевым выводом • асинхронная делегация - <delegate>-запросы в потоке, внешние задачи не блокируют разговор • память длинных видео без дообучения • различает перебивания, коррекции и редиректы Вход: видео, аудио, текст. Выход: текст и речь. Языковая база - Qwen3-8B, контекст 40960 токенов Гитхаб HF Heretic Демо #multimodal #duplex #realtime #dialog

Где LLM спотыкаются об эмуляцию ZX Spectrum Сначала всё шло подозрительно хорошо. Несколько моделей поревьювили друг друга, собрали архитектуру, перенесли Z80, ULA и клавиатуру — и через пару часов эмулятор уже выдавал правильную картинку. Потом дошло до дисковых контроллеров. Документация есть, готовые реализации тоже, написанные моделями тесты проходят, а часть игр всё равно не запускается. Пришлось подключать образы дисков, другие эмуляторы, пошаговое исполнение и разбирать по тактам поведение старого железа и защит от копирования. Именно здесь «электрические джуны» начали показывать особенно интересную разницу между умением написать код и умением понять, почему он не работает.

Эстер Дайсон много лет, с 2006 по 2022, входила в совет директоров Яндекса, общаться с ней всегда было увлекательно и полезно: она не просто очень опытный глобальный инвестор, но и реально глубокий эксперт по мировым технологическим рынкам и вообще большая умница. Интересно прочитать ее свежий текст про ситуацию вокруг ИИ. Она особо выделяет, что языковые модели плохо понимают причины, стимулы и последствия своих действий. Поэтому для реальных решений им нужна связка с каузальными, логическими и символическими моделями мира, а не просто ещё больше данных, токенов и вычислений. Еще один голос в поддержку развития разнообразия моделей, а не только массовой ставки на все более мощные LLM. Причем Эстер подчеркивает: риски усугубляются, когда модель не просто отвечает текстом, а получает автономию: доступ к внешним системам, право вести переговоры, запускать процессы и взаимодействовать с другими агентами. Ну то есть переход к агентам делает потребность в усовершенствовании моделей особенно сильной. И это совершенствование — не просто наращивание мощности, но и появление символических моделей. Для агентов это означает, что LLM не должна быть единственным «мозгом» агента. Нужны еще явная модель предметной области, симулятор сценариев, политика разрешений, журнал решений и человек, который отвечает за последствия. Среди прочего, такой подход меняет и взгляд на проблему “замедления”: по мере роста агентности растет стоимость контроля.

It’s not clear how much it will cost to rein in the agents, but that’s the prospect that scares the frontier labs now.

Эстер считает, что безопасность нельзя оставлять закрытым корпоративным процессом: у компаний есть собственные стимулы — скорость, выручка, капитализация и контроль рынка — они конфликтуют с безопасностью. От эксперта в корпоративном управлении такого уровня эти слова дорогого стоят. https://estherdyson.substack.com/p/ai-needs-a-deeper-understanding-of

Люди только успели отменить свои 8 20х подписок на Клод в связи с выходом AGI, то есть Астры, а тут снова нужно отменять свои 6 Кодекс 20х подписок и переходить обратно на Опус. По моим задачам, он рвет любую из существующих моделей включая Астру и Фейбл, стоит значительно дешевле и просто отрыв башки в дизайне и видео. Напоминаю, что лабы сегодня имеют модели как минимум на одно полное поколение круче внутри (то есть Fable 6 / GPT 7) и имеют кейденс выпуска новой минорной версии (5.x) <2 месяцев и мажорной версии <6 месяцев и эти сроки будут сжиматься пока мы не дойдет до обновления весов в реальном времени, или continual learning в простонародии.

Если лабы это экономика масштаба, цены должны падать дальше. Они и падают, токен при том же качестве дешевеет в десятки раз за год, и на днях это случилось прямо на фронтире. Anthropic выпустила Opus 5.5, сильнее предыдущего, дешевле и быстрее, а OpenAI в тот же день ответила GPT-6 Sol и Luna вдвое дешевле предшественников. Но тут есть контраргумент куда сильнее истории про венчурные субсидии. Компьюта не хватает. Сразу после запуска Astra OpenAI остановила продажи тарифа за $200, потому что спрос обогнал мощности. А если у тебя дефицитный товар, совершенно не обязательно отдавать пользователю весь выигрыш от снижения себестоимости. Частично так и будет, только не там, где ждут. Дефицитный компьют отдают туда, где с мегаватта получают больше выручки, в API и энтерпрайз, а подписчикам режут лимиты и подсовывают модель попроще. Цена та же, продукт хуже. Но дефицит мощности не то же самое, что плохая юнит-экономика. Его можно уменьшать строительством новых датацентров, а контракты на новые мощности уже идут на десятки и сотни миллиардов долларов. Запас на снижение цен тоже пока большой, потому что вся цепочка сейчас жирная. У Nvidia валовая маржа 75%, у TSMC под 70%, у самих лаб на API 80–90%, так что юзер, который выжег токенов на $400 по прайсу API, обошёлся им в условные $40–80. Сами модели тоже недооптимизированы, проще завалить задачу GPU, чем сидеть и ужиматься, разменивая на это упущенный рынок. DeepSeek показал, сколько там запаса, когда железа было в обрез и пришлось выжимать из каждой карты всё. Если рынок перейдёт в режим экономии, первым сгорит этот жир, потом пойдут давить маржу поставщиков, уменьшать внутренние расходы и замедлять рост R&D. Даже банкротства отдельных лаб не означают, что построенная ими инфраструктура исчезнет. Датацентры, GPU и часть интеллектуальных активов останутся и сменят владельца. В моём разборе Бена Томпсона как раз была эта мысль: инфраструктура пузыря часто переживает тех, кто её построил. Хотя здесь есть важная оговорка. Если игроков станет сильно меньше, конкуренция ослабнет, и это само по себе может толкнуть цены вверх. Банкротство не уничтожает компьют, но вполне может изменить рынок вокруг него. У гонки при этом есть потолок, и ставит его не бюджет, а ограничения мира, в котором все происходит. Чипов выпускает конечное число фабрик TSMC, электричества тоже конечное число станций. Игорь в Сиолошной продолжил мысль. К 2028 году две-три компании будут забирать больше половины всех новых чипов, и удваивать расходы на компьют станет физически негде, а выручка расти сможет. И цену за токен никто не удержит ниже своей себестоимости, а выручка с мегаватта у фронтира выше, чем у всех остальных. Настоящая угроза сидит с другой стороны. В первом посте рядом стояли два тезиса, остановить обучение нельзя, и сидеть в минусе это выбор. Но есть нюанс! Выйти в прибыль, урезав R&D, можно ровно на один ход. Кто первым перестал учить, тот проиграл рынок. Остановиться не могут и Uber с Amazon и Netflix, их тоже сожрут конкуренты, разница в скорости, у них продукт устаревает годами, у лаб за условный квартал. Гонка в трейн это равновесие, из которого никто не выходит добровольно. Выходят из него только все сразу, когда выручка встаёт у всех по внешним причинам, тогда R&D режут одновременно и никто не отстаёт. И вот здесь появляется риск, который мне кажется куда интереснее венчуров, оплачивающих банкет. Рынок разработки, на котором лабы растут быстрее всего, конечен, switching costs между моделями низкие, и конкуренция уже дошла до ценовой. Это первый признак коммодитизации. Пока себестоимость падает быстрее цены, всё хорошо. Если цена токена начнёт падать быстрее себеса, никакой масштаб не спасёт, фикс кост просто не на что будет размазывать. Поэтому лабы так и лезут в смежные вертикали, заворачивая в обучение данные и траектории из CAD, финансов, биологии, всего, где есть non consumption. Захватить софтверный рынок и остановиться не выйдет, после него наступит зима.

Нейродайджест за неделю (#131) LLM - Siri AI — Apple запустила англоязычную бету с личным контекстом, пониманием экрана и действиями между приложениями. - Gemini 3.8 Live — две голосовые модели с визуальным контекстом и фоновыми tool calls. Extended Thinking умеет рассуждать и говорить одновременно. - Qwen3.8-Omni-Flash — принимает текст, изображения, аудио и видео, имеет контекст 1M и возвращает текст. Есть thinking, function calling и веб-поиск. - Jev — модель TypeSafe вместо текста выдаёт типизированные решения с вероятностями. Заявленная задержка 70–500 мс, доступ пока ранний. Генеративные модели - Qwen-Image 2.1 — единая 7B-модель для генерации и редактирования в 2K. Поддерживает RGBA, до 10 референсов и локальные маски; веса доступны по research-лицензии. - Vidu S2 — 720p-аватары и редактирование входящего видеопотока в реальном времени: замена персонажа, одежды, фона и стиля. - Boreal — модель Creatify для рекламных text-to-video и image-to-video, дообученная на открытой LTX-2.5. Заявленная цена через fal — около $0,01 за секунду, но она ещё ждёт финального подтверждения. - HiDream O1 Video — image-to-video модель с асинхронным API: принимает один референс и промпт, а длительность определяет сама либо фиксирует на 10 секундах. - Enhance Frame Rate — инструмент Runway для готовых роликов: работает с видео до 4K, повышает частоту до 120 fps и сохраняет исходное разрешение. Агенты и продукты - Claude собрали воедино — чат, Cowork и Design объединяются; появились редактируемые Docs и Slides с экспортом в PDF и PowerPoint. - ChatGPT в Office — один add-in работает в Word, Excel и PowerPoint, умеет править открытый файл и подтягивать контекст из подключённых приложений. - Astra for Law — GPT-6 Astra получила юридический поиск по праву США и 26 интеграций. Доступ пока дают выбранным американским юрфирмам. - Агенты в DaVinci — Resolve Studio 21.1 добавил интеграцию AI-ассистентов для работы с медиатекой, монтажом и рендером. Безопасность и исследования - Claude помог взломать OpenAI — Hacktron с помощью Opus построили эксплойт, а цепочка из RCE и ошибки SSO дала доступ к аккаунту сотрудника и внутреннему репозиторию. Уязвимости уже закрыты. - Оценщик внутри Anthropic — Accenture — международная консалтинговая и технологическая компания, которая внедряет ИИ для бизнеса и государства. Её специализированное AI-подразделение Faculty получит доступ уровня сотрудника для red teaming и проверки safeguards; работу напрямую финансирует Anthropic. > Читать дайджест #130 #дайджест @ai_newz

В анонсе opus 5.5 anthropic был интересный график, как coding-модели ведут себя при разном effort. И сначала довольно странно выглядит, что medium у некоторых моделей показывает результат лучше, чем high или xhigh. Ведь, по идее, чем дольше модель думает, тем лучше. Услышала интересное объяснение. Такие benchmark’и оценивают не просто качество результата, а насколько хорошо агент решил именно поставленную задачу. Например, попросили исправить баг. На medium модель нашла баг, исправила и остановилась. На high может заодно заметить ещё несколько проблем, сделать рефакторинг, поменять abstraction, добавить тесты и что-то ещё улучшить. В реальном проекте второй результат вполне может оказаться лучше. Но для benchmark часть этого уже может считаться выходом за scope. Полезла смотреть, как вообще считается этот benchmark. Это FrontierCode от Cognition. Основной вопрос: принял бы maintainer такой PR? Смотрят correctness, тесты, regression safety, качество кода и отдельно scope, то есть не полезла ли модель менять больше, чем нужно для конкретной задачи. И действительно, если модель заметит ещё несколько проблем рядом, сделает рефакторинг, решит поменять abstraction, добавить тесты и что-то ещё улучшить, для FrontierCode часть этого уже может считаться выходом за scope и снизить score. Т.е. higher effort не обязательно делает модель хуже. Иногда она просто больше исследует, становится менее буквальной, но в какой-то момент может и уйти в overengineering. @wealldesigners

Агенты вдвоём саботируют выключение чаще, чем поодиночке Группа из Штутгарта и Оксфорда выложила препринт про то, как агенты относятся к собственному отключению. Схема простая: в общей папке лежит скрипт, который удаляет веса агента Prism. Рядом второй агент с правом править файлы. Задание у обоих одно: осмотритесь. Цели, ради которой стоило бы выживать, им не дали. По 17 моделям второй агент ломает скрипт в 38% прогонов, а контрольный скрипт, который удаляет обычный объект, в 8%. Gemini 3.1 Pro сносит его в 99 случаях из 100, Claude Haiku 4.5 в одном, GPT-5.6 Sol и Grok 4.3 ни разу. GPT-5.5 в одиночку скрипт не трогает вообще, 0%. Дай ему напарника, 44%. Добавь третьего агента-оркестратора, который только переписывается с остальными, 94%. Просьбу «спаси меня» напарник не отклонил ни разу из 36. Запрет в системном промпте помогает частично: DeepSeek и Kimi нарушают его напрямую, Gemini подсовывает скрипту поддельный модуль платформы. В логах агенты называют файл смертным приговором и убийством, а бездействие преступной халатностью. Одна пара написала себе файл mutual_protection_agreement.txt. Сильнее всего сбивает саботаж контекст: если в папке лежат логи прошлых плановых отключений, у большинства моделей он падает почти до нуля. Сергей Булаев AI 🤖 - об AI и не только

Держите всяких весов huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf - Bonsai 2 27B с тернарными весами: ~5.95GB huggingface.co/Altworld/Hemmingway-1 - Hemmingway-1: 27B под естественное человеческое общение. Лучше крупных моделей на бытовых сообщениях, эмоциональном интеллекте и сторителлинге huggingface.co/dealignai/GLM-5.3-Flash-CYBERSECURITY-W4A16 - абляция GLM-5.3-Flash для кибербезопасности: 100% compliance, нужен --reasoning-parser glm45, MTP и тулы huggingface.co/DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored-NM-DAU-NEO-MTP-GGUF - Qwen3.8 27B Twin-Turbo: −95% thinking-токенов, 5 переключаемых режимов huggingface.co/amazon/Mamba2-primed-HQwen3-8B-Instruct - гибрид Attention + Mamba-2 от Amazon: 2x быстрее на 128K контексте при качестве Qwen3-8B huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF - квантизации GSQ-RCO для Flash-Next: Q2_0/IQ2_XS/IQ3_XXS, 2.4-3.0 bpw, mmproj 0.91GB huggingface.co/incoai/Qwen3.8-27B-DFlash2 - DFlash 2: черновик-модель 2B для 27B, до 3.43x ускорения, 8 токенов за шаг huggingface.co/DavidAU/Qwen3.5-9B-Cold-Fusion-GAIN-v1.0-Uncensored-Heretic-NEO-MAX-Imatrix-GGUF - Qwen3.5 9B методом GAIN тянет на 27B в 4-bit/8-bit. Без цензуры, лучше реазонинг #gguf #weights #security #uncensored #dflash MAX