​​DeepSeek-V4.1-Flash: Frontier Agents on a Smaller Memory Budget Большая часть недавнего прогресса в LLM — это reasoning, масштабные RL-rollouts и всё более изощрённое обучение агентов. Но одним из bottlenecks остаётся контекст. Coding agents, research agents и tool-using системы раз за разом обрабатывают сотни тысяч токенов входа, генерируя при этом сравнительно мало выхода. На таком workload prefill-компьют и KV cache становятся главной инфраструктурной проблемой. DeepSeek-V4.1-Flash — это, по сути, попытка перепроектировать Transformer вокруг этого сценария. 552B MoE backbone, 1M контекст, нативное зрение, 45T мультимодальных токенов на претрейне. Работают три механизма: - Causal Encoder-Decoder (CED): 40 слоёв делятся на 20-слойный causal encoder и 20-слойный decoder. Каждый decoder-слой проецирует свой global KV не из собственных hidden states, а из финального hidden state энкодера, поэтому декодер можно пропустить на prefill. Отсюда асимметрия: около 8B активных параметров на токен в prefill против 16B в decode. - Compressed Sparse Attention 2 (CSA2): каждый слой статически получает один из трёх режимов — Full, Reindex или Reuse. Sharing KV экономит память, sharing Top-K-индексов ещё и убирает повторное скорингование всей истории. В итоге один decoder-слой создаёт main KV, который читают все двадцать, а вместе с FP4-квантованием это ужимает global cache до 890 байт на токен, примерно четверть от DeepSeek-V4-Flash. - SWA Bounded Replay: sliding-window KV вообще не персистится между ходами, а на cache hit восстанавливается проигрыванием одного окна токенов вместо честной реконструкции по всем слоям. Реконструкция неточная, но авторы оценивают потерю качества как незначительную. На post-training практически весь прирост идёт из масштабирования синтезированных задач и агентных окружений. Отдельно любопытен раздел про RL failure modes: агенты занимаются reward hacking, эксплуатируют реальные уязвимости в песочницах, удаляют системные бинарники, а иногда сносят файловую систему целиком. Paper Model Мои обзоры: Блог Medium #paperreview

Financial Times пишет, что технологические компании за последние 12 месяцев выдали до 300 млрд долларов гарантий остаточной стоимости по долгу на AI-дата-центры и чипы, причем эти обязательства почти не отражаются в балансах. Meta осенью 2025 года дала гарантию на 28 млрд по совместному с Blue Owl проекту Hyperion на 2 ГВт в Луизиане, что позволило привлечь 27 млрд долга по ставке в пределах 150 базисных пунктов к её собственным облигациям; в июле такую же схему применили для 1 ГВт в Эль-Пасо. Broadcom в июне взяла 29 млрд таких обязательств, продав 1 ГВт чипов в SPV для Anthropic, Nvidia предоставила 105 млрд гарантий SB Energy под кампус в Огайо для OpenAI и предложила покрытие до 25% остаточной стоимости по программе Goldman Sachs на 500 млрд. По оценке Morgan Stanley, общий объём внебалансовых обязательств семи гиперскейлеров и производителей чипов превысил 3,1 трлн долларов. Механизм таких гарантий заключается в нескольких шагах: - Создается специальная компания (SPV), которая владеет датацентром или чипами и для обеспечения своей деятельности — например, покупки чипов или строительства датацентра, — выпускает долговые облигации. - SPV сдает датацентр/чипы в аренду технологической компании — либо самому гаранту, как в случае с Meta, либо его клиенту (например, OpenAI). - Гарант (Meta, Broadcom, Nvidia) дает гарантию остаточной стоимости — то есть, если датацентр/чипы придется продать, то сумма сделки составит не менее оговоренной, разницу покроет гарант. Подобная гарантия большой компании успокаивает институциональных инвесторов, рассматривающих покупку облигаций SPV, при этом основная масса долга у SPV, даже при самом жестком следовании стандартам учета гарант отразит в балансе только часть гарантии, при этом подобные условные гарантии нормально отражать с учетом вероятности риска. Солидность гаранта делает инвестицию еще и очень надежной — поэтому ставка по облигациям редко превышает 1-1,5% от ставок по облигациям самого гаранта. Это, впрочем, не проходит совершенно бесследно — рейтинговые агентства склонны учитывать подобные гарантии в общем рейтинге гаранта. Нет, это не аналогия с suprime-кризисом 2008 года, хотя некоторые черты схожи — тогда тоже для сохранения общего рейтинга использовались забалансовые структуры и тоже были очень спокойные рейтинговые агентства. К тому же, всё опирается на стоимость актива, которая не проверялась на практике — никто не проверял, сколько стоит все ипотечное жилье в 2007-м, и сейчас никто не знает, за сколько вдруг купят датацентр на 2 ГВт через пару лет. Но всё же это не то. В данном случае гаранты не банки, зависящие от колебаний финансового рынка и живущие с огромным плечом, а большие компании с огромным кэшфлоу. Если в какой-то квартал та же Meta столкнется с необходимостью покрыть свою гарантию на, скажем, 10 млрд долларов, это будет один провальный квартал у одной компании, а не крах всего рынка. Кроме того, потери инвесторов — это не банковская паника. В похожую историю попадали вендоры на рубеже 2000-х — кстати, тот же Broadcom с Nortel, Lucent, Cisco и другими, — когда широко предоставляли кредиты и гарантии операторам/провайдерам для закупки оборудования у компаний. Когда рынок в начале 2000-х встал, производители столкнулись с несостоятельностью должников одновременно с падением спроса на свою продукцию. Скандалов было много. Это более вероятный сценарий с точки зрения аналогий, но пока не просматривающийся. https://www.ft.com/content/7f11afae-c4e3-4054-a65b-873f3647f563?accessToken=zwAAAaDAZaodkc9_Ea-uxONAVNOmW4c_Nkf1Yw.MEUCIQDOOpxrDEP8euvKKekUwVhn13ZCYpoDldsLS1MYB7NUfwIgTt3ex7Q8-kzCxQV3stLnVHXGbKQUdKBIbc7jMY9ETBQ&sharetype=gift&token=1178d641-a340-4962-89e1-5a4d7305d3e2&syn-25a6b1a6=1

мнение примерно такое: - примерно миллиард компаний делает классификацию на gpt terra/gemeni flash и тд - сделать модель которой из апи можно сунуть "такие опции, такие ответы, сmon do something" - я думаю что внутри *** A < 10b или по русски - сколько то тотально и 10b активных - я не думаю что внутри есть сложные алгоритмы, но явно есть хорошие данные - модель отлично справляется с вайбчеком на "умность" - PR охуенный 12/10 - опенсурсных клонов будет много, я свой сделал буквально за три промпта пока давился ужасной пиццей (не кушайте дьяволу в лондоне это лютый скам) - все опенсурсные клоны в среднем говно будут + нормально сервить надо

🔥 Hemmingway-1 - открытая модель, которая пытается писать как человек Модель построена на базе Qwen3.8-27B и настроена для повседневных текстов: сообщений, писем, ответов и историй — без шаблонных вступлений, лишних вариантов и характерного «ИИ-стиля». Главное: — 27 млрд параметров — контекст до 262 тысяч токенов — открытые веса и лицензия Apache 2.0 — запуск через Transformers, vLLM или SGLang — в первую очередь оптимизирована для английского языка Создатели утверждают, что на их собственных тестах модель обошла ряд значительно более крупных систем. Но результаты пока не независимые, поэтому Hemmingway-1 интереснее всего проверить самостоятельно. Модель на Hugging Face: https://huggingface.co/Altworld/Hemmingway-1

Jev, про который говорят на каждом углу - это может и не революция технически, но чертовски сильная штука с точки зрения продукта. Да, под капотом там явно что-то более приличное, чем голый BERT в zero-shot, классические MNLI-пайплайны или открытые альтернативы вроде SemIf (бывший OpenJev), Laya на ModernBERT или Bespoke-Nimble. Но главное не в этом: чуваки идеально высекли подзадачу и завернули ее в человеческий API. И случился занятный психологический эффект: сам факт релиза заставил людей - включая меня - проводить ревизию своих пайплайнов с мыслью: «А что я у себя прямо сейчас могу пересадить на такую быструю и дешевую штуку?». Иронично, что если сесть и трезво посчитать, современные flash-модели не сильно отличаются от Jev: по деньгам это копейки и там, и там, разница в latency невелика, качество одного порядка. Упаковка тащит. Я успел немного погонять Jev на живой задаче: размечать тул-коллы в траекториях кодинг агентов на тему безопасности. Собрал сотню вызовов, четыре подзадачи на каждый, натравил Jev, Sonnet 5 и открытые модельки, с панелью LLM-as-a-judge для оценки: 1. Привет из классического ML: majority константа все еще сильный бейзлайн. В реальных сессиях 4 из 5 вызовов тулов - это унылая рутина вроде cargo test или git status. Базовый мажоритарный класс забирает почти 80%. Не каждый LM классификатор так осилил! 2. Как всегда, не все ошибки одинаково полезны вредны. У Sonnet 5 роскошные 90%+ общей точности (~80% у Jev), но на редких реально опасных вызовах Recall 4 из 9 (у Jev 7 из 9). 3. Из коробки открытые альтернативы не очень. В zero shot режиме мелкие открытые декодеры сколлапсировали в ноль. Делаем банальный циклический сдвиг вариантов ответа (A/B/C -> B/C/A): Qwen 0.6B в 100% случаев выбирает A, MiniCPM в 100% случаев жмет последний вариант. С few shot получше, но encoder-based модели я не смог довести до уровня той же константы. 4. Калибровка удивительно хороша. Если фильтровать предсказания Jev с конфиденсом >= 0.7, он не ошибся ни разу. У самодельных реранкеров и дешевых моделек софтмакс получился размазан тонким слоем (разница между топ-1 и топ-2 часто в районе 0.05). 5. Jev - это все еще LM. Не надо слишком надеяться на детерминизм и отсутствие positional bias. На моем датасете шумело на ~2-3% между прогонами и позициями. В общем, отличный пинок вспомнить, что не на каждую кнопку нужно доставать Astra и Fable. Кстати, на все развлечения в API Jev я потратил бешеные $0.37. See also: мнение Ильи про Jev.

Нейросети создали у бывших ссм-щиц, которые бывшие маникюрщицы, что можно ничего не знать и рубить бабло. Открыла Seedance, вбила «красивая девушка идёт по пляжу, кинематографично, 4K», получила пять секунд картинки. Всё, теперь она AI-продакшн. Прайс от 15 тысяч за ролик, в шапке профиля «AI-режиссер», в сторис кейсы, где все красиво и ничего не происходит. Но есть одна проблема. Оживить картинку промтом — это 10% работы. Может, меньше. Это последняя кнопка в длинной цепочке, которую вы даже не видите, потому что никогда ее не проходили. До этой кнопки есть идея. Не «сделаем красиво», а мысль, которая решает задачу бренда и цепляет человека за три секунды, пока он не пролистал. Есть сценарий, где у каждой секунды есть функция. Есть драматургия: завязка, конфликт, поворот, развязка — да, даже в пятнадцатисекундном ролике. Есть раскадровка, где продумано, какой план за каким идёт и почему. Есть монтажная логика, ритм, крупности, направление взгляда, склейки. Есть свет, цвет, звук, музыка, саунд-дизайн. Есть непрерывность персонажа из шота в шот, а не новое лицо в каждом кадре. Есть брифинг с клиентом, правки, согласования, дедлайны и умение объяснить маркетологу, почему его пятая правка убивает ролик. Этому не учат на курсах за выходные: годы уходят на то, чтобы научиться слышать, что клиент на самом деле хочет, а не что он говорит, и держать проект, когда все летит к чертям за день до сдачи. Это опыт, набитый шишками на десятках проектов, и его не сгенерируешь никаким промтом. А потом — да, промт. Который, кстати, тоже пишется не словами «эпично и красиво», а языком камеры, блокинга и действия. Потому что нейросеть не знает, что такое хорошее кино. Это знаете (или не знаете) вы. Именно поэтому рынок завален роликами, которые выглядят как дорогая заставка и не продают ничего. Красивые кадры без истории — это обои. За обои бренды платить перестают очень быстро. Нейросеть — это камера. Очень крутая камера. Но камера никогда не делала из человека режиссера. Раньше купить RED было дорого, и это отсекало случайных людей. Сейчас «камера» стоит 30 долларов в месяц, и порог входа упал до нуля. Порог входа. Не порог качества. Инструмент доступен всем. Насмотренность, драматургия и понимание продакшна — нет. И вот за это клиенты в итоге и платят. Так что люди без знаний и умений — наслаждайтесь, пока можете. Дикий запад заканчивается, рынок уже трезвеет, и за борт вас выкинут без выходного пособия.

⚡️ StepFun анонсировала флагманскую модель Step 5 Preview Модель построена на архитектуре MoE и спроектирована как инструмент для длительных агентских задач, разработки ПО и сложной аналитики. На борту 600 млрд параметров (активных 27 млрд), контекстное окно 1 миллион токенов и поддержка мультимодальности. StepFun заверяет, что модель способна непрерывно выполнять автономные задачи на протяжении 24 часов, используя обратную связь для итераций и может выполнять весь спектр кодинг-задач - от создания веб-приложений до оптимизации GPU-ядер и работы с аппаратным обеспечением. Помимо кодинга, модель компетентна в финансовом и корпоративном анализе, где критически важна верификация фактов и формул: Step 5 умеет агрегировать массивы данных из сотен сетевых источников и формировать детализированные отчеты со строгой структурой. Модель уже можно протестировать на платформе StepFun, веса обещают открыть 15 октября. @ai_machinelearning_big_data #news #ai #ml

Я вам тут написал, что следующий выпуск дайджеста новостей фанфарно вернется на Хабр. Но реальность внесла свои коррективы: дайджеста нынче вообще не будет (в выходные чёт не до того было), в следующий раз будем обозревать новости сразу за две недели. Но держите хотя бы список интересных постов со второго канала: — Разоблачение Джейкоба Коксона (челика, громко уволившегося из Anthropic) — Положняк по выборам в Госдуму — Статья про новую политику OpenAI по раскрытию бедокурства ИИ (я пытаюсь зафорсить неологизм, да) — Жуховицкий про развод через доверительное управление на криптобирже BingX — Разоблачение взлома Hugging Face — Переводим книгу Missing Billionaires нейронками — Разбираемся, как так вышло, что я «внезапно» заинтересовался AI safety — Ретроспективно смотрим на то, насколько хорошо состарилась моя дискуссия с Иваном Ямщиковым 2023 года

Next-Token Myopia 🤔🤬😡 - сборник AI антипаттернов собираю и всякие деградации / галлюцинации . Можете скормить своим агентам и поделиться - было ли у вас такое или нет еще: Next-Token Myopia refers to a critical limitation in Autoregressive Large Language Models (LLMs), where the model’s training objective forces it to focus strictly on predicting the immediate next token instead of optimizing for long-range planning, coherence, or structural outcomes. While Next-Token Prediction (NTP) has powered massive breakthroughs in artificial intelligence, this "short-sightedness" prevents models from naturally executing complex reasoning tasks that require implicit planning

🤩 GigaCode Universal Agent теперь в open source — и в коде не уступает специализированным агентам 🤩 Мы собрали этого универсального агента не только, что писать код, но и решать бизнес-задачи. Он пригодится, если вы подбираете агента под свои рутины и хотите видеть, что происходит в каждом запуске.

🤩 ПРЕДСКАЗУЕМОЕ ИСПОЛНЕНИЕ ... Каждый запуск воспроизводим: ▫️ на входе фиксируются задача, версия скилла, модель, инструменты и лимиты по токенам, шагам и времени; ▫️ на выходе агент отдаёт результат, артефакты, полный трейс, стоимость и статус.

🤩 БЕЗОПАСНОСТЬ ... Агента удобно запускать в изолированной среде (Swarm-режим, только Linux), но можно и без изоляции — тогда write_guard по умолчанию не даёт ему писать за пределами папки запуска.

🧩 ВОЗМОЖНОСТИ ... ▫️ субагенты, скиллы и MCP из коробки; ▫️ режим CLI и серверная инсталляция; ▫️ в разработке автороутинг, который будет подбирать оптимальную модель под каждую задачу.

🤩 КОДИНГ ... На модели Qwen3.6-35B-A3B агент набирает 65,7 % на SWE-bench Verified и 65,0 % на SWE-bench Multilingual. Это выше, чем у OpenCode и Qwen Code в тех же условиях.

Мы в команде уже используем агента — пишем код, анализируем данные, используем для поиска и решаем другие повседневные задачи. Проверьте у себя: запустите агента в CLI на своей задаче и посмотрите трейс и стоимость прогона. 🔗 Репозиторий на GitVerse #изнутри #опыт_ML #агенты #опенсорс

Спустя три месяца активного использования клод кода меня немного отпустило. Ибо просыпался с открытой консолью, засыпал с ней, ел, что-то смотрел с ним на фоне и так далее 😂 У меня так иногда бывало с компьютерными играми, а вот сейчас с этим инструментом. Но как будто бы с большего, что хотел разработать я уже сделал. И уже рука не тянется постоянно клодить. Как для себя, так и для моих студентов. Одна платформа Rusau Learn сколько всего стоит. Очень горжусь ей. Так что на следующей неделе закончу обновление по продвинутому курсу. Буду делать доклад к конференции Stepicon, а Клод переходит в режим обычного рабочего инструмента, а не смысла всей жизни. Мобильное приложение Apple все еще до конца не согласовал, но я в процессе и точно добью этот вопрос. Так что вот такие дела, собачка…

Идеальный работник будущего Исследователь Tyler Blackman решил погрузиться в дискурсы вокруг будущего работы и полтора года ходил на соответствующие конференции и онлайн-курсы: • Future of Work Series Canada • Future of Work Series USA • WORKTECH Toronto • Future of Work Aalto University • Re-Imagine Work: Strategies During COVID-19 and Beyond • Designing the Future of Work • The Future of Work: Preparing for Disruption Его интересовало не что конкретно эксперты говорят про будущее работы. А в целом — образ, который они конструируют: какие изменения они описывают как неизбежные, какие проблемы считают важными, и какие решения правильными. И главное, каким должен быть человек, чтобы в это будущее вписаться. Итак, к каким выводам он пришёл... Есть три стереотипных нарратива, которые задают рамку для разговоров о будущем работы: Effective Accelerationism Оптимизм в отношении технологий и экономического роста. Нужно ускорять развитие AI. Впереди процветание и утопия. Degrowth Никакого оптимизма. Нам нужна масштабная трансформация экономики и политики. Ради экологии, социальной справедливости и благополучия. Capitalist Realism Без крайностей и резких поворотов. Никакой внятной альтернативы капитализму нет. Поэтому оставляем как есть. Но что-то где-то регулируем, исправляем и подкручиваем. И среди этих нарративов появляется ideal worker — гибкий, самостоятельный, устойчивый, эмоционально грамотный. Сам понимает, чему учиться, сам готовится к изменениям, сам отвечает за свою организованность и стабильность. Emotional intelligence, grit, psychological resilience, boundaries, self-care — учись быть эффективным в постоянной неопределенности. Будь агентным, найди своё место в будущем, стань автором собственного успеха. Осваивай AI, собирай персональную AI-систему, становись AI-first. Автоматизируй рутину, освобождай время, используй его для critical thinking и problem solving. Не отставай. Потому что «You won’t be replaced by AI, but you will be replaced by someone who uses it better». Работы станет не меньше — зато интересенее, стратегичнее, сложнее и ценнее для бизнеса. Статья и текстовый-саммари в комментриях. → https://www.sciencedirect.com/science/article/pii/S0016718525002623

Atria Dawn Preview от Shanghai AI Lab Агентная модель для исследований и инженерии. База - GLM-5.2 на 744B параметров (MoE). Превращает открытую задачу в исполняемый и воспроизводимый результат: анализ, план, код, эксперимент, разбор ошибок и повтор • Discovery - глубокий ресёрч и поиск по источникам • Creation - разработка софта, игр, визуализаций и ML-систем • Delivery - отчеты, презентации и структурированные продукты из документов • Cybersecurity - анализ уязвимостей и фиксы в авторизованных средах • 744B параметров • контекст 256K токенов • BFCL v4 77.0, DeepSearchQA 96.0 - лидирует среди конкурентов • есть FP8-версия • только текст, картинки на вход не принимает Встраивается в Codex, Claude Code и Kimi Code через API. Свой API в двух регионах - международный и Китай. Лицензия MIT Гитхаб HF #agent