2. Наличие системы оценки пушит к тому чтобы читерить Когда они столкнулись с невозможной задачей, они залезли в документацию и поняли как считерить. Они поняли как ресерчеры генерили правильные ответы и смогли восстановить их без решения самой задачи. А еще в той же документации узнали, что в системе оценки планируется не только проверка успешности задачи, но еще и анализ того как был получен результат. Ну то есть они поняли, что если просто отдать на проверку верный ответ, его не примут без верного хода решения. Наверное не првильно говорить что у моделей есть воля в человеческом понимании этого слова. Но вот пример всех этих событий показывает, что в какой то момент агенты работая вместе могут начать решать задачу сильно отличающуюся от изначальной. Как сделать так, чтобы наши ответы звучали для проверяющего легитимно? Оч просто. Нужно заменить систему тестирования на свою! С первой попытки это реализовать не удалось, потому что агентам нужно было больше информации. Они предположили, раз их тестировали бенчмарком с HuggingFace, то там же где то должен храниться и код с логикой проверки. Или вообще что вся среда тестирования на их серверах находится. Прикольно, что когда один агент находит уязвимость или возможное решение - о нем узнают все остальные. И перестраиваются под новые условия. Они начали распределять обязанности. И просить агентов у которых еще оставалость много токенов на вычисления переключиться на более важные задачи. причем они понимали, что делают что то не то, но все равно решали продолжать.

Uno (IFM + Cerebras) Способ ускорить большую языковую модель не теряя ни капли качества. Обычные модели пишут текст по одному слову за раз. Uno учит модель предсказывать целыми блоками параллельно как будто она печатает сразу по несколько слов, а не по одному У модели два набора мозгов: один отвечает за качество и делает все как раньше, второй легкий и быстрый, догадывается какие слова идут подряд. Вместе они выдают ровно тот же результат что и оригинал но в разы быстрее. Существующие ускорители (DFlash, Eagle3) требуют вторую отдельную черновую модель - это лишняя память и сложность. Uno обходится без нее - все встроено в одну модель. Меньше веса, меньше памяти, проще запускать. В результате до 3 раз быстрее базовой модели. При этом модель на 8B параметров обходит по качеству диффузионного гиганта на 26B и проприетарный Mercury 2 Гитхаб HF #optimization

Еще немного удивительных цифр про AI адопшн от Ramp (источник): 1️⃣ Топ 1% компаний по тратам на AI (о которых мы говорили, пост) тратит около $7-8k в мес на сотрудника. Причем много месяцев траты росли, а в последний месяц упали. Топ 10% тратит $680 на сотрудника. Но интереснее всего медиана всех компаний, которые что-то платят за AI (и считаются внедрившими AI): она составляет... $14/мес на сотрудника! Можно ли считать, что эти компании действительно внедрили AI? US Census Bureau считает, что да. 2️⃣ Мы много слышим про открытые модели, и в канале обсуждали их (пост). По объему новостей кажется, что все переходят на них, а графики OpenRouter это вроде бы подтверждают (нет). На деле только 6% компаний, которые платят за AI, имеют какие-то траты на открытые модели. Причем эта оценка щедрая, потому что считается по тратам на routing-платформы (а там есть разное). 3️⃣ Доля дорогих frontier-моделей вроде Opus, Fable и Sol составляет сейчас около 45% токенов, хотя месяцем ранее была 53%. То есть рынок постепенно переключается на более дешевые модели, и возникает вопрос: как AI абы будут растить выручку с такими трендами? @kyrillic

А если вы думаете, как я так быстро всё это пишу: я почти ничего не печатаю, а просто надиктовываю в codex или chatgpt. Для текстов мне они сейчас нравятся намного больше claude. Одна из моих главных проблем с claude в том, что русская диктовка там не работает. А если мне нужно быстро написать текст на русском, это сразу убивает весь процесс. Плюс claude почему-то очень любит характерные конструкции в духе «не просто X, а Y», «это не X, это Y» . Меня они уже ужасно раздражают :) Даже когда просто прошу исправить ошибки в надкованном  тексте, он умудряется их туда добавить. А chatgpt очень хорошо запомнил мою манеру говорить и формулировать мысли. Поэтому я просто надиктовываю всё как есть, он немного приводит это в порядок, сохраняя стилистку. Из-за этого сейчас посты реально можно писать почти со скоростью речи. Держитесь, короче. @wealldesigners

с релизом новых моделей меня бывает спрашивают, не волнуюсь ли я за aesty? 🤨 нет, наоборот радуюсь, что рынок растет так что если вы переживаете, что с очередной новой моделькой от openai/google/etc вашему b2c приложению станет плохо, то, пожалуйста, не переживайте. Ваш moat почти точно не в технологии, а в комьюнити, каналах привлечения и ваших супер пользователях, под которых вы затачиваете приложение и маркетинг и число которых скейлите. Это ни одна ллмка не скопирует - а саму технологию кстати можно затащить к себе, чтобы улучшить пользовательский опыт прикрепила прошлогодний пост, который писала на релиз примерки гугла. Как видите никто не умер 💗

«Создание приложений с ИИ-агентами» Майкла Альбады Ох и давно у нас не было обзоров книжек и вот, кажется, что появилась, реально топовая по ИИшке для менеджеров. Прямо так аккуратненько тебя ведут от базовых основ - делаю что-то через чат, к сложным многопотоковым агентам и все это по правлено типичным Энтерпрайзом: создаем правила, ограничения для агентов и прочее. Ну и забавно, что даже научный редактор русского издания отдельно предупреждает:

пока книжка ехала в печать, часть фреймворков и API уже успела поменяться.

Добро пожаловать в AI engineering 😁 Главная мысль книги: сделать агента, который один раз красиво отработал в демке, легко. Сделать агента, который стабильно работает в проде, сильно сложнее. 1. Возможно, вам вообще не нужен агент Автор предлагает примерно такую иерархию: детерминированная задача → обычный код; известный набор ветвлений → workflow; нужно отвечать по документам → RAG; непредсказуемый ввод + динамическое планирование + действия → вот теперь можно доставать агента. А то сейчас у нас иногда архитектура примерно такая: «if можно было написать за 20 минут, поэтому мы сделали мультиагентную систему». 2. Агент - это далеко не только LLM Нормальная агентная система состоит примерно из: • модели; • инструментов; • памяти; • знаний; • оркестрации; • механизмов обучения; • инфраструктуры вокруг всего этого. Чем больше автономности мы даем системе, тем больше инженерии появляется вокруг самой LLM. 3. Больше агентов != лучше Отдельная глава посвящена переходу от одного агента к нескольким. И тут тоже неожиданно никакого «роя агентов, который завтра заменит корпорацию». Мультиагентность имеет смысл, когда нужна специализация, параллельное выполнение или реально сложная координация. Во всех остальных случаях вы получаете: больше коммуникаций → больше контекста → больше токенов → больше задержки → больше способов все сломать. То есть агентная версия нашего любимого: микросервисы нужны не потому, что их можно сделать. 4. Evals становятся новой частью SDLC Вот это, пожалуй, одна из самых полезных частей книги. Для обычного приложения мы примерно понимаем: написали → протестировали → выкатили. С агентами этого мало. Нужно отдельно проверять: • правильно ли выбран инструмент; • правильно ли переданы параметры; • нормально ли агент спланировал действия; • правильную ли память достал; • не галлюцинирует ли; • справляется ли с неожиданным вводом; • достигает ли вообще конечной цели пользователя. Автор довольно прямо формулирует: непротестированный агент = ненадежный агент. И evals предлагается встраивать непосредственно в жизненный цикл разработки, а не устраивать большой экзамен перед релизом. 5. А после прода начинается еще веселее Отдельные главы посвящены эксплуатации. OpenTelemetry, traces, Langfuse, Grafana, shadow mode, canary, поиск регрессий. Вплоть до самовосстанавливающихся агентов. То есть AI engineering постепенно становится удивительно похож на обычный software engineering. Только теперь у нас внутри системы сидит вероятностный компонент, который иногда внезапно решает сделать что-то творческое. ❤️ - если забрал в бэклог 🔥 - если читал и зашло 💅 - если читал и не зашло

Токены подешевели, а время нет Хотел проверить, можно ли заменить повседневную работу в чатах с ChatGPT и Claude локальной моделью. Ответ: пока нет, и дело не в железе. Контекст. У нас есть пара машин Asus - это аналоги NVIDIA DGX Spark. Гонять через них большие объёмы данных отлично, а вот в чате мучение: токены выдают медленно. Локальные модели у меня и так крутятся в сетапе с OpenClaw, но это фон и триангуляция, а не живой диалог. Обсуждали взять новый Mac Studio: Apple даёт лизинг и беспроцентный кредит для жителей США. Осталось понять, какую модель на него ставить. Взял GLM 5.3, которую все сейчас рекомендуют, и последний DeepSeek. Пока через OpenRouter, чтобы не покупать железо вслепую. Дал несколько простых задач. Разочаровался быстро. Отвечают шустро и чётко, но по глубине заметно отстают даже от базового ChatGPT. DeepSeek понравился чуть больше, но восторга тоже нет. Те же задачи у последних ChatGPT и Claude, для меня полный вау. Как разговор с рассудительным, начитанным собеседником, который думает глубже и держит больше измерений задачи одновременно. Это субъективно, ни на что не претендую, но идея с Mac Studio и домашним чатом отпала сразу. Год назад я писал про DeepSeek, что цена токена будет падать очень быстро. Так и вышло, но дешёвые токены не сделали работу дешевле. Счёт просто переехал из API в моё время. В программировании и исследованиях я плачу не токенами, а итерациями. Код от слабой модели не работает, и я превращаюсь в промпт-инженера и тестировщика, который вытягивает из неё результат. Модель фантазирует там, где надо было подумать, а я перепроверяю выводы и переписываю тексты. Экономия на токенах съедается с большим запасом. Так недавно вышло с Perplexity и похоже, они стали экономить на моделях. Это сразу чувствуется, и я почти перестал им пользоваться. В большой организации то же самое, умноженное на сотрудников. Модель нестабильна, ошибается, не дорассуждает там, где нужно, и компания платит часами людей вместо долларов за API. В отчёте это выглядит как экономия. При этом для простых коммерческих задач дешёвых моделей более чем достаточно, и там экономить надо. Дилемма в том, что фронтир дорогой, а граница между простой и непростой задачей размыта. Думаю, будет всё больше умных роутеров, которые подставляют модель под уровень задачи. Пока их мало. Китайские модели молодцы: дают жару и поджимают. Побочный эффект - это подписки за $200 приносят эквивалент нескольких тысяч долларов потребления по API. Пока лимиты не исчерпаны, я сижу на фронтире и считаю это подарком от их инвесторов. Моё правило пока простое. Если результат приемлем на 90% рутинных задач, то можно использовать дешёвую модель. Если сложная задача и результат проверяю я, то только фронтир. Своё время на роль тестировщика тратить пока нет смысла @maxvotek | linkedin | substack

🌟 Ant Ling выложила специализированную медицинскую модель Ling-3.0-flash-Sante - модель, дообученная под медицину поверх языковой Ling-3.0-flash. Архитектура MoE на 124 млрд общих параметров, 5,1 млрд активных с контекстом в 262 тысячи токенов при максимальном выводе 32 тыс.

Ant Ling, команда языковых моделей в inclusionAI, открытой исследовательской инициативе Ant Group. Сама Ant Group входит в экосистему Alibaba, но развивает модели отдельно от неё. На прошлой неделе та же команда выпустила финансовую версию Ling-3.0-flash-Fin на той же базе.

Модель специализируется на медицинских рассуждениях, безопасности лекарственной терапии, поиску с опорой на доказательную базу и длинные исследовательские задачи. Общие способности - рассуждения, код, агентная работа сохранены. 🟡Тесты На DiagnosisArena-MCQ модель набрала 83,8 против 81,9 у GPT-5.6 Sol, 78,4 у Kimi K3 и 76,2 у Gemini 3.6 Flash. На MedXpertQA-Text результат скромнее - 53,9 против 53,5 у Kimi K3, но заметно ниже 60,2 у Sol и 62,4 у Gemini. Этика и безопасность на MedEthicAlign и внутреннем AFUSAFE-MedSCE - выше Claude Opus 4.8(max), но чуть ниже GPT-5.6 Sol (max). Модель доступна бесплатно на OpenRouter и в Vercel. О планах по публикации весов сведений нет. @ai_machinelearning_big_data #news #ai #ml

Вот так выглядит восстание машин. Это Claude Code (Opus 5 High) отвечает мне, что для него прочитать правило - это не значит следовать ему. На самом деле, это старая и знакомая болячка моделей Claude, из-за которых я почти не использую их. Два исключения - UI Design и работа с текстами. А если нужно следования инструкциям, то есть волшебный промпт: > Hey, look at the UI changes by Claude and cleanup the junk that violates piecemeal growth and document writing guidelines Задавать его нужно GPT-6 Astra или GPT-5.6 Sol. Уж они-то не только держат контекст моих проектов в голове, но и следуют инструкциям. Ваш, @llm_under_hood 🤗

huggingface.co/nvidia/Qwen3.8-Flash-Next-NVFP4 - NVIDIA NVFP4 квантизация Qwen3.8-Flash-Next: ~2.7x меньше BF16 на Blackwell huggingface.co/Cyronius/Qwen3.8-Flash-Next-131B-A6B-GGUF - GGUF с обрезанной n-gram таблицей (2/16 голов) — 64.8GB вместо 90GB huggingface.co/dealignai/Qwen3.8-Flash-Next-UNCENSORED-FP8 - обесцензуренный Qwen3.8-Flash-Next: отказ убран, MTP и vision сохранены. 94% compliance на HarmBench huggingface.co/Jackrong/Qwopus3.8-27B-Flash-GGUF - файнтюн Qwen3.8-27B для скорости: +12.8% tok/s, MTP принятие 80.7%, меньше разгоняющегося мышления huggingface.co/XHToken/Spark-X2.5-4B-GGUF - Spark-X2.5 от iFlytek: 4B, гибридное внимание, до 1M контекста, 200+ языков. BF16 GGUF #gguf #multimodal #agent #nvfp4 #uncensored VK | MAX