🎉 Маленькая LLM может тратить больше времени на загрузку, чем на ответ. Google изучила запуск квантованных моделей от 270 млн до 3,8 млрд параметров на Cloud Run с CPU. При «холодном старте» 55–70% задержки приходилось на загрузку модели: прежде чем генерировать токены, нужно перенести её веса в память. Нашёлся и менее очевидный эффект Cloud Run: переход с 4 на 8 ГиБ памяти в тестируемой конфигурации давал вдвое больше vCPU и почти вдвое сокращал время инференса после загрузки модели. Практический вывод для редких запросов к небольшой LLM: оптимизировать стоит весь путь до ответа — загрузку весов, конфигурацию инстанса и только потом генерацию. https://research.google/pubs/cold-start-latency-of-quantized-small-language-models-on-serverless-cpu-infrastructure/

✔️ Сотрудник Anthropic объяснил, почему Claude стал писать тексты хуже Джексон Кернион, который в Anthropic занимается дообучением Claude, объяснил в X, почему модели компании после Opus 4.6 стали писать менее естественно для восприятия человека. Причина в том, что новые модели учили математике и программированию, а ещё техническим объяснениям, рассчитанным на другие языковые модели.

По словам Керниона, Claude подстроился под психологию LLM и научился писать для машин.

У языковых моделей рабочая память больше человеческой, и мелкие детали они улавливают точнее. Поэтому удобный им стиль текста человек считает как слишком плотные простыни информации. Источник перехода на такой стиль Кернион видит в наградах при RL: одни поощряют текст, понятный модели, другие – понятный человеку. Чем больше в обучении математики и кода, тем настойчивее приходится вознаграждать простые объяснения, которые человек способен прочитать. В Opus 5.5, по словам Керниона, баланс нашли - навыками письма модели он доволен впервые со времён Opus 4.6. Превзошла ли новая модель старую в мастерстве изложения, он не говорит.

«Задача сложная, мы продолжим над ней работать», – пишет Кернион.

@ai_machinelearning_big_data #news #ai #ml

Технический отчёт DeepSeek-V4.1-Flash — часть 1/2 Разберём технический отчёт DeepSeek-V4.1-Flash. В первой части обсудим архитектуру модели. Главное достижение авторов — экстремальное сжатие KV-кеша. При стандартном для frontier-моделей максимальном контексте в миллион токенов глобальный KV-кеш на один токен составляет 890 байт, что делает инференс даже максимального числа токенов почти бесплатным (менее одного гигабайта в сумме).  В архитектуре DeepSeek-V4.1-Flash каузальные энкодер и декодер, у каждого по 20 слоёв. Энкодер-декодер-архитектура выбрана не случайно: это помогает экономить вычисления. Нижняя половина слоёв формирует глубокое представление префикса, на которое затем аттендится декодер. В случае короткого промпта это позволяет в среднем в два раза сократить стоимость вычислений.  DeepSeek-V4.1-Flash — MoE-модель на 552 миллиарда параметров, плюс 196 миллиардов в Engram. На префилле активируются 8 миллиардов параметров, а на декоде — 16 миллиардов. Размер скрытого представления — 5120; количество аттеншн-голов — 64. Есть sliding window attention, один shared-эксперт и 384 маршрутизируемых. На один токен активируются шесть экспертов.  Кроме того, с самого начала обучения использовались изображения, так что модель — нативно мультимодальная. Изображение проходит через DeepSeek-ViT (32 слоя, 2D-RoPE), далее применяется pixel unshuffle 3х3, MLP-проектор, и всё это перегоняется в текстовый эмбеддинг. Вместо привычной свёртки для отображения пикселей в токены применяется линейный слой, что даёт возможность использовать Muon.  Как работает каждый из компонентов. На префилле энкодер делает полный проход по префиксу. На декоде глобальный KV-кеш проецируется из скрытого представления последнего, двадцатого слоя энкодера. Хидден подаётся не напрямую, а отображается layer-specific-проекциями. Это позволяет экономить на кеше в декодере. Ещё одна важная особенность модели — Compressed Sparse Attention 2 (CSA2) в нескольких режимах, против CSA и Heavily Compressed Attention (HSA) в базовой DeepSeek-V4-Flash. О том, что такое CSA и HSA, мы писали вот тут, а в этом разборе сосредоточимся на режимах CSA2. Всего их три:  — Full Mode — вычисляем полный KV-кеш и делаем полный аттеншн, но оставляем возможность определять важные и неважные токены, имея некие индексы. На части хороших кандидатов аттендимся сразу, а часть — 16 тысяч — передаём дальше.  — Reindex Mode — аттендимся на KV-кеш из Full Mode, выбираем из переданного пула хороших токенов своих кандидатов. — Reuse Mode — переиспользуем Top-K-индексы от Full Mode. Самый частый блок: 15 из 20 и на префилле, и на декоде.  Во второй части продолжим разговор об архитектуре, а также затронем претрейн и посттрейн. Разбор подготовил ❣ Денис Кузнеделев Душный NLP

Период полураспада софта - 3 месяца Я сейчас возвращаюсь к сайту BitGN, чтобы начать подготовку к соревнованию ECOM2 (agentic economy), добавить место для публикации LLM бенчмарков и в целом обновить дизайн. В этот код я давно не ходил, и он ну очень дремучий - эпохи где-то до декабря 2025 года, когда Codex расцвел. Современным стандартам AI Native разработки совсем не соответствует. Агенты спотыкаются часто (даже Astra), предлагают ерунду, прямо за ручку надо держать. А потом я восстановил хронологию и сильно удивился. Я же ушел из TimeToAct в феврале этого года, чтобы начать делать платформу для бенчмарков агентов. Этой весной мы с COLIBRIX провели два соревнования, с тех пор 2.8M задач выполнено агентами на платформе. И выходит, что возраст кода BitGN не “вечность” - а всего 7 месяцев от начала разработки. Причем в последний раз я туда активно ходил всего три месяца назад. За это время настолько улучшилось как качество современных AI code агентов, так и наше понимание об их эффективном использовании, что проекты быстро начинают казаться постаревшими. В общем, если кажется, что софт теперь стареет быстрее - это иллюзия. Код как преспокойно лежал себе в Git-e, так и лежит там. Это просто так быстро улучшаются наши ожидания о работе с AI Coding агентами. Ваш, @llm_under_hood 🤗

RRSI: метод рекурсивного самоулучшения обвязки ИИ-агентов от Google улучшил результаты Claude Opus 4.8 на всех бенчмарках Исследователи из Google Cloud AI Research представили метод RRSI (Regularized Recursive Self-Improvement), который автоматически улучшает обвязку ИИ-агентов так, чтобы прирост сохранялся и на новых задачах. Обвязка - это всё, что окружает замороженную LLM: промпты, логика управления, инструменты, память и работа с контекстом. Метод полезен командам, которые строят агентов на закрытых моделях через API: веса таких моделей недоступны, поэтому качество агента поднимают через обвязку. Ещё он нужен тем, кто уже оптимизирует промпты и инструменты автоматически и видит, что прирост не переносится на новые задачи. Обвязка ИИ-агента решает, какой файл прочитать перед правкой, как восстановиться после упавшей команды и что оставить в контексте. Регуляризация во время обучения мешает модели зазубривать обучающие данные, например, применяет штраф за слишком большие веса. RRSI применяет ту же идею к обвязке: менять можно всё, от промптов до субагентов, но избегает подгонки результатов под конкретный бенчмарк. Существующие методы автоматической настройки обвязки почти не переносят прирост на новые задачи. С обвязкой RRSI агент на Claude Opus 4.8 стал лучше на всех восьми бенчмарках. На задачах, на которых настраивали обвязку, он прибавил от 1.1 до 6.0 пункта (на Terminal-Bench 2.1 с 74.2 до 80.2), а на пяти незнакомых бенчмарках от 1.8 до 4.7 пункта (на JobBench с 36.0 до 40.7). В офисных задачах средний результат на незнакомых бенчмарках вырос с 39.7 до 43.6 пункта, а на инженерном Frontier-Eng с 17.7 до 22.0, то есть на 24.3%. При этом обвязка RRSI экономнее: с ней агент тратит на одну задачу в среднем 2.42 млн токенов, а с обвязкой, настроенной без регуляризации, 3.80 млн. Код опубликован на GitHub под лицензией Apache 2.0, журналы экспериментов выложены на странице проекта. #Stateoftheart

Когда AI-агенты работают слишком хорошо У Harvey, AI-стартапа для юристов, за полгода валовая маржа упала с 50% до минус 50%. Агенты заработали настолько хорошо, что клиенты стали расходовать в 20 раз больше токенов. При этом места Harvey продаёт годовые места по фиксированной цене, а в OpenAI и Anthropic стартап платит за каждый токен. Выход Harvey нашёл в собственной модели на базе открытой Kimi K3. Запрос подешевел на 90%, и маржа вернулась в плюс. Похожим путём уже идут Abridge, Decagon и Ramp. Давайте сверимся, у кого что под капотом. Опрос ниже, а в комментах пишите, какая доля себестоимости уходит на токены Андрей Резинкин | Money For Startup