🔥 Perplexity разогнала локальный запуск LLM на Apple Silicon Компания сделала собственный движок Lily специально под Mac и Qwen3.6-35B-A3B без PyTorch и MLX в цепочке выполнения. На MacBook Pro с M5 Max и 128 ГБ unified memory: - prefill: 5749 ток/с - генерация: 186,6 ток/с - в среднем prefill быстрее MLX-LM в 1,23× - decode — в 1,35× Что внутри: - runtime на Rust - собственные Metal-кернелы - MoE-routing остаётся на GPU - оптимизация отдельно под prefill и decode - KV-cache и Gated DeltaNet заточены под Apple GPU - 35B-модель ужата до 19,4 ГБ в 4-bit На длинном контексте отдельная оптимизация attention дала до +40% скорости на 128K токенов. Сам Lily Perplexity обещает скоро открыть. https://www.perplexity.ai/hub/blog/optimizing-on-device-inference-for-apple-silicon

Loop the Loopies! Сегодня обсудим статью, которая посвящена моделям Loopies, построенным на шеринге параметров между разными слоями.  Обычно у трансформерных моделей и свёрточных нейросетей отдельные параметры на каждом блоке, благодаря чему объём вычислений и число параметров масштабируются с глубиной. Это даёт гибкость — каждый блок может выполнять специфические задачи. Но при этом с ростом числа слоёв растёт и количество параметров, а значит, модель становится дороже хранить.  Выходом из этой ситуации может стать переиспользование весов по несколько раз за форвард — шеринг параметров. Так не нужно хранить много параметров, однако блок может принимать распределение данных с разной глубины, что усложняет задачу оптимизации.  Перспективность шеринга первым доказал метод ALBERT. В нём было два механизма: факторизация матрицы эмбеддингов и переиспользование одного трансформенного блока несколько раз. На этом принципе работают looped-модели — hidden state в них прогоняется R раз через один и тот же блок. Число параметров становится меньше, а количество вычислений не меняется.  Рекуррентность имеет и другие преимущества: hidden state проходит несколько шагов улучшения, эффективная глубина растёт без увеличения размера модели. В перспективе число шагов можно адаптировать под сложность запроса — если он простой, то прогонять один раз, а если сложный, то больше. Рекуррентность хорошо показывает себя на алгебраических задачах и задачах, связанных с пазлами. Однако сравнения looped-моделей с не-looped-аналогами были не совсем честными. При том же размере модели делаются R прогонов, а, следовательно, в R раза больше вычислений. Соответственно, и обучать такую модель дольше. В плане оптимальности компьюта looped-модели уступали обычным трансформерам.  Авторы серии Loopie предлагают две модели: Loopie-20B-A2B и Loopie-6B-A0.6B. Архитектурно это Qwen3. В отличие от решений прошлого, здесь не вся модель прогоняется несколько раз, а каждый слой (верхняя схема на изображении 1). В пределах одного блока активации меняются не так сильно, к тому же это проще для чекпоинтинга. Также такой метод даёт потенциально большую гибкость: можно делать разное количество проходов на каждом слое.  Подход layer-loop проще для распределённого обучения, потому что повторения слоя остаются в одном pipeline stage, а параметры градиента могут использоваться локально. В то же время model-loop требует, чтобы вычисления синхронизировались внутри всей модели а первый блок должен уметь обрабатывать один или несколько полных проходов через модель.  Претрейн состоял из двух стадий. Сперва используют датасет Nemotron-CC-v2-HQ, а дальше дообучают на более качественных данных, делая упор на синтетику, STEM, код, математические рассуждения и веб-данные. Так получается базовая Loopie. На неё делают Supervised Pre-Training (SPT). Это похоже на SFT, лосс считается только по target-токенам, однако масштаб — как у претрейна: 2Т токенов. Контекст увеличивают и обучают довольно большими батчами примерно по 128М токенов. SPT, как отмечают авторы, улучшает способность модели к рассуждению.  На RL сначала делают математику, а потом программирование. Используют GSPO, ассиметричный клиппинг и динамическую фильтрацию промптов. Роллаут увеличивают с 32К до 64К.  По бенчам Loopie-20B примерно сопоставима с моделями вроде Qwen3, Nemotron 3 Nano и GPT-OSS (изображение 2). Казалось бы, не слишком большое достижение для 2026 года, однако стоит помнить, что у Loopie намного меньше параметров. Loopie-6B в своей «весовой категории» также показывает себя достойно — особенно в задачах, связанных с математикой (изображение 3). Разбор подготовил ❣ Денис Кузнеделев Душный NLP

Накопилось по #minimaxH3 - часть 14 gist.github.com/alisson-anjos/b300f2b90e65cf85846519d78b660cd3 - патч для AI Toolkit: align_video_refs делает контрольное видео V2V-гидом вместо свободного референса huggingface.co/KennethFal/vh5tape-vhs-lora-minimax-h3 - #LoRA на VHS 80-х huggingface.co/prithivMLmods/MiniMax-H3-Facial-Realism-CloseUp - LoRA на микромимику и детали лица крупным планом #realism jurn.link/dazposer/wp-content/uploads/2026/08/H3-Minimax-LongVideos-OLD_VERSIONinc-demo-workflow-for-ComfyUI.zip - воркфлоу для H3-LongVideos, старая версия ноды в комплекте github.com/blendi-remade/interdimensional-game - фильм- игра на real-time версии Max. Каждый кадр генерируется на ходу huggingface.co/OpenVDN/vdn-minimax-h3 - VDN-Minimax-H3: гибрид linear + softmax attention для скорости и качества на 8 шагах github.com/lihaoyun6/ComfyUI-H3VAE_TRT - TensorRT VAE для H3: ускорение декодирования до ×1.7, небольшое снижение качества #optimization

Почему мы падаем и скорее всего продолжим это делать В конце июля Банк России понизил прогноз роста ВВП на 2026 год до 0,0–1,0%. Тогда это прошло тихо, на фоне снижения ставки. А сейчас, когда начинается планирование четвёртого квартала, эта цифра становится главной. Ноль. Регулятор фактически говорит: роста в этом году не будет. Ставка сейчас 14,00%, следующее заседание - 11 сентября. Ещё две строчки из того же релиза ⤵️ Первая 👉 за последний месяц существенно снизились ожидания бизнеса по будущему спросу и выпуску, и ЦБ прямо пишет, что это может указывать на замедление роста потребления во втором полугодии. Помните мой пост про июль, где я написала, что людей просто нет и я не понимаю, где они? Регулятор видит то же самое и ждёт продолжения осенью. Вторая 👉 рост зарплат замедлился, но продолжает опережать рост производительности труда. При этом безработица на исторических минимумах. Вот это, по-моему, главное для нас. Зарплаты растут быстрее, чем отдача от людей. В бьюти, где ФОТ - основной кост, это означает, что маржа съедается изнутри, даже если выручка держится. Что это значит? Если экономика не растёт, то любой ваш рост - это чья-то чужая доля рынка. Не общий подъём, на котором можно подняться вместе со всеми. Кто-то должен отдать, чтобы вы взяли. Отсюда 3 вещи, которые мы сейчас пересобираем: Удержание дороже привлечения. В растущем рынке потерянный клиент заменяется новым. В нулевом он уходит к конкуренту и обратно не возвращается. Поэтому мы плотно занимаемся возвратом действующей базы, интервалами между визитами и загрузкой. Оптимизация вместо экспансии. При ставке 14% заёмные деньги дороги, а окупаемость любого нового проекта считается совсем иначе, чем два года назад. Мы прошли несколько кругов оптимизации, и, судя по всему, будет ещё один. И третье - мотивация. Как раз из-за той второй строчки про зарплаты и производительность мы меняем KPI директоров с выручки на валовую маржу. В понедельник разберу эту механику подробно, многие спрашивали. И мысль напоследок Ноль процентов роста звучит как приговор, но это довольно честная рамка. Она снимает иллюзию, что рынок вырастет и вытянет. Не вытянет. Вытянет только то, что вы сами перестроите. Эх, надо было идти в космонавты.

Первая работа: насколько она содержательна Здесь «монада Канторовича» — не декоративный buzzword. Идея технически осмысленна: берётся пространство объектов X, затем пространство вероятностных мер над ним \mathcal{B}X, а расстоянием между распределениями становится Wasserstein distance. Повторное применение конструкции формирует иерархии: X \rightarrow \mathcal{B}X \rightarrow \mathcal{B}^2X \rightarrow \dots \rightarrow \mathcal{B}^L X. Это естественно для многоуровневого отбора: генотипы → особи/локальные популяции → группы → метапопуляции. Авторы используют эту конструкцию, чтобы: • задать многоуровневый процесс Wright–Fisher с произвольным числом уровней; • рекурсивно определять сходство между структурами на разных уровнях с помощью Wasserstein-метрики; • вывести специальную многоуровневую вероятностную форму уравнения Прайса; • анализировать режимы, в которых отбор на уровнях конфликтует либо, наоборот, действует кооперативно; • подгонять параметры модели методами Variational Optimization, SPSA и Monte-Carlo EM, в том числе с обратным моделированием coalescent-процесса.[arxiv] То есть работа не утверждает магически, что «теория категорий улучшает GA». Более скромное и правдоподобное утверждение: она даёт единый типизированный язык для вложенных вероятностных популяций, согласованную геометрию расстояний и objective для инференса параметров процесса. Где здесь настоящая польза Для исследовательской или агентной инфраструктуры польза может быть вполне реальной, если задача имеет именно вложенную структуру: • оптимизация «модулей внутри агентов, агентов внутри команд, команд внутри популяций»; • co-evolution нескольких специализированных политик; • поиск архитектур, где нужно одновременно поощрять локальную полезность и разнообразие/согласованность группы; • inference скрытых уровней отбора или группирования в биологических, культурных, организационных либо multi-agent данных; • quality-diversity / population-based training, где важно сравнивать не отдельные кандидаты, а распределения кандидатов. Например, в эволюционном поиске агентной системы можно дать локальную fitness за качество индивидуального инструмента, а групповую — за комплементарность команды. Wasserstein-объектив тогда сравнивает не один итоговый score, а всю многоуровневую структуру распределений поведения и решений. Главные ограничения Здесь важно не переоценивать результат. • Не доказана практическая победа над обычными иерархическими GA. Авторы демонстрируют метод на синтетическом TSP-сценарии, а не на наборе разнородных реальных benchmark-задач.[arxiv] • Вычислительная стоимость может быть серьёзной. Вложенный Wasserstein и прямые/обратные симуляции быстро становятся дорогими при росте числа уровней, размеров популяций и сложной генотип-фенотипной карты. • Идентифицируемость параметров не гарантирована. Разные комбинации selection, mutation, grouping и cooperativity способны порождать сходные наблюдаемые распределения. • Категорная формализация не заменяет design fitness. Если иерархическая fitness определена плохо, формально красивый объект лишь стабильно оптимизирует неправильную цель. • Статус публикации. По найденному источнику это arXiv preprint, не свидетельство независимой воспроизводимости или устоявшегося стандарта.[arxiv]

Сейчас записывал сторис, где показывал, как работает Qipli, и заметил, что он люто лагает. 🤬😅 Была полусекундная задержка перед открытием окна истории 🫠 я аж глазами её замечал, и меня это просто выносило. 😵‍💫 👨‍💻 Вооружился дебаггинг-тулом и пошёл смотреть, что не так. Как ни странно (или как странно, тут непонятно, как к этому относиться) проблема была со SwiftUI. Я использовал History List для того, чтобы отображать историю вставки. (логично) А у меня в истории уже дохера много айтемов, потому что я сам активно пользуюсь приложением и долго пользовался им, пока разрабатывал. 🫠 Из-за этого всё начинало люто тормозить. В общем, с Codex прикинули вариант оптимизации и уже пофиксили эту проблему. Сейчас история работает вообще молниеносно. ⚡️ 👌 Фикс уже залил, релиз готов. https://qipli.yhub.net ℹ️ Если скачивали приложение — нажмите Check for Updates. А вообще лучше зайдите в настройки и включите автоматическую проверку обновлений. Так у вас всегда будет самая свежая версия. 😉 Свята место | 10МДК | YHub

🤔Мысли вслух В самом начале недели по интернету разошёлся вот этот отрывок из игры «Кунг Фу Панда» 2008 года. Да, тайтл по мультфильму из бородатых времён. Что здесь примечательного? Две вещи: безупречная вода, которая выглядит лучше, чем в большинстве современных ААА-проектах, и на реализацию которой понадобилось всего 512 МБ ОЗУ, а также тот факт, что в детстве я сам в это играл и это было.. весело. Я не обращал внимания на то, какая тут крутая жидкость, а просто кайфовал от геймплея, оттого ещё удивительнее, что на такой сторонний момент потратили столько сил и тем более удивительно, что сегодня никто ничего подобного не делает! Видимо, реальны спецы по оптимизации остались где-то там, ведь теперь бы для запуска чего-то подобного понадобилась минимум RTX 3060 с DLSS. Думаем... 😏Подписаться на IGM