⚡️ Moonshot AI открыла FlashKDA - быстрые CUDA-ядра для Kimi Delta Attention FlashKDA — реализация KDA на базе CUTLASS, заточенная под современные GPU NVIDIA. По бенчмаркам разработчиков: • H20: ускорение примерно до 2,31× относительно chunk_kda • GB200: до 3,27× на variable-length sequences • поддерживается batching последовательностей разной длины • интеграция уже есть в flash-linear-attention ≥ 0.5.0 — FlashKDA может автоматически выбираться как backend Требования пока серьёзные: SM90+, CUDA 12.9+ и PyTorch 2.4+. Интересно здесь другое: вместе с моделями Moonshot постепенно открывает и низкоуровневый стек, необходимый для быстрого запуска их архитектур. 🔗 https://github.com/MoonshotAI/FlashKDA

Алкоголик покупает ящик водки: вот деньги, вот ящик, обменялись, пошли дальше. NVidia продает свои GPU: — вот видеокарты (NVidia —> покупатель) — если у вас не получится их сдать в аренду, то мы гарантируем минимальную выручку (NVidia —> покупатель) — если вы будете сдавать их в аренду дороже минимума, то нам доля с разницы (покупатель —> NVidia) — за счет гарантированной выручки от NVidia кредитор дает деньги в долг покупателю, у того есть чем расплатиться в любом случае (кредитор —> покупатель) — вот вам деньги (покупатель —> NVidia). Ещё NVidia мог бы в покупателя проинвестировать, но в данном случае нет. https://newsletter.semianalysis.com/p/nvidia-gpu-debt-backstop-unleashes

Интересная по описанию либа Humming от InclusionAI. Позиционируется как легковесный, высокопроизводительный фреймворк с JIT-компилированными GEMM-операциями (под NVIDIA GPU). ⚙️ Он предлагает широкий ассортимент кернелов под разные конфигурации квантованных весов и активаций: • 🧮 Веса можно квантовать почти в любую целочисленную битность от 1 до 8, а также в разные варианты FP. • ⚡ Активации можно квантовать в FP16/BF16/FP8/FP4/INT8/INT4. FP8 поддерживается только начиная с Hopper, а FP4 — с Blackwell. 🧩 Ещё он работает с MoE и позволяет прикручивать адамаровы повороты в квантизацию. 🤷‍♂️ Утверждается, что он выдаёт SOTA-скорость и эффективность, но никаких чисел в README, да и вообще нигде, не приводится. 📊 Квантованных чекпоинтов с замерами качества и скорости тоже нигде нет. 🤔 Выглядит потенциально интересно для ресерча, но как будто не хватает нормальной доки и полноценного описания бенефитов. Могли бы Claude Code постараться напрячь, раз он у них и так многое делает.

NVIDIA раскрыла полную архитектуру Vera Rubin, показала первые тесты и передала первые системы заказчикам NVIDIA опубликовала детальную архитектуру Rubin GPU (336 млрд транзисторов, 8 GPC, 224 SM, 896 Tensor Cores, 288 ГБ HBM4 с пропускной способностью 22 ТБ/с) и Vera CPU (88 ядер Olympus на Armv9.2, Spatial Multi-Threading, до 1,5 ТБ LPDDR5X с пропускной способностью 1,2 ТБ/с). В DeepSeek-R1 первый бенчмарк показал 10-кратное увеличение пропускной способности на мегаватт по сравнению с Grace Blackwell NVL72. При энергопотреблении 150 МВт Vera Rubin выдаёт 800 000 токенов/с против 80 000 у GB200. Vera CPU в SPECrate integer обходит двухпроцессорный AMD Epyc 9755 с результатом 925 против 898 балло . Заявлен 50% прирост IPC против Grace. Монолитный кристалл, по данным NVIDIA, даёт в 3 раза больше пропускной способности на ядро и на 40% ниже задержки памяти, чем чиплетные решения AMD и Intel. Платформа уже развёрнута у CoreWeave, Google Cloud, Microsoft Azure и Oracle Cloud Infrastructure и охватывает более 350 заводских узлов в 30 странах. Среди первых клиентов — OpenAI, Anthropic и SpaceX.

NVIDIA похоже тайно скупает тёмное оптоволокно* по всем США По данным аналитических компаний Needham и Wolfe Research, NVIDIA приобретает тёмные магистральные линии. При использовании DWDM** (до 96 каналов на волокно в данном случае) и скорости 800 Гбит/с общая пропускная способность достигает 7,6 Пбит/с. Инвестиции в проект оцениваются в $5–10 млрд на три года. Делается это вероятно для объединения дата-центров, аренды неоклаудам*** и запуска собственного сервиса «графические процессоры как услуга» (GPU-as-a-Service) напрямую корпоративным клиентам, в обход гиперскейлеров****. NVIDIA уже имеет 9,3% в неоклауде Nebius. Похоже, компания строит свою инфраструктуру, чтобы не зависеть от Amazon, Google и Microsoft. Но, самое интересное тут наверное даже не это, а терминология, с которой пришлось разобраться при написании этой новостной заметки. Если знали значение всех четырех терминов, можете считать себя гуру IT. * Во-первых, само тёмное волокно. Что это такое? Никакой мистики или астрофизики — это проложенные, но неиспользуемые самые обычные оптоволоконные кабели. Арендатор сам устанавливает на них своё активное оборудование и получает полный контроль над сетью. ** DWDM или Dense Wavelength Division Multiplexing (плотное мультиплексирование с разделением по длинам волн) — это технология, позволяющая передавать множество независимых сигналов по одному оптоволокну, используя разные цвета (длины волн) лазерного излучения. *** Неоклауды — это новые облачные провайдеры, которые специализируются на предоставлении мощностей именно для обучения и работы ИИ-моделей, в отличие от универсальных облаков Amazon, Google и Microsoft. **** Гиперскейлеры — это крупнейшие провайдеры облачных услуг, такие как Amazon (AWS), Google (Cloud) и Microsoft (Azure), которые строят и эксплуатируют огромные дата-центры по всему миру, чтобы предоставлять вычислительные мощности, хранилища и сервисы в аренду другим компаниям и разработчикам.

MSI тихо заменила чипы в RTX 5060 на GB205 MSI добавила на сайт четыре новые RTX 5060 с пометкой «V1» — VENTUS и GAMING, обычные и OC. Внешне всё то же самое, что и в старых платах, но внутри вместо штатного GB206 используется более крутой GB205 — тот самый, что лежит в основе RTX 5070 — но, понятно, в урезанном виде. Nvidia просто отключила часть блоков, так что финальные спецификации остались прежними: 3840 ядер CUDA, 8 ГБ GDDR7, 128-битная шина и PCIe 5.0 x8. Забавно, что у версии GAMING OC V1 тактовая частота даже чуть упала — с 2625 до 2587 МГц, а TDP — со 155 до 150 Вт. Однако GB205 физически крупнее, а значит, тепловая плотность ниже. Да и гнаться он должен лучше чисто теоретически. Отличить V1 от обычной версии можно по прямоугольному расположению отверстий на обратной стороне платы — у GB206 они квадратные. Цен и сроков MSI пока не раскрывает.

Окупаемость видеокарты для локальных нейросетей Я покупал свою карту 4090 без каких-либо экономических расчетов и подсчетов. Просто решил провести этот эксперимент и попробовать на себе такую дорогую покупку для ИИ. Видеокарта может выдавать в среднем 50 токенов в секунду для Qwen 3.6 27b q8_0. Если переводить в месяц и стоимость такой же модели на openrouter, то получается такая модель обходилась бы мне в 28к рублей (при работе модели 24/7). Электричество на такую видеокарту в моем офисе сожжет 3500 рублей при тарифе 11.5р за квт-ч. То есть, при работы 24/7 у меня экономится 24 тыс рублей в месяц. Окупаться 330 тыс рублей будет минимум пару лет. За эти пару лет видеокарта ощутимо износится, выйдут новые видеокарты и модели, что снизит ценность видеокарты кратно. В конечном счете выходит, что покупка экономически идиотична и не целесообразна. Но я все равно планирую расширять парк видеокарт и раскрывать для себя мир локальных нейросетей дальше. Есть внутреннее ощущение, что нужно дальше двигаться в эту сторону, но нет никакого нормально обоснование зачем тратить сотни тысяч рублей на видеокарту, когда подписки на облачные варианты стоят кратно дешевле. В худшем случае я смогу поделиться с вами своими результатами и отговорить от идиотских покупок несколько тысяч своих подписчиков :)

Хз как люди пользуется OpenRouter По дурости тестили на нем систему, которая на локалках должна будет работать в контуре клиента, и это такая боль: - низкие лимиты у провайдеров - хрен пойми у кого реально есть поддержка structured output, даже если заявлено - а у кого есть, часто некорректная – натолкнулся на имплементацию с сортировкой ключей в алфавитном порядке 🥴 - нет моделей в целевом кванте - в какой-то момент провайдер просто лег на два часа (а другие не поддерживают норм SO для нужной модели, ага) Да, можно сразу тестить на целевой системе, но а) это нужно получать доступ в контур клиента и б) ждать пока одна его карточка все обработает А у нас autoresearch-like флоу, где агенты в 4 потока эксперименты крутят, нам такое не подходит Короче, надо было сразу арендовать GPU и поднимать там, а не страдать херней. Благо это делается в один промпт (если настроено управление браузером):

Codex, сходи через мой браузер на hf и подними мне vLLM на h200 с <model-name> на <context-len> токенов максимального контекста с <concurrency-num> параллельных запросов. Посмотри в документации и на реддите рекомендации по конфигам и проверь, что мои требования вообще выполнимы или предложи трейдоф

P.s. если нужно часто, установите huggingface_hub и дайте токен админский, чтобы агент через браузер не мучался P.p.s. не забываем потом остановить ноду, а то можно без штанов остаться (если хочется автоматически, юзаем scale_to_zero_timeout=20) Альтернативы: runpod.io, modal.com, cloud.ru (не реклама, а зря) Хз, для кого-то это очевидно, но у нас это первый проект, на котором сошлись локальные модели, отсутствие доступа к железу клиента, и огромный трафик autoresearch подхода

FlashAttention-3 и FlashAttention-4 — пример того, как алгоритмы нужно заново адаптировать под каждое поколение GPU 🚀 В новой статье разбираем, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell и какие архитектурные изменения вновь ускорили attention. Вы узнаете: • почему на H100 FA-2 просел по утилизации GPU • как Tensor Memory Accelerator и асинхронные Tensor Cores ускорили FA-3 • зачем нужна warp-специализация • как matmul и softmax удалось выполнять параллельно • что даёт FP8 с контролем ошибок • и почему для Blackwell снова понадобилась перестройка во FlashAttention-4 Читайте разбор по ссылке! 👈🏼

Microsoft научила Linux-приложения в WSL кодировать AV1 через GPU WSL (Windows Subsystem for Linux) — полноценный Linux внутри Windows без виртуалок. В Mesa 26.2 добавили прототип аппаратного кодирования AV1 через DirectX 12: Linux-программы теперь обращаются к драйверу, а тот перекладывает запрос в Windows Media Foundation, задействуя GPU. Пока только I/P-кадры (ключевые и промежуточные), без двунаправленных B‑кадров. Раньше Linux-программы в WSL не могли использовать GPU для кодирования AV1. Теперь — смогут. Аппаратное кодирование AV1 в обычных дистрибутивах Linux уже давно реализовано через стандартные открытые интерфейсы вроде VA-API (Video Acceleration API), так что новость касается чисто винды. Но, лучшая поддержка AV1 это, в целом, хорошо.

Book ReviewGPU-Accelerated Computing with Python 3 and CUDA Я получил очередную книжку от Packt на прочтение и ревью. Книга учит писать код под GPU на Python: сначала CUDA-ядра на Numba-CUDA, потом высокоуровневые библиотеки (CuPy вместо NumPy/SciPy, RAPIDS cuDF/cuML вместо pandas/scikit-learn, JAX), и в конце четыре мини-проекта. Книга мне понравилась (но код запускать я не пробовал). Авторы замеряют все оптимизации и демонстрируют случаи, когда ускорение не получилось. Из интересного: на примере computer-vision демонстрировали три способа классификации зашумлённых объектов: 7 Hu moments дают 66.7% за миллисекунды, template matching — 80%, но больше минуты на прогон, а CNN выдаёт 88% на чистом Fashion-MNIST и проседает до 60% на зашумлённых объектах. Из минусов — финальная глава строит LLM на IMDb (странный выбор датасета для генерации, и вывод модели не особо внятный). Хорошая книга для тех, кто пишет на Python и хочет понимать работу с GPU на более низком уровне, чем PyTorch/Jax. Amazon Packt Code Мои обзоры: Personal blog Medium Linkedin #books

Чип от мобильной RTX 4080 пересадили на десктопную плату: получившийся Франкештейн оказался на 6% медленнее RX 9070 GRE, но на 25% дешевле RTX 4080M на кастомной плате PCIe за 2700–2800 юаней (~$400) против 3600–4000 юаней за RX 9070 GRE. В играх карта в среднем на 6% медленнее Radeon, но в PUBG на 1440p Ultra выдаёт 340+ FPS против 240, а в Cyberpunk 2077 на 4K High проигрывает уже 35%. Отображаемый TDP около 100 Вт в играх (возможно, баг отображения), хотя мобильный RTX 4080 рассчитан на 175 Вт. Официальной гарантии и поддержки драйверов нет. Рекомендовать такую видеокарту для повседневного использования мы не можем (у нас подобные были во времена майнинга, драйвер неофициальный, возможно не будет обновлять никогда, куча неочевидных проблем).

MWS Cloud вошла в топ-3 GPU Cloud 2026 по версии CNews Market Облачная инфраструктура MWS Cloud на базе VMware заняла одно из лидирующих мест в рейтинге провайдеров GPU Cloud — сервисов с графическими ускорителями для ИИ, ML, LLM и других тяжелых вычислительных задач. В инфраструктуре MWS более 30 видов производительных процессоров и 13 современных видов GPU-ускорителей под задачи разной сложности. Для быстрого старта доступны 60+ готовых фиксированных конфигураций серверов: можно не собирать инфраструктуру с нуля, а выбрать подходящий вариант под проект. Форматы работы тоже разные: аренда оборудования в собственных ЦОД MWS, on-premise-размещение на площадке заказчика, мгновенный запуск без ожидания, стандартные заявки, долгосрочное бронирование ресурсов и предзаказ мощностей. Для ИИ-проектов есть готовая среда: MWS GPT Models Hub для работы с открытыми LLM, Inference Valve, U-Speech Analytics для речевой аналитики в облаке и ML-платформа. Производительность обеспечивают технологии высокоскоростного обмена данными, шины межчипового соединения и быстрые локальные NVMe-диски. SLA — 99,95%. Параллельно компания развивает собственную MWS Cloud Platform, где уже доступно preview виртуальной инфраструктуры с GPU.