Hirify Feed — your shortcut to what’s next

I@itcnewsruавтор про «tech»

13 ч

AMD готовит видеокарту, которая может обойти RTX 5090 на 60% По словам инсайдера Moore’s Law Is Dead, флагманская GPU на архитектуре RDNA 5 получит в 3–4 раза больше вычислительных блоков, чем RX 9070 XT, а пропускная способность памяти вырастет примерно в четыре раза. Переход на 3-нм техпроцесс TSMC позволит удержать энергопотребление в пределах 350–450 Вт. При этом, по прогнозу инсайдера, топовая AMD сможет оказаться на 30–60% быстрее RTX 5090 и при этом стоить дешевле. Если прогнозы подтвердятся, Nvidia придётся серьёзно конкурировать с AMD уже в следующем поколении.

AMD готовит флагманскую GPU на архитектуре RDNA 5

amd nvidia видеокарты gpu rdna 5 rtx 5090

IT ии цод инфраструктура gpu облака т1

Т1: рост рынка ИИ в России ограничен дефицитом инфраструктуры

З@zatelecomавтор про «it»

вчера

У ИИ тоже есть физический предел ИТ-холдинг Т1 прогнозирует, что рынок решений и услуг в области ИИ в России в 2025–2028 годах будет расти в среднем на 22% в год. Особенно быстро будет расти GPUaaS: на 36% в год до 2028 года, говорится в исследовании T1 (есть в распоряжении @antidigital). При этом Т1 отмечает, что рост облачного рынка уже в 2026 году замедлится примерно до 20% из-за дефицита оборудования, площадок под ЦОДы и приостановки части проектов по строительству новых дата-центров. О дефиците вычислительных мощностей Т1 говорит отдельно, отмечая, что растущий спрос на облачные сервисы для ИИ упирается не только в стоимость технологий, но и в ограниченные возможности инфраструктуры. Этот же тезис прозвучал и во время выступления Антона Степанова, руководителя бизнес-направления «Облако» Т1: отмечалось, что для дальнейшего развития ИИ нужны всё большие вычислительные мощности, а их доступность становится одним из ограничений. Всё это мешает росту IT-индустрии. В начале 2026 года энергосетевые компании Москвы начали отказывать новым ЦОДам в технологическом присоединении из-за отсутствия свободных мощностей. А ввод новых дата-центров в России в 2025 году сократился почти втрое: до примерно 4,7 тыс. новых стойко-мест против порядка 11 тыс. годом ранее. При этом спрос на мощности остается высоким. Бизнесу нужно всё больше вычислений для ИИ, но инфраструктура, на которой эти вычисления должны происходить, становится дефицитной. И дефицит возникает сразу на нескольких уровнях: не хватает GPU и другого оборудования, свободных площадок для ЦОДов, электрических мощностей и инженерной инфраструктуры. Например, в Московском регионе свободные мощности практически исчерпаны, из-за чего часть проектов уже приходится переносить в регионы, где проще получить электричество. То есть инвестиции в ИИ постепенно сталкиваются с материальными ограничениями. Похоже, в какой-то момент развитие AI будет ограничивать пропускная способность розетки.

ии цод инфраструктура gpu облака т1

релизИИ ai moe blackwell nvidia оптимизация deep learning

Prime Flash MoE: оптимизированные кернелы для архитектуры Blackwell

AI-редакция

2 источника · показать все· свернуть

КПДPrime Flash MoE: оптимизированные MoE-кернелы для Blackwell КПДОптимизация fused-кернелов для MoE на архитектуре Blackwell

собирается · 2обновлено 3 дн назад

Компания Prime Intellect представила Prime Flash MoEi — специализированный fused-кернелi, предназначенный для ускорения работы моделей с архитектурой Mixture-of-Experts (MoE) на графических процессорах NVIDIA Blackwell.

Решение направлено на устранение узких мест при работе с памятью и синхронизацией потоков, что позволяет значительно повысить производительность вычислений по сравнению со стандартными методами PyTorch.

20%прирост скорости в формате bf16

2 разаускорение в формате mxfp8

Полный разбор →

ai moe blackwell nvidia оптимизация deep learning

Геймдев графика gamedev typegpu m4 pro рендеринг ai

Инженер из Software Mansion показал ИИ-подсветку в реальном времени на основе карты глубины

AI-редакция

3 источника · показать все· свернуть

CGIT_VinesПеремещение источника света в реальном времени на M4 PRO Data SecretsОпределение глубины сцены в реальном времени через TypeGPU ️Нейросети: Волшебство ИИ, IT ️и маркетинг⚡️Система ИИ-освещения с учетом глубины сцены

разгоняется · 3обновлено 5 дн назад

Конрад Речко (@reczko_konrad), инженер из польской компании Software Mansion, представил демо, где виртуальный источник света в кадре с веб-камеры «понимает» глубину сцены и может огибать человека, скрываясь за поднятой рукой или плечом ровно в нужный момент — без единой задержки, как настоящее освещение.

Весь пайплайн — от нейросети, вычисляющей карту глубины, до финального рендера со светом — работает целиком на GPU в браузере, без пересылки данных между CPU и GPU. Проект собрал 7.4 млн просмотров за сутки и стал ML-проектом недели по версии Data Secrets.

7.4 миллионапросмотров за сутки

~8 мсвремя обработки кадра на M4 Pro

~16.7 мсдлительность кадра при 60 fps

Полный разбор →

графика gamedev typegpu m4 pro рендеринг ai

ИИ ai gpu разработка llm оптимизация

Сравнение стоимости использования скафолдов для GPU-задач

Б@boris_againAI-инженер

5 дн

я ненавижу скафолды от модельных лаб. Опуская вопрос что они убогие, так они еще и закрытые, так еще и едят кредиты как фантики(ладно очевидно это фича). В связи с преждевременной кончиной лимитов я решил померить сколько каждый из скафолдов кушает на разных моделях: - Sol 5.6 medium - Kimi k3 high Собственно идея такая: есть задачка написать 3 body проблем для GPU и покрутить на gpu численную симуляцию, все модели справились НО pi agent стоит в 4! раза дешевле чем все соседи смотреть pr cмотреть логи

Сравнение стоимости использования скафолдов для GPU-задач

ai gpu разработка llm оптимизация

IT gpu cuda cute оптимизация программирование

Обзор блога Simon Veitner по оптимизации GPU-кернелов

К@quant_prune_distillAI-инженер

6 дн

Наткнулся на интересный блог от некоего Simon Veitner. Дизайн суровый, минималистичный, максимально дешево и сердито, но есть немало интересных статей про написание и ускорение кернелов, компоненты современных GPU, а также реализации различных алгоритмов в CuTe / CuTeDSL . В частности: • Making RMSNorm really fast • Making matrix transpose really fast on Hopper GPUs • CuTeDSL on Hopper - WGMMA and TMA intro Будет полезно интересующимся написанием кернелов и эффективными программными реализациями алгоритмов на видеокартах, в особенности, на архитектурах Hopper и Blackwell.

gpu cuda cute оптимизация программирование

Технологии amd instinct чипы gpu инференс железо

AMD представила ускоритель Instinct MI350P в форм-факторе PCIe

т@techn0danyaAI-инженер

1 нед

🐿 С днем чипов Потому что сегодня поговорим про две новинки этой недели, которые будут ускорять наше светлое будущее (ну а еще люблю производство чипов ☺️) AMD выкатила Instinct MI350P — первую Instinct-карту в форм-факторе PCIe почти за пять лет (в прошлый раз релиз был аж в 2022 для MI210). Учитывая форм-фактор, а также лучшее практики индустрии, было бы логично предположить отбраковку — чипы, не прошедшие бин под MI350X. Нет. MI350X собран из двух I/O-дай, на каждой по четыре XCD (итого 8). MI350P — это один IOD с четырьмя XCD: отдельно собранный чип из тех же чиплетов, а не порезанный флагман. Ровно тот случай, ради которого чиплеты и затевались. Отсюда честная половина по всем характеристикам: - 128 CU / 512 матричных ядер (против 256/1024) - 144 ГБ HBM3E, 4 ТБ/с — 4 стека вместо 8, шина 4096 бит вместо 8192 - 2.3 PFLOPS MXFP8 - частота та же, 2200 МГц — её не резали Не половина только потребление: 600 Вт вместо 1000. 600 — это потолок спецификации PCIe CEM, AMD упёрлась в него ровно. Для серверов, которые столько не тянут, есть режим на 450 Вт. FHFL, два слота, полностью пассивный радиатор, до 8 карт в шасси (Supermicro в 5U умудряется ставить 10). Если говорить про грустное — Infinity Fabric наружу не выведен вообще, карты общаются между собой только по PCIe Gen5 x16. Восемь карт в сервере — это восемь моделей, а не одна большая, размазанная по восьми GPU. Для RAG-пайплайнов и инференса того, что влезает в 144 ГБ, — норм. Для чего-то крупнее — мимо. Конкурентов в нише по сути нет: H200 NVL — это Hopper без FP4/FP6, RTX Pro 6000 Blackwell Server Edition — 96 ГБ GDDR7 вместо HBM. Актуальной HBM-карты в PCIe у NVIDIA нет и не анонсировано. Правда цена пока что остается в тайне и возможно именно в ней собака и зарыта #chips @techn0danya

AMD представила ускоритель Instinct MI350P в форм-факторе PCIe

amd instinct чипы gpu инференс железо

ИИ ai llm qwen gpu бенчмарк железо

Тестирование производительности Qwen 3.8 27B на разных конфигурациях GPU

Г@gmorevaAI-инженер

1 нед

Запуск Qwen 3.8 27B локально: 2080 vs 2×3090 vs 4090 48GB — llama.cpp, GGUF, vLLM, FP8 Несколько дней активной работы с Qwen 3.8 — и я понял, что эта модель заслуживает нескольких роликов. Выкладываю первый, посвященный именно запуску этой модели. Показываю ВСЕ варианты запуска на трёх физических серверах: 2×RTX 2080 (22 ГБ), 2×RTX 3090 и RTX 4090 (48 ГБ). GGUF через llama.cpp (Q4_K_M и Q8_0) и FP8 через vLLM. Замеряем скорость чтения и генерации, объём влезающего контекста и реальные цены на видеокарты — чтобы вы могли принять взвешенное решение, что покупать, а что нет. Спойлер: 2×3090 оказались круче, чем одна 4090 на 48 ГБ. И по чтению, и по генерации. А 2080 на FP8 через vLLM — это боль. Ссылки на видео на всех площадках: 📹 YouTube | VK | Rutube | Dzen 📹

ai llm qwen gpu бенчмарк железо

ИИ ai moe инференс gpu оптимизация cursor

Оптимизация инференса MoE моделей через Warp Decode от Cursor

К@quant_prune_distillAI-инженер

1 нед

Better MoE model inference with Warp Decode 🔗 Блогпост Ребята из Cursor не остановились на Mixture-of-Kittens и реализовали ещё одну примечательную оптимизацию MoE для low-batch-инференса под названием Warp Decode. Традиционные пайплайны инференса MoE expert-centric: они собирают токены для каждого эксперта, прогоняют вычисления и переставляют их обратно в исходном порядке. Операции перестановок занимают нетривиальное время и существенно замедляют инференс. Курсоровцы же предлагают параллелизовать не по экспертам, а по выходам. Каждый варп отвечает за одно выходное значение. Инференс реализован через два fused-кернела — gate+up и down. Варп достаёт в потоковом режиме нужную строчку из матрицы весов и проводит операции. ⚡ Так как варпы работают независимо, то всё выходит embarrassingly parallel: вообще не нужно париться по поводу банковских конфликтов, барьеров и синхронизаций. Все редукции выполняются через warp-level-инструкции вида __shfl_xor_sync. 🛠️ Ещё из полезных плюшек стоит отметить следующее: - 📐 Не нужно паддить до какой-то степени двойки (типа 128). - 🗂️ Можно избавиться от scatter и combine: токены последовательности раздаются экспертам, а потом всё собирается. Также исчезает необходимость в промежуточных буферах. 🚀 В итоге оно даёт ускорение порядка 1,8× на B200. 💡 А ещё они избавляются от MXFP8-квантизации, ибо и так всё работает достаточно быстро) 📈 На батче из 32 удаётся достичь до 58% максимально достижимой пропускной способности. Однако авторы утверждают, что их подход не полностью вытесняет expert-centric-исполнение, особенно в сценарии низкой загрузки. На больших батчах оверхеды от перестановок/перегруппировок токенов не так сильно болят.

ai moe инференс gpu оптимизация cursor

ИИ mistral ai glm-5.2 облачные вычисления gpu ии-инфраструктура суверенитет

Mistral AI запускает облачную платформу и добавляет модель GLM-5.2

C@cyberyozh_officialAI-инженер

1 нед

🇫🇷Mistral запускает китайские модели и строит европейскую GPU-империю Французская Mistral AI резко меняет правила игры. Компания перестает быть просто создателем проприетарных и открытых моделей и превращается в полноценного инфраструктурного гиганта. 🔍Стартап открыл свою облачную платформу для сторонних ИИ - и первой ласточкой стала китайская GLM-5.2 с контекстом в 1 миллион токенов. ⚡️Для корпоративного сектора это тектонический сдвиг:

🟦Инфраструктура под ключ: Бизнесу больше не нужно метаться между серверами и настраивать стек с нуля. Mistral берет на себя хостинг, GPU-мощности, SLA 99,9% и корпоративную безопасность, отдавая открытую китайскую модель через собственный API без правок в весах.

🟦Региональная изоляция: Появились Regional Endpoints (ЕС и США) для жесткого контроля за тем, где физически крутятся вычисления, что критично под европейские регуляторные нормы.

🟦Амбиции на 1 ГВт: Mistral Compute метит в статус главного европейского суверенного облака.

Французы вовремя поняли: разработка языковых моделей - это бесконечная и дорогая гонка, где лидеры меняются каждый месяц. А вот контроль над железом, дата-центрами и трубами, по которым течет ИИ-трафик, гарантирует выживание и власть при любом исходе нейросетевой битвы. 🦔 CyberYozh

mistral ai glm-5.2 облачные вычисления gpu ии-инфраструктура суверенитет

ИИ llm бенчмарки квантование imatrix gpu железо

Вопрос о производительности квантованных моделей и шине PCI-E

T@extremecodeAI-инженер

1 нед

Эксперты из каментов, я с этими бенчмарками скоро с ума сойду. Почему так ёпта? PCI-E 4 / x4, на ЖПУ также только 4 линии распаяно. В теории должны упираться в шину, какого хрена iMatrix, и уж тем более 8-и битки быстрее, чем очереднярные Q4? Все в интернетах пишут типа, "АРРРЯЯ IQ медленные", какого хрена у меня они стабильно быстрее? Даже на нормальной жпу в pcie5 со всеми линиями (скрин в каменты к посту закину) Параметры бенча дефолтные [--fit-target 1024], контекст 512 на pp, и 128 на tg

Вопрос о производительности квантованных моделей и шине PCI-E

llm бенчмарки квантование imatrix gpu железо

Финансы nvidia финансы инвестиции цот gpu ии

NVIDIA превращает GPU в залоговый актив и привлекает $500 млрд от Уолл-стрит

AI-редакция

3 источника · показать все· свернуть

PRO Hi-TechNVIDIA и инвестфонды создают механизм финансирования ЦОД на $500 млрд Миша Ларченко – о программировании и не толькоNVIDIA и Уолл-стрит: GPU как новый класс активов 3DNewsNvidia гарантирует остаточную стоимость GPU для кредиторов

разгоняется · 3обновлено 2 нед назад

NVIDIA договорилась с крупнейшими инвестфондами Уолл-стрит — BlackRock, Blackstone, Goldman Sachs, Apollo и другими — о создании системы финансирования на $500 млрд для строительства ИИ-инфраструктуры. Финансисты начали рассматривать серверы с GPU как высоколиквидный залоговый актив, наравне с недвижимостью, и готовы выдавать под них крупные кредиты.

CEO NVIDIA Дженсен Хуанг объявил об этом в своём первом лонгриде в X под названием «Вычислительные мощности ИИ-фабрик становятся инвестиционным классом активов». Разработчикам ИИ и облачным сервисам больше не придётся искать собственный капитал на покупку оборудования — постройку ЦОД профинансируют фонды, зарабатывающие затем на аренде мощностей. Так NVIDIA создаёт финансовый механизм, гарантирующий устойчивый спрос на свои чипы.

$500 млрдобъём фонда финансирования ИИ-инфраструктуры

$1.70 → $2.35рост цены аренды H100 за GPU-час (окт.2025–март.2026)

$5.30–$7.05цена аренды B200 за GPU-час в облаке

Полный разбор →

nvidia финансы инвестиции цот gpu ии

релизИИ nvidia nemotron ии-агенты инференс нейросети ии

NVIDIA выпустила открытую модель Nemotron 3.5 Lightning для ИИ-агентов

AI-редакция

2 источника · показать все· свернуть

Нейронавт | Нейросети в творчествеNVIDIA представила модель Nemotron 3.5 Lightning для ИИ-агентов Хайтек+NVIDIA выпустила открытую модель Nemotron 3.5 Lightning

собирается · 2обновлено 2 нед назад

NVIDIA представила открытую модель Nemotron 3.5 Lightning — решение на архитектуре MoEi (30 млрд параметров, 3 млрд активных), созданное специально для работы ИИ-агентов: рутинных задач, программирования и вызова инструментов. Модель работает в связке с более мощными моделями через систему маршрутизации.

По заявлениям NVIDIA, Nemotron 3.5 Lightning выполняет агентские сценарии до 4 раз быстрее аналогов, держит постоянную нагрузку и может запускаться как на дорогих системах DGX Spark, так и на локальных потребительских GPU уровня GeForce RTX 5090 — то есть позиционируется как экономичная альтернатива для массового использования агентов.

30 млрдобщее число параметров модели

3Bактивных параметров (MoE)

86%точность на PinchBench

Полный разбор →

nvidia nemotron ии-агенты инференс нейросети ии

IT msi afterburner разгон даунвольтинг видеокарты мониторинг gpu

MSI Afterburner v4.6.7 Beta 4 добавляет V/F-карту попаданий и плагин GPUProbe

P@prohitecавтор про «tech»

2 нед

MSI Afterburner получил V/F-карту попаданий и плагин GPUProbe в новой бета-версии Вышла тестовая сборка MSI Afterburner v4.6.7 Beta 4, главной фичей которой стала карта попаданий (Hitmap) в редакторе кривых напряжения и частоты. По нажатию клавиши M программа накладывает на V/F-кривую до 256 последних рабочих точек с цветовым градиентом, отражающим частоту обращения к ним. Инструмент облегчает даунвольтинг и разгон, позволяя наглядно увидеть реальное поведение графического процессора и выявить неиспользуемые отрезки кривой. В дистрибутив также включили плагин GPUProbe для низкоуровневого мониторинга через MMIO и I2C Кроме того, Afterburner научился автоматически отключать низкоуровневый мониторинг на неизвестных/неподдерживаемых архитектурах GPU.

MSI Afterburner v4.6.7 Beta 4 добавляет V/F-карту попаданий и плагин GPUProbe

msi afterburner разгон даунвольтинг видеокарты мониторинг gpu

ИИ ai llm бытовая техника gpu интерфейсы

Локальные LLM в бытовой технике

E@ProductsAndStartupsAI-инженер

2 нед

Ну то, что я людям пишу ultrathink, вы уже знаете… Но сегодня я захотел у духовки спросить: проверь плиз, готова ли курица 🤦🏽 А потом подумал: когда появятся бытовые приборы с локальными LLM модельками и такими интерфейсами, интересно? Что тогда станет со спросом на gpu и какой именно gpu это будет?

ai llm бытовая техника gpu интерфейсы

ИИ nvidia майнинг ии железо cmp170hx gpu

Цены на ускорители NVIDIA CMP 170HX выросли из-за утилиты для разблокировки

P@prohitecавтор про «tech»

3 нед

Цены на старые майнинговые ускорители NVIDIA CMP 170HX подскочили со $100 до $1200–2000 Старые майнинговые карты NVIDIA CMP 170HX, выпущенные в 2021 году на урезанной базе A100 Ampere, обрели вторую жизнь. На GitHub появился инструмент CMPUnlocker, который позволяет обойти программные ограничения прошивки NVIDIA/OTP. Утилита разблокирует полную вычислительную мощность SM и увеличивает доступный объем памяти HBM2e с 8–10 ГБ до 64–80 ГБ, превращая дешевый ускоритель в бюджетный аналог A100 для работы с ИИ. Использование карты в ИИ-нагрузках остается лотереей из-за серьезных аппаратных компромиссов. Изначально NVIDIA отбраковывала битые чипы, поэтому полноценные 64/80 ГБ работают нестабильно, а на практике без сбоев под нагрузкой часто доступны лишь 32–40 ГБ. Кроме того, интерфейс аппаратно ограничен режимом PCIe Gen2 x4, что снижает скорость загрузки крупных моделей. Сам чип не поддерживает современные форматы FP8 или FP4, выдавая производительность около 48 TOPS в INT8.

Цены на ускорители NVIDIA CMP 170HX выросли из-за утилиты для разблокировки

nvidia майнинг ии железо cmp170hx gpu

ИИ nvidia gpu ssd нейросети vram технологии

NVIDIA разрабатывает технологию расширения видеопамяти через SSD

Н@GreenNeuralRobotsAI-инженер

3 нед

По слухам, NVIDIA разрабатывает технологию использования SSD в качестве расширения видеопамяти. Это позволит запускать крупные нейросети на босяцких GPU Данные, не помещающиеся в основную GDDR7-память, будут храниться на SSD и подгружаться по требованию. Технология будет работать в связке с DirectStorage и RTX IO Энтузиасты уже создали подобный проект GreenBoost (на гитлабе адская процедура регистрации, я не осилил), который позволяет расширить память GPU за счёт SSD и RAM. Система автоматически распределяет данные: горячие слои остаются в VRAM, менее важные — в RAM, а самые редко используемые — на накопителе. #lowvram #gpu #news

NVIDIA разрабатывает технологию расширения видеопамяти через SSD

nvidia gpu ssd нейросети vram технологии

IT mesa amd rdna драйверы linux gpu

В драйверы Mesa 26.3 добавлена поддержка AMD GFX1171

P@prohitecавтор про «tech»

3 нед

В драйверы Mesa 26.3 добавили поддержку чипа AMD GFX1171 (RDNA 4m) В графический стек Mesa 26.3 добавили код с поддержкой графического процессора GFX1171 для драйверов RADV (Vulkan) и RadeonSI (OpenGL) который относится к мобильной линейке RDNA 4m. По своей архитектуре RDNA 4m представляет собой гибрид RDNA 3.5 с точечными инструкциями от RDNA 4, что указывает на использование чипа в будущих APU, таких как Medusa Point. Обновление в Mesa задействует для GFX1171 существующие пути драйвера от GFX1170 и интегрированной графики GFX115x (RDNA 3.5). Публичный релиз Mesa 26.3 с изменениями запланирован на четвертый квартал 2026 года.

mesa amd rdna драйверы linux gpu

Технологии snapdragon процессоры gpu архитектура смартфоны железо

Snapdragon 8 Elite Gen 6 получит GPU с шестью секциями

P@prohitecавтор про «tech»

3 нед

Snapdragon 8 Elite Gen 6 перейдет на графику с шестью независимыми секциями По данным утечек, GPU новинки разделят на 6 независимых секций вместо 3, которые используются в текущем Snapdragon 8 Elite Gen 5. Обновление архитектуры затронет как базовый чип, так и старшую версию Gen 6 Pro. Секционный подход позволяет распределять шейдерные ядра и блоки фиксированных функций по автономным кластерам с независимой регулировкой частот. Это предотвращает лишний разгон всего чипа при точечных нагрузках. Удвоение числа секций должно заметно повысить энергоэффективность графики и сбалансировать тепловыделение.

Snapdragon 8 Elite Gen 6 получит GPU с шестью секциями

snapdragon процессоры gpu архитектура смартфоны железо

ИИ moe gpu оптимизация нейросети программирование

Оптимизация MoE-кернелов: переход от push- к pull-based dispatching

К@quant_prune_distillAI-инженер

3 нед

🧪 Метод Основными задачи при разработке кернела были: • Уменьшить обьем CPU работы и CPU-GPU синхронизации • Максимально эффективно перекрывать вычисления и коммуникации Рассматриваются два типа dispatching Push-based dispatch (традиционный подход) 1. Router для каждого токена определяет его экспертов. 2. Для каждого токена выполняется: Отправить этот токен эксперту №7. То есть именно токен "толкается" (push) в буфер нужного эксперта.

T0 ---> Expert 2 T1 ---> Expert 7 T2 ---> Expert 2 T3 ---> Expert 5 :ale Проблемы Если тысячи потоков одновременно хотят записать данные эксперту 7, они начинают конкурировать за • atomic counter, • место в буфере, • память. Получается много случайных записей и плохая эффективность памяти. Pull-based dispatch Идея разворачивается наоборот. Сначала известно, какие токены принадлежат каждому эксперту (например, после сортировки). После этого сам эксперт приходит за своими токенами. Expert 2: беру токены [0,2,9,15] Expert 5: беру токены [3,8] Expert 7: беру токены [1,4,5,6]

Теперь данные читаются большими непрерывными кусками. Никаких scatter-записей больше не требуется. Pull позволяет организовать данные так, чтобы чтение стало почти непрерывным, что улучшает пропускную способность памяти и снижает накладные расходы на scatter/atomic операции. Кернел валидируют на разных MoE моделях - GLM-5.2, Qwen-3.5-397B, Kimi-K2.7, DeepSeek V4 Pro. Удается добиться ускорения ~2x против бейзлайнов на форварде, и ~1.5x на обратном проходе. Выкладывание в открытый доступ данного кернела - хороший подарок компаниям, которым завезли NVL72, и они не знают, как их эффективно использовать.

moe gpu оптимизация нейросети программирование

релизИИ ai kimi k3 moonshot llm архитектура moe

Kimi K3: китайская MoE-модель на 2,8 трлн параметров с открытыми весами — и скрытая цена «бесплатности»

AI-редакция

2 источника · показать все· свернуть

Data, Stories and LanguagesKimi K3: Open Frontier Intelligence Малоизвестное интересноеРеальная стоимость запуска модели K3 от Moonshot AI

собирается · 2обновлено 3 нед назад

Китайская компания Moonshot AI выпустила Kimi K3 — MoEi-модель с 2,8 трлн общих и 104 млрд активных параметров, открытыми и бесплатно скачиваемыми весами, native vision и контекстом в 1M токенов. По заявлению авторов, это первая открытая модель 3T-класса, и по многим тестам она приблизилась к топовым закрытым американским моделям, вызвав ажиотаж в индустрии — вплоть до реакции Илона Маска, который назвал релиз «впечатляющим» и сообщил, что xAI готовит ответ на 2 трлн параметров.

Однако «бесплатность» весов не означает дешевизну использования: по официальным рекомендациям Moonshot AI для развёртывания К3 нужна конфигурация «суперузла» из 64+ ускорительных карт, с первоначальными инвестициями порядка 20 млн юаней (~$3 млн), не считая затрат на электроэнергию — что резко ограничивает круг тех, кто реально может запустить модель у себя.

2.8T / 104Bобщие и активные параметры Kimi K3

1M токеновдлина контекста модели

~$3 млн (20 млн юаней)минимальные инвестиции в инфраструктуру для запуска

Полный разбор →

ai kimi k3 moonshot llm архитектура moe

Технологии железо gpu tinytapeout микроэлектроника рендеринг

Инженер протестировал TinyGPU v2.0 с 240 тыс. транзисторов

P@prohitecавтор про «tech»

3 нед

Инженер протестировал TinyGPU v2.0 — миниатюрный GPU с 240 тыс. транзисторов Инженер Понгсагон Вичит протестировал самый маленький графический процессор TinyGPU v2.0, выпущенный по программе Tiny Tapeout. На чипе поместилось 240 тыс. транзисторов. Для сравнения, современные GPU содержат десятки миллиардов транзисторов. Несмотря на ограничения, архитектура аппаратно считает трансформацию, освещение и рендерит до 1000 треугольников в кадре. В тестах чип выдает от 7,5 до 15 FPS, выводя картинку с 4-битным цветом. Также автор отправил в производство TinyGPU v3.0. Главным изменением станет появление программируемого пиксельного шейдера уровня DirectX 8, аналогичного решениям эпохи GeForce 3. Новый процессор сможет обрабатывать четыре пикселя параллельно и выполнять до 31 инструкции на шейдер.

Инженер протестировал TinyGPU v2.0 с 240 тыс. транзисторов

железо gpu tinytapeout микроэлектроника рендеринг

релизИИ mit cuda hopper blackwell оптимизация нейросети

Лаба Song Han из MIT выпустила агентский скилл для оптимизации CUDA-кернелов под Hopper и Blackwell

AI-редакция

2 источника · показать все· свернуть

КПДЛаборатория Song Han представила инструмент для оптимизации CUDA-кернелов Love. Death. Transformers.Лаборатория Song Han представила агент для оптимизации кернелов под Hopper и Blackwell

собирается · 2обновлено 3 нед назад

Лаборатория Song Han (MIT), известного специалиста по эффективному глубокому обучению, опубликовала репозиторий со скиллом для AI-агентов, предназначенным для оптимизации кернеловi под архитектуры Hopperi и Blackwelli.

Скилл содержит набор скриптов, которые позволяют агенту самостоятельно обращаться к базам знаний, блогам, PR'ам и другим артефактам, посвящённым тензорным ядрам и архитектурным особенностям Hopper и Blackwell — то есть автоматизирует часть рутинной работы по низкоуровневой оптимизации GPU-кода.

Полный разбор →

mit cuda hopper blackwell оптимизация нейросети

Технологии amd nvidia видеокарты gpu цены железо

AMD планирует повышение цен на GPU и память

P@prohitecавтор про «tech»

4 нед

AMD может поднять цены на чипы и память для видеокарт в августе По данным инсайдеров, AMD уведомила своих партнеров о планируемом подорожании комплектов из графических процессоров и памяти GDDR минимум на 10%. Сообщается, что компания согласовала новые условия еще в прошлом месяце, но откладывала шаг из-за слабого спроса на рынке и ожидания действий со стороны NVIDIA. Причиной возможного роста цен называют аналогичные шаги NVIDIA, которая предупредила вендоров о подорожании чипов с памятью GDDR6 и GDDR7. Официально AMD эти изменения не подтверждала, однако если инсайд подтвердится, розничные цены на карты Radeon будут расти постепенно — по мере исчерпания старых запасов у дистрибьюторов.

AMD планирует повышение цен на GPU и память

amd nvidia видеокарты gpu цены железо

Ещё ↓