🛠 Метод Работа фокусируется на ускорении трех ключевых типов операций в GNN: - 🔹 Разреженные свертки. - 🔹 Редукции на графах (min/max, агрегация). - 🔹 Внимание на графах. Замечают, что распределение вершин графов по степеням обыкновенно имеет тяжелые хвосты. Потому разделяют вершины на две группы по степени — легкие и тяжелые вершины. Для легких вершин используют параллелизм по признакам (один threadblock на вершину). Тяжелые вершины еще разбиваются на чанки по ребрам с промежуточной агрегацией по чанкам. Объем подгружаемых данных не меняется, но ускорение достигается за счет того, что один блок обрабатывает несколько узлов, тем самым повышая memory-level параллелизм. Для слоев внимания реализуют кастомный вариант FlashAttention для CSR-матриц. В наивной реализации материализовали матрицы внимания, а тут оно и не нужно. CSR-кернелы для произвольной sparsity уже неплохи, но не используют ценный ресурс современных GPU — тензорные ядра. Если запаковать окрестности вершин в тайлы 16×16, то можно воспользоваться ими и, даже выполняя некоторые лишние вычисления, выжать ускорение. Кроме того, существующие либы почему-то не используют cuSPARSE — рабочий и мощный инструмент. Одно его накатывание уже дает заметный профит. 📊 Эксперименты Эффективность реализации проверяют на бенчмарке GraphLand — наборе задач с большим разнообразием структур и свойств графов. Удается выжать медианное ускорение порядка 2× (вплоть до 8.5×**) против DGL на GATv2, медианное ускорение **2.6× (вплоть до 10×**) на операциях редукции. Операции разреженных сверток на cuSPARSE дают вплоть до **8× ускорения. Кроме того, пиковое потребление памяти оказывается обычно в разы меньше (а то и в десятки раз) по сравнению с DGL. PyG тоже в среднем ест меньше GPU VRAM, но при этом он куда медленнее. В ablation показывают, что выигрыш от graph reordering и векторизованных загрузок зависит от графа. Для плотных графов с высокой степенью выигрыш значителен, для разреженных и малостепенных — мал. В приложении много внимания уделено исследованию полезности блочной разреженности с тензорными ядрами — где накладные расходы на перестановки окупаются, а где нет. 💡 Выводы Классная и полезная работа, дающая существенный толчок всей области GraphML. Хоть она и довольно нишевая и на любителя, тем не менее импакт более чем серьезный. Интересно, где еще есть низковисящие фрукты для оптимизации?

На Reddit всплыл инженерный образец урезанной Radeon RX 7900 XTX с 16 ГБ Пользователь Shav_tech купил с рук обычную Radeon RX 7900 XTX, но вместо серийной карты получил инженерную версию. Плата собрана на красном текстолите, а на самом графическом чипе нет заводской маркировки. На верхнем ребре карты распаяны сервисные разъемы, которые нужны инженерам на заводах для снятия телеметрии, проверки сигналов осциллографом и восстановления прошивки во время тестов. Самым странным сюрпризом стала конфигурация памяти. На текстолите физически распаяны все 12 микросхем под 24 ГБ. При этом Windows и GPU-Z видят только 16 ГБ и урезанную 256-битную шину, как у Radeon RX 7900 GRE. В самом биосе карты при этом прописано имя D702_XTX_A0_24GB, но залить туда стандартную прошивку от розничной GRE не получилось. Похоже, это ранняя тестовая платформа AMD, на которой разработчики программно отключали каналы памяти для проверки урезанных версий чипа Navi 31.

Выпуск RTX 5050 с 9 ГБ памяти под вопросом. NVIDIA передумала? Планы NVIDIA по выпуску GeForce RTX 5050 на 9 ГБ памяти GDDR7 оказались заморожены. Как сообщает инсайдер MEGAsizeGPU, проект либо полностью отменен, либо отложен на неопределенный срок. Партнеры-производители (AIB) косвенно подтверждают эту информацию, так как они до сих пор не получали от NVIDIA никаких спецификаций, обновленных графиков поставок или цен для этой конкретной модели. Главной причиной отмены называют возвращение на рынок GeForce RTX 3060 с 12 ГБ памяти, перевыпуск которой состоялся в июне. В условиях текущих цен на чипы памяти старая видеокарта банально выгоднее в производстве, закрывает бюджетный сегмент из-за чего GeForce RTX 5050 с 9 ГБ просто потеряла актуальность.