🛠 Метод Работа фокусируется на ускорении трех ключевых типов операций в GNN: - 🔹 Разреженные свертки. - 🔹 Редукции на графах (min/max, агрегация). - 🔹 Внимание на графах. Замечают, что распределение вершин графов по степеням обыкновенно имеет тяжелые хвосты. Потому разделяют вершины на две группы по степени — легкие и тяжелые вершины. Для легких вершин используют параллелизм по признакам (один threadblock на вершину). Тяжелые вершины еще разбиваются на чанки по ребрам с промежуточной агрегацией по чанкам. Объем подгружаемых данных не меняется, но ускорение достигается за счет того, что один блок обрабатывает несколько узлов, тем самым повышая memory-level параллелизм. Для слоев внимания реализуют кастомный вариант FlashAttention для CSR-матриц. В наивной реализации материализовали матрицы внимания, а тут оно и не нужно. CSR-кернелы для произвольной sparsity уже неплохи, но не используют ценный ресурс современных GPU — тензорные ядра. Если запаковать окрестности вершин в тайлы 16×16, то можно воспользоваться ими и, даже выполняя некоторые лишние вычисления, выжать ускорение. Кроме того, существующие либы почему-то не используют cuSPARSE — рабочий и мощный инструмент. Одно его накатывание уже дает заметный профит. 📊 Эксперименты Эффективность реализации проверяют на бенчмарке GraphLand — наборе задач с большим разнообразием структур и свойств графов. Удается выжать медианное ускорение порядка 2× (вплоть до 8.5×**) против DGL на GATv2, медианное ускорение **2.6× (вплоть до 10×**) на операциях редукции. Операции разреженных сверток на cuSPARSE дают вплоть до **8× ускорения. Кроме того, пиковое потребление памяти оказывается обычно в разы меньше (а то и в десятки раз) по сравнению с DGL. PyG тоже в среднем ест меньше GPU VRAM, но при этом он куда медленнее. В ablation показывают, что выигрыш от graph reordering и векторизованных загрузок зависит от графа. Для плотных графов с высокой степенью выигрыш значителен, для разреженных и малостепенных — мал. В приложении много внимания уделено исследованию полезности блочной разреженности с тензорными ядрами — где накладные расходы на перестановки окупаются, а где нет. 💡 Выводы Классная и полезная работа, дающая существенный толчок всей области GraphML. Хоть она и довольно нишевая и на любителя, тем не менее импакт более чем серьезный. Интересно, где еще есть низковисящие фрукты для оптимизации?

On Efficient Scaling of GNNs via IO-Aware Layers Implementations 📄 Статья 💻 Код Засветилось уже много где в русскоязычных тг-каналах про ML, но оно заслуживает отдельного разбора. Графовые нейронные сети имеют ряд небесполезных приложений — всякий там дизайн новых молекул, физика, анализ транзакций и социальных сетей. Однако их оптимизации уделялось сравнительно мало внимания по сравнению с LLM, потому существующие реализации в популярных фреймворках (DGL, PyG) далеки от оптимального потребления памяти и вычислительных ресурсов. Существенной сложностью при работе с графами являются нерегулярная/разреженная структура данных и нерегулярные паттерны доступа. И в работе наших соотечественников (Spotlight на ICML, между прочим) сделали куда более эффективную реализацию стандартных графовых операций.

🍾 Проблема узких мест в бизнес-процессах Ошибочные управленческие подходы ежегодно обходятся компаниям в миллионы рублей и крадут до 20% рабочего времени у руководителей. Корень проблемы — в так называемых «узких местах», возникающих из-за недостаточной ясности в коммуникациях, отсутствия четких регламентов или чрезмерной концентрации решений на отдельных людях. Как побороть эту проблему? Первый шаг — составление схемы процессов. Важно выявить, где именно происходят задержки, какие действия дублируются и какие этапы можно оптимизировать или исключить. В результате процессы становятся понятными и предсказуемыми, что снижает риск неразберихи. Второй шаг — внедрение вспомогательных инструментов: чек-листов, алгоритмов принятия решений, структурированных моделей данных. Эти средства помогают удерживать фокус на ключевых задачах и минимизировать вероятность ошибок. Итог — решения принимаются быстрее, увереннее и мотивируют команду, одновременно экономя время. Фаундер | Бизнес и Стартапы

Дневник основателя сети. Итоги июня. Что получилось ✔️ Ушли с кассовых разрывов. Для меня это один из самых важных результатов месяца. ✔️Практически все налоговые обязательства оплатили месяц в месяц. Раньше часть платежей приходилось переносить, сейчас финансовая дисциплина становится намного лучше. ✔️Продолжаем удерживать финансовую устойчивость за счет повышения цен и активной продажи депозитов. ✔️Новый салон набирает обороты. По сравнению с маем показатели выросли почти в два раза. Собрана команда, приходят новые клиенты, хорошо работают рекламные кампании. Главный вызов месяца 👉 📌Продолжает сокращаться клиентская база. Именно это сегодня считаю главным риском для бизнеса. Средний чек можно увеличить. Расходы можно оптимизировать. Но если клиентов становится меньше, рано или поздно это обязательно скажется и на выручке, и на прибыли. Главный фокус июня - оптимизация корпоративных расходов и подготовка компании к периоду низкого сезона. Мы внимательно посмотрели на всю управленческую инфраструктуру и поняли, что мы ее больше не тянем. За месяц удалось: ⤵️ 🔹сократить складские площади почти в 3 раза и с 1 июля переехать на новый склад; 🔹отказаться от части внешних HR-консультаций — многие задачи сегодня эффективнее решаются внутренней командой и с помощью AI-инструментов; 🔹договориться с компанией Hadat и Sultan de Saba о более выгодных условиях сотрудничества; 🔹подписать договор о сотрудничестве c новым брендом косметичек и футляров для фенов по очень хорошей стоимости; 🔹пересмотреть условия сотрудничества с HeadHunter; 🔹договориться с арендодателем одного из салонов о цене Самые сложные решения июня ⚡ ️ 📌Изменили систему мотивации администраторов - ужесточили условия - теперь надо выполнить не только свой план, но и план салона; ️ 📌Сократили отдел продаж. Пожалуй, это было самое эмоционально тяжелое решение месяца. Расставаться с людьми всегда сложно. Но мы честно оценили эффективность процессов и поняли, что прежняя структура отдела уже не соответствует текущим задачам бизнеса. Вместо увеличения команды мы делаем ставку на автоматизацию. ️Главный вывод июня - сегодня главный дефицит бизнеса — это клиенты. Именно поэтому в июле наш основной фокус будет на росте клиентской базы.Мы уже определили три ключевых направления работы: ⚡️сделать онлайн-запись не просто удобной функцией, а полноценным инструментом увеличения записи и среднего чека; ⚡️усилить работу с Яндекс Картами как одним из главных каналов привлечения новых клиентов;• ⚡️продолжить автоматизацию и сегментацию клиентской базы

Ищем комфорт в дискомфорте

💸❌ Ошибки при оптимизации расходов Ошибки — неизбежная часть бизнеса, но их можно минимизировать. Вот несколько распространенных ошибок. Не сокращайте штат Сокращение сотрудников приводит к перегрузке оставшихся и снижению эффективности. Лучше инвестировать в обучение и повышение квалификации Не снижайте зарплаты Снижение зарплат демотивирует работников и приводит к их уходу. Недовольные сотрудники быстро уйдут на более выгодные условия Не экономьте на качестве продукции Экономия на материалах снижает качество и может привести к потере клиентов. Важно сохранять стандарт качества, чтобы не разрушить репутацию Не отказывайтесь от рекламы Без рекламы не будет новых клиентов. Даже сарафанное радио требует поддержки через активные рекламные действия 📍Оптимизация расходов требует грамотного подхода, чтобы не потерять в качестве и эффективности. Фаундер | Бизнес и Стартапы