Эффективное масштабирование GNN через IO-aware слои

On Efficient Scaling of GNNs via IO-Aware Layers Implementations 📄 Статья 💻 Код Засветилось уже много где в русскоязычных тг-каналах про ML, но оно заслуживает отдельного разбора. Графовые нейронные сети имеют ряд небесполезных приложений — всякий там дизайн новых молекул, физика, анализ транзакций и социальных сетей. Однако их оптимизации уделялось сравнительно мало внимания по сравнению с LLM, потому существующие реализации в популярных фреймворках (DGL, PyG) далеки от оптимального потребления памяти и вычислительных ресурсов. Существенной сложностью при работе с графами являются нерегулярная/разреженная структура данных и нерегулярные паттерны доступа. И в работе наших соотечественников (Spotlight на ICML, между прочим) сделали куда более эффективную реализацию стандартных графовых операций.