Наконец появился первый пример "хитропопой" математики, где в разных пространствах / отображениях можно сокращаться вычислительную мощность на порядок. 🏆 Итог: Мы ускорили поиск в 2.4 раза (Speedup: 2.4x) и математически гарантировали 100% стабильность на любых глубинах графа. + еще один апдейт который коренным образом решает проблемы "шаров пуанкаре" и то что Float Drift в Лоренце появляется. Чуть позже расскажу и аналогии нарисую про Hyperbolic Voronoi Cells (Оптимизация). 🤔🧠 Гиперболические ячейки Вороного (Hyperbolic Voronoi Cells) в задачах оптимизации и машинного обучения используют для эффективного представления и кластеризации иерархических данных (например, сложных графов и сетей), так как геометрия Лобачевского позволяет размещать экспоненциально растущие объемы данных без искажений.

Идем дальше в оптимизации: 1/Якобиан (функциональный определитель) — это определитель матрицы Якоби, составленной из частных производных функции нескольких переменных. Он показывает, как сильно меняется объем или площадь при переходе от одной системы координат к другой, и помогает решать сложные интегралы. -> зачем? Анализ чувствительности (Sensitivity Analysis): Показывает, какой из входов сильнее всего влияет на решение нейросети.Нормализующие потоки (Normalizing Flows): Используется в генеративных моделях для точного расчета плотности вероятности при сложных преобразованиях данных.Оптимизация и обучение: Ускоряет поиск минимума функции потерь в сложных архитектурах. 2/ алгоритмы топологической сортировки Тарьяна (Tarjan SCC) Алгоритм Тарьяна для поиска компонент сильной связности (Tarjan's SCC) за один обход в глубину (DFS) находит все изолированные циклы в ориентированном графе. Он использует массив времени входа (ids), массив минимально достижимых вершин (low) и стек для сбора компонент за линейное время \(\mathcal{O}(V + E)\). -> зачем? Применение в ИИОптимизация нейросетей: Сжатие циклических графов вычислений (например, в RNN) для поиска порядка слоев.Автоматическое планирование (AI Planning): Анализ зависимостей между задачами агента для поиска тупиков (дедлоков) и циклов.Семантические сети и Онтологии: Поиск эквивалентных или взаимозависимых понятий, образующих циклы в графах знаний.Компиляторы DSL для ML: Определение порядка выполнения операций и оптимизация потоков данных (dataflow graphs). https://ru.wikipedia.org/wiki/%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%A2%D0%B0%D1%80%D1%8C%D1%8F%D0%BD%D0%B0

On Efficient Scaling of GNNs via IO-Aware Layers Implementations 📄 Статья 💻 Код Засветилось уже много где в русскоязычных тг-каналах про ML, но оно заслуживает отдельного разбора. Графовые нейронные сети имеют ряд небесполезных приложений — всякий там дизайн новых молекул, физика, анализ транзакций и социальных сетей. Однако их оптимизации уделялось сравнительно мало внимания по сравнению с LLM, потому существующие реализации в популярных фреймворках (DGL, PyG) далеки от оптимального потребления памяти и вычислительных ресурсов. Существенной сложностью при работе с графами являются нерегулярная/разреженная структура данных и нерегулярные паттерны доступа. И в работе наших соотечественников (Spotlight на ICML, между прочим) сделали куда более эффективную реализацию стандартных графовых операций.