Определение глубины сцены в реальном времени через TypeGPU
D@data_secretsAI-инженер
1 недИнженер из Software Mansion реализовал определение глубины сцены в браузере с использованием TypeGPU, достигнув скорости обработки 8 мс на чипе M4 Pro.
Технология позволяет запускать сложные нейросетевые вычисления прямо в браузере с высокой скоростью.
- Демонстрирует возможность работы тяжелых графических задач в браузере без задержек.
- Использование TypeGPU упрощает написание GPU-шейдеров на TypeScript.
- Оптимизация пайплайна исключает лишнюю передачу данных между процессором и видеокартой.
ML-проект недели – определение глубины сцены в реальном времени
На 7.4 миллиона просмотров за сутки разлетелся проект инженера из Software Mansion (Польша). Он работает с TypeGPU – библиотекой, которая позволяет писать GPU-шейдеры прямо на TypeScript.
Автор запустил нейросеть, которая по обычной 2D-картинке восстанавливает карту глубины сцены, и укладывается при этом в ~8 мс на чипе M4 Pro.
Кадр видео при 60 fps длится ~16.7 мс, так что это полноценный реалтайм прямо в браузере. Плюс все, от нейросети до финального рендера со светом, работает в одном GPU-пайплайне, без передачи данных туда-обратно между CPU и GPU.
Демо выглядит особенно хорошо, но кода в опенсорсе нет (возможно, его собираются продать Zoom за несколько миллионов ✨)
Кратко (AI)
Инженер из польской компании Software Mansion представил проект по определению глубины сцены в реальном времени прямо в браузере. Используя библиотеку TypeGPU, автор добился скорости обработки 8 мс на чипе M4 Pro, что позволяет работать при 60 fps без передачи данных между CPU и GPU.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖