Конрад Речко (@reczko_konrad), инженер из польской компании Software Mansion, представил демо, где виртуальный источник света в кадре с веб-камеры «понимает» глубину сцены и может огибать человека, скрываясь за поднятой рукой или плечом ровно в нужный момент — без единой задержки, как настоящее освещение.

Весь пайплайн — от нейросети, вычисляющей карту глубины, до финального рендера со светом — работает целиком на GPU в браузере, без пересылки данных между CPU и GPU. Проект собрал 7.4 млн просмотров за сутки и стал ML-проектом недели по версии Data Secrets.

• Технику автор называет «внедрение света с учётом глубины сцены» (depth-aware light insertion)
• Система написана на TypeGPUi — библиотеке для написания GPU-шейдеров прямо на TypeScript
• Обработка одного кадра занимает ~8 мс на чипе M4 Proi, при том что кадр при 60 fps длится ~16.7 мс — запас для полноценного реалтайма
• Нейросеть восстанавливает карту глубины по обычной 2D-картинке с веб-камеры, определяя расстояние объектов от камеры
• Весь процесс — вычисление глубины, обработка света и отрисовка кадра — проходит через единый командный поток на GPU, без обмена данными с CPU
• Исходный код проекта не опубликован в опенсорсе; по предположению Data Secrets, его могут продать Zoom за несколько миллионов