Система ИИ-освещения с учетом глубины сцены

Система освещения на базе ИИ достигла совершенно нового уровня Обратите внимание на момент, когда рука пересекает световой поток — свечение мгновенно исчезает за ней, без единой задержки, в точности как настоящее освещение. Конрад Речко называет эту технику «внедрение света с учётом глубины сцены». Он добился того, что виртуальный источник света в кадре с веб-камеры «понимает» пространство комнаты настолько хорошо, что может огибать человека, проходить перед поднятой рукой и скрываться за плечом именно в нужный момент. Это понимание достигается за счёт модели глубины, которая анализирует каждый кадр и вычисляет, на каком расстоянии от камеры находится тот или иной объект. Без этого свет просто не «знал» бы, что оказалось на его пути. Отдельно стоит отметить скорость: обработка одного кадра занимает около 8 миллисекунд на чипе M4 Pro, с большим запасом укладываясь в требования для работы в режиме реального времени. Но самое интересное здесь — инженерное решение, стоящее за этим. Речко написал систему вычислений непосредственно на TypeGPU, благодаря чему модель глубины работает прямо на видеокарте — там же, где происходит и обработка освещения. Никаких данных не приходится пересылать обратно на процессор, никакого ожидания передачи между компонентами — вычисление глубины, обработка света и отрисовка кадра проходят через единый командный поток на GPU. #интересное