Инженеры из Google научились создавать реалистичную модель двигающегося человека и встраивать ее в виртуальное пространство, меняя освещение модели соответствующим образом. Они создали стенд с несколькими десятками камер и сотнями управляемых источников освещения, внутри которого находится человек. Система быстро меняет освещение и снимает человека с разных сторон, а затем объединяет эти данные и создает модель, которая с высокой точностью описывает как форму тела и одежды, так и их оптические свойства. Разработка будет представлена на конференции SIGGRAPH Asia 2019, статья о ней опубликована на сайте авторов.
Технологии захвата движения и создания виртуальных аватаров уже не первый год используются в различных сферах. Некоторые из них (например, те, которые применяют при съемках фильмов) основаны на захвате именно движений лица и других частей тела, записи чего потом используются для анимации другого персонажа. В тех случаях, когда важно сохранять внешний вид человека, используются системы из множества камер.
Некоторым разработчикам в этой сфере удалось достичь достаточно качественных результатов. Например, Intel использует на некоторых спортивных стадионах систему, позволяющую воспроизводить повторы с любого ракурса. Однако такие системы не умеют собирать данные об оптических свойствах предметов и получаемую с их помощью модель нельзя реалистично перенести в окружение с другим освещением.
Группа инженеров Google под руководством Пола Дебевека (Paul Debevec) и Шахрама Изади (Shahram Izadi) создала съемочный стенд и программное обеспечение, позволяющие создавать модель, реалистично отражающую как форму, так и оптические свойства человека в движении, а также переносить эту модель в другое окружение и подстраивать освещение под него.
Стенд имеет практически сферическую конструкцию с проемом, через который входит человек. На стойках, из которых состоит сфера, установлен 331 блок освещения, каждый из которых состоит из отдельных светодиодов определенного цвета, 42 цветные камеры, а также 16 блоков захвата глубины, каждый из которых состоит из одной цветной и двух инфракрасных камер, и инфракрасного лазерного проектора. Поскольку система создает огромный объем данных, их обработка происходит на облачных серверах.
Во время работы лазер проецирует на человека инфракрасный узор, состоящий из тонких линий. Благодаря этому система может с высокой точностью восстанавливать форму человека, сравнивая получаемые инфракрасными данные с исходным узором. Светодиоды проецируют на человека свет с нужным пространственным распределением, причем они быстро (60 раз в секунду) чередуют два цветовых градиента, обратных друг другу. Это позволяет создавать не только карту распределения цвета на теле и одежде, но и карту отражения, которая позволяет в дальнейшем программным образом менять освещение человека, реалистично встраивая его в новое окружение.
Авторы сравнили свою разработку с предыдущими похожими системами. Новая система позволяет получать модель с более высоким разрешением, а также меньшим количеством артефактов. Кроме того, она гораздо лучше работает с быстро движущимися в кадре объектами, к примеру, подбрасываемым мячом. Разработчики также создали демонстрационное приложение для смартфона, которое работает в режиме дополненной реальности и реалистично встраивает модель человека в мир перед смартфоном. Оно работает на основе предыдущей разработки, которая определяет характеристики освещения и отражения объектов по данным с камеры.