Инженеры из Google научились создавать реалистичную модель двигающегося человека и встраивать ее в виртуальное пространство, меняя освещение модели соответствующим образом. Они создали стенд с несколькими десятками камер и сотнями управляемых источников освещения, внутри которого находится человек. Система быстро меняет освещение и снимает человека с разных сторон, а затем объединяет эти данные и создает модель, которая с высокой точностью описывает как форму тела и одежды, так и их оптические свойства. Разработка будет представлена на конференции SIGGRAPH Asia 2019, статья о ней опубликована на сайте авторов.
Технологии захвата движения и создания виртуальных аватаров уже не первый год используются в различных сферах. Некоторые из них (например, те, которые применяют при съемках фильмов) основаны на захвате именно движений лица и других частей тела, записи чего потом используются для анимации другого персонажа. В тех случаях, когда важно сохранять внешний вид человека, используются системы из множества камер.
Некоторым разработчикам в этой сфере удалось достичь достаточно качественных результатов. Например, Intel использует на некоторых спортивных стадионах систему, позволяющую воспроизводить повторы с любого ракурса. Однако такие системы не умеют собирать данные об оптических свойствах предметов и получаемую с их помощью модель нельзя реалистично перенести в окружение с другим освещением.
Группа инженеров Google под руководством Пола Дебевека (Paul Debevec) и Шахрама Изади (Shahram Izadi) создала съемочный стенд и программное обеспечение, позволяющие создавать модель, реалистично отражающую как форму, так и оптические свойства человека в движении, а также переносить эту модель в другое окружение и подстраивать освещение под него.
Стенд имеет практически сферическую конструкцию с проемом, через который входит человек. На стойках, из которых состоит сфера, установлен 331 блок освещения, каждый из которых состоит из отдельных светодиодов определенного цвета, 42 цветные камеры, а также 16 блоков захвата глубины, каждый из которых состоит из одной цветной и двух инфракрасных камер, и инфракрасного лазерного проектора. Поскольку система создает огромный объем данных, их обработка происходит на облачных серверах.
Схема работы системы
Kaiwen Guo et al. / SIGGRAPH Asia 2019
Во время работы лазер проецирует на человека инфракрасный узор, состоящий из тонких линий. Благодаря этому система может с высокой точностью восстанавливать форму человека, сравнивая получаемые инфракрасными данные с исходным узором. Светодиоды проецируют на человека свет с нужным пространственным распределением, причем они быстро (60 раз в секунду) чередуют два цветовых градиента, обратных друг другу. Это позволяет создавать не только карту распределения цвета на теле и одежде, но и карту отражения, которая позволяет в дальнейшем программным образом менять освещение человека, реалистично встраивая его в новое окружение.
Чередующиеся градиенты
Kaiwen Guo et al. / SIGGRAPH Asia 2019
Авторы сравнили свою разработку с предыдущими похожими системами. Новая система позволяет получать модель с более высоким разрешением, а также меньшим количеством артефактов. Кроме того, она гораздо лучше работает с быстро движущимися в кадре объектами, к примеру, подбрасываемым мячом. Разработчики также создали демонстрационное приложение для смартфона, которое работает в режиме дополненной реальности и реалистично встраивает модель человека в мир перед смартфоном. Оно работает на основе предыдущей разработки, которая определяет характеристики освещения и отражения объектов по данным с камеры.
