Microsoft предложила незаметно менять виртуальную реальность в поле зрения (видео)

Разработчики из компании Microsoft предложили метод, позволяющий незаметно менять виртуальную среду при использовании VR-шлема. Для этого авторы предлагают отслеживать направление взгляда пользователя, а также отвлекать его внимание, и в это время менять среду в области периферического зрения. Авторы предложили несколько применений системы. Например, они предлагают определять, картины какого стиля привлекают пользователя, и незаметно подстраивать экспонаты на виртуальной выставке в соответствии с этим. Разработка была представлена на конференции UIST 2019, статья опубликована на сайте Microsoft. В кинематографе режиссер и оператор задают ракурс съемки так, как посчитает нужным. Это позволяет, к примеру, снимать сцены, в которых за камерой меняется обстановка. В компьютерных играх и виртуальной реальности разработчики более ограничены в средствах выражения, потому что пользователь может почти мгновенно поменять ракурс на другой, причем в любой момент. Исследователи из Microsoft придумали метод, позволяющий частично решить эту проблему, а также использовать изменение виртуальной окружающей среды для повышения заинтересованности пользователя. Изменения, вносимые системой в виртуальную среду, происходят в поле зрения пользователя, однако он не замечает их. Это происходит благодаря тому, что система отслеживает направление взгляда и меняет среду только в области периферийного зрения. Инженеры использовали VR-шлем HTC Vive Pro и айтрекер PupilLabs. Кроме отслеживания направления взгляда, система позволяет оценивать когнитивную нагрузку на пользователя и его внимание на основании диаметра зрачков, частоты саккад и других факторов. Это позволяет подстраивать окружение под реакцию человека. Разработчики создали несколько программ для демонстрации. В одной из них пользователь находится в виртуальном музее. Система отслеживает к каким картинам приковано внимание пользователя, и может незаметно поменять одну из картин на краю поля зрения в соответствии с предпочтениями. В другой демонстрации система привлекает внимание человека на двигающегося кота, и в это же время меняет расположение элементов пазла таким образом, чтобы соединяющиеся между собой части располагались ближе друг к другу. Ранее отслеживание направления взгляда уже использовали необычным образом. Пожалуй, самый примечательный пример — прошлогодняя работа американских исследователей, предложивших решать с помощью датчиков направления взгляда проблему ограниченности размеров виртуального мира размерами помещения, в котором находится пользователь. Разработанная ими система регистрирует саккады (резкие непроизвольные движения глаз) человека и в этот момент немного поворачивает изображение, заставляя пользователя непроизвольно поворачиваться в соответствующую сторону. Это позволяет перенаправлять пользователя и незаметно для него водить кругами по небольшому