Исследователи из Netease Fuxi AI Lab и Мичиганского университета создали метод машинного обучения MeInGame, который может автоматически генерировать лица, анализируя один портрет.
Мы предлагаем автоматический метод создания лица персонажа, который предсказывает как форму лица, так и текстуру по одному портрету. Ее можно использовать для большинства существующих 3D-игр.
Текст исследования
Для того, чтобы 3D-морфируемые модели лиц (3DMMs) точно воспроизводили профиль человека, они должны быть обучены на больших наборах данных изображений и текстурных данных.
Компиляция этих наборов данных может занять довольно много времени. Также такая система может стабильно работать только при регулярной загрузке новых данных. Чтобы преодолеть это ограничение авторы работы, Линь, Юань и Цзоу использовали не сгенерированные фотографии, а изображения реальных людей.
Сначала они реконструировали лицо на основе 3D-морфируемой модели лица (3DMM) и сверточных нейронных сетей (CNNs), а затем переносили форму 3D-лица на сетку шаблонов. В результате сеть получает изображение лица и развернутую УФ-текстурную карту в качестве входных данных, а затем она прогнозирует коэффициенты освещения.
Авторы проверили свою технику глубокого обучения в серии экспериментов: они сравнивали качество игровых персонажей с другими сгенерированными моделями.