虚拟形象 :Facebook发布超现实虚拟形象新研究

VR陀螺编译/Frida.WS

Facebook Reality Labs研发团队颁发了一项关于超现实虚拟形象办法的详细研究论文，扩展了公司之前名为“编解码器化身”的工做项目虚拟形象 。

Facebook Reality Labs创建了一个系统，从简洁硬件中可以以目前更高的传神度实时造做出动画版的虚拟化身虚拟形象 。头显内只要三个尺度摄像头，定位用户的眼睛和嘴巴，系统可以更准确地分辨出个别复杂的面部脸色中的细微不同。

那项研究的重点不单单是若何将摄像机固定在头显上，还包罗若何操纵图片复原用户虚拟形象的深层手艺虚拟形象 。

系统计划次要依赖于机器进修和计算机视觉虚拟形象 。“我们的系统是实时运行的，它能够识别各类各样的脸色，包罗鼓面颊、张大嘴咬人、动舌头，以及复原皱纹如许的细节，在之前，那些细节很难切确地动画化，”一位做者说。

尝试小组还颁发了他们的完好研究论文，深切阐述了系统背后的办法论和数学虚拟形象 。那项名为《通过多视图图像翻译的VR面部动画》（VR Facial Animation via Multiview Image Translation）的研究功效颁发在《ACM图形学报》（ACM Transactions on Graphics）上，那家杂志自诩为“图形范畴最重要的同业评审期刊”。

图片来源： Facebook Reality Labs

1.带有9个摄像头的训练头显虚拟形象 。

2.带有三个摄像头的逃踪头显；红色圈起的摄像头能够与训练头显共享虚拟形象 。

那篇论文解释了项目为何要创建两个独立的尝试耳机，一个“训练”耳机和一个“逃踪”耳机虚拟形象 。

那款训练耳机体积较大，拆有9个摄像头，能够搜集用户面部和眼睛的更宽范畴的视图虚拟形象 。如许做能够简化输入图像和先前捕捉的用户数据扫描之间的对应过程（阐发输入图像与输出化身之间的对应部门）。论文称，那一过程能够“通过带有自查功用的多视图图像翻译系统主动婚配，不需要人工正文或域间逐个对应”。

一旦对应完成，就能够利用更紧凑的“逃踪”头显虚拟形象 。“逃踪”头显的三部相机刚好对应着“训练”头显九部相机中的三部；按照“训练”头显搜集的数据，那三部相机的视角能够得到更好的理解运用，也就是说，输入图像可以准确地驱动动画化身。

论文着重研究了系统的精准度虚拟形象 。以前的输出体例一到关键区域，用户现实面部脸色的准确性就会下降，尤其是极端脸色，以及眼部动做和嘴部运动的关系。

与之前比拟，新系统的精准度明显提拔：关于脸根本被头显遮住的用户来说，近间隔的镜头能够用来准确地重建面部虚拟形象 。

虽然功用前进明显，但现有办法仍然不容易被支流人群承受虚拟形象 。因为前期要对用户停止详细的初步扫描，以及利用专业的“训练”头显，那就需要“扫描中心”那类的机构，用户能够去那里扫描和操练利用虚拟化身效果（同时也会获得一个定造的HRTF）。可是在虚拟现实成为社会交换体例的重要构成部门之前，我们不太可能成立如许的中心计心情构。然而，先辈的传感手艺和不竭改良的主动通信建立或答应以让我们在家中完成那一步调。

来源：roadtovr