为了使虚拟现实(VR)体验高度可信，Facebook Reality Labs(FRL)的研究人员开发了一种名为“Codec Avatars”的系统，使VR用户能够与他人互动，同时精确地表现自己的形象实时动画。Facebook的研究科学家Shih-En Wei说：“我们的工作证明，可以精确地从紧密安装在VR头显上的摄像头制作逼真的化身。”

　　研究人员配置了一个带有最少传感器的头显，用于面部捕捉，系统可以在VR中实现双向，真实的社交互动。该团队表示，VR系统可以使用最少的头显摄像头(HMC)精确跟踪用户的实时面部表情，从而以非常详细的个人形象为头像设置动画。

　　通过使用每个像素比较转换后的图像，不仅仅是面部特征以及3D化身的渲染，我们可以通过可微分渲染在跟踪头显的图像和3D化身的状态之间进行精确映射。

　　在映射建立后，训练神经网络从实时的最小一组摄像机图像中预测人脸参数。除了为VR中的化身设置动画外，Facebook团队还在构建系统，使人们能够通过一些图像或视频快速轻松地创建自己的头像。

　　Facebook团队将在7月28日至8月1日期间在洛杉矶举行的“SIGGRAPH 2019”上展示他们的VR实时面部动画系统。

　　研究人员还将展示人工智能(AI)技术。网络(GAN)执行一致的多视图图像样式转换，以自动将HMC红外图像转换为看起来像呈现的化身，但具有与VR用户相同的面部表情的图像。