高精度的虚拟 “Siren”数字人类

     “This breaks my brain.”

     目睹了旧金山游戏开发者大会（GDC）期间的一幕时，有人发出上面这句感叹。如果翻译成中文，应该就是两个字：“炸裂”。Epic Games推出了一个实时驱动、逼真的全性能角色 “Siren”数字人类。

      Siren完全是在虚幻引擎中实时呈现的，细节程度爆炸，效果极其惊人，这个高精度的虚拟达到了前所未有的程度。

    但绝不仅是细节让人惊叹这么简单。Siren背后的系统，还具备强大的人类表情动作实时捕捉以及合成技术。 

      一个真实的女性人类在现场侃侃而谈，她的表情、动作、声音，被实时的赋予身后大屏幕上的女性数字人类Siren。这就是开头提及的炸裂一幕。实际上，Siren这位小姐姐的容貌身形，也不是凭空虚构出来。而是一位来自中国的演员：姜冰洁。而负责现场演示的是英国演员Alexa Lee，她的表情和声音，被头戴设备捕捉之后，与姜冰洁的外貌进行合成，最后就成了Siren。  

Siren项目是始于Epic Games和腾讯之间的一个合作，目的是创建一个概念验证演示，用来展示虚幻引擎4的功能以及下一代数字角色的外观。为了处理角色的表演捕捉，Epic和腾讯使用Vicon的Vantage系列摄像机，配合新一代强大的动作捕捉软件shogun进行实时追踪，另外用Vue实拍摄影机拍摄演员动作作为实时参考，将演员动作、动捕数据、虚拟角色三者完美的呈现给观众。你可以很清楚看到人物的皮肤细节、眼睛的转动、说话的神态。不管是皮肤质感，还是神态上的一颦一笑，都宛若真人。

     Epic Games的CTO Kim Liberi说：“当开始研究Siren时，我们从一开始就知道为了完美实现这个角色，我们需要最好的动作捕捉硬件和软件。因为我们在以前的舞台上使用过Vicon系统，所以我们知道Vicon是这个项目的最佳选择。”
     这样在第二个屏幕上，就可以看到由中国女演员姜冰洁的肖像创建的Siren角色——同步移动，引擎中以60帧每秒的刷新率驱动。为确保尽可能高的保真度，Vicon取代了传统的复杂骨骼映射步骤，直接用自定义骨骼的方式解决了Siren的骨骼问题。还开发了一种新的算法来还原Siren的手指动画。Cubic Motion不仅为Vicon，Epic和腾讯提供的面部表演捕捉，追踪，解算和动画，还提供了一个实时解算器，用女演员表情的视频反馈来实时地驱动CG角色表情。
     要创造出逼真的数字角色需要的不仅仅是追踪动作，还需要能够将人物模仿到最细微的细节。这次Epic在GDC上展示的虚拟人物真的非常惊人。Vicon VFX产品经理Tim Doubleday说：当Epic找到我们尝试创造这个逼真的数字化身时，我们渴望参与并希望能推动这一领域的进一步发展。