网易互娱AI Lab动捕技术入选CVPR 2023

【网易游戏3月31日报道】近日，计算机视觉与模式识别会议（CVPR 2023）公布了论文的录取结果，网易互娱AI Lab一篇题为Learning Analytical Posterior Probability for Human Mesh Recovery的论文被该会议接收。该论文重点研究一种基于后验概率分布的人体动捕新方法，能大幅提升视频动捕的精度、稳定性和通用性，让动作动画资源制作不再强依赖高昂的动捕设备，仅需一台手机即可获得高质量的动作数据。

在本篇论文中，网易互娱AI Lab提出了一种名为ProPose的人体动捕新方法，创新性地使用了后验概率分布的方式来推测人体关键点和关节旋转的情况，能够在单张RGB图像、多视角视频、或融合其他动捕设备等情况下实现更准确的三维人体姿态估计，从而获得更精准的人体动捕数据。在视频处理方面，Propose相比业界目前被广泛采用的SPIN方法，将误差降低了25%左右，并且在3DPW、Human3.6M和AGORA等公开的动捕测试榜单上也力压目前所有其他方案，精度表现亮眼。除视频动捕外，Propose所采用的概率框架还可无缝融合多视角视频和其他动捕设备，如惯性传感器等，且无需因为引入新设备而修改模型的主体部分，具备更好的通用性，可满足更多不同应用场景需求。

Propose可更好地衡量关节旋转的不确定性，如图中右手沿手臂轴的旋转、左手臂上下摆动的朝向、左小腿的远近程度等

基于该技术方案，网易互娱AI Lab已推出了可落地使用的视频动捕工具AIxPose。仅需提供普通手机摄像头拍摄的视频，该软件可在短短几分钟内自动提取人体的动作数据，并已应用于游戏动画资源、营销舞蹈视频的制作流程，处理视频时长达到数十个小时，相比美术手K能节省80%左右的制作时间和成本。

《大话西游》联合小D的舞蹈动画制作