迪士尼研究院用深度学习打造语音动画 让VR社交更真实

镁客网 中字

最近,迪士尼研究院联合东安格利亚大学、加利福尼亚理工大学和卡内基梅隆大学的研究人员,发布了一篇题为“A Deep Learning Approach for Generalized Speech Animation”的论文,阐述了通过深度学习来实现程序语音动画的方法。该方法采样完人们的录音后,即可自动生成与语音相匹配的口型动画。

据了解,这是一个借助深度学习方法进行训练的系统,它能够分析来自任何扬声器的音频,学习从语音标签输入序列到口部运动的任意非线性映射,然后系统会自动生成相应的口形以及符合语音的面部模型。

如果应用到虚拟现实中,可以让虚拟的人物形象在说话的时候保持和现实中用户相同的口型变化,让VR社交应用的VR形象更加逼真。而且对于虚拟化身语音动画来说,虽然口型追踪是比较准确的方法,但是在这种口型追踪硬件普及之前,迪士尼研究院的程序语音动画是一个行之有效的好方式。

另外,在一些VR社交应用中也有通过系统实现语音动画的方式,主要也是基于音频来制作虚拟形象的口型动画,而基于深度学习的系统可以提供更高的准确性以及细节度。

声明: 本文系OFweek根据授权转载自其它媒体或授权刊载,目的在于信息传递,并不代表本站赞同其观点和对其真实性负责,如有新闻稿件和图片作品的内容、版权以及其它问题的,请联系我们。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存