人工智能可依声预测手势
科普小知识2022-05-04 03:14:51
...
当你说话时,你的身体会随之移动,不管是像睁大眼睛这样的小动作还是像挥动手臂这样的大动作。几天前,研究人员设计了一个人工智能程序,可以完全理解你将如何根据你的声音移动。
研究人员从10个人那里收集了144小时的视频,其中包括一名修女、一名化学老师和五名电视节目主持人。他们使用现有的算法生成说话者手臂和手位置的骨架图。然后,他们用这些数据训练自己的算法,这样人工智能就可以根据最新的音频预测说话者的手势。
生成的手势比同一说话人随机选择的手势更接近现实。几天前,研究人员在计算机视觉和模式识别会议上报告说,说话者的手势也很独特。用一个人来训练和预测另一个人的手势是行不通的。通过将预测的手势输入到现有的图像生成算法中,可以生成半真实的视频。
该团队的下一个计划是不仅基于音频,而且基于书面记录来预测手势。潜在的应用包括创建动画角色,自动导航机器人,或者根据人体运动特征识别假视频。(顾双双)
《中国科学日报》(2019-06-25,第二版国际版)