从手势生成结果来看，该系统主要有如下特性：（1）韵律感知。能够根据输入语音的节奏生成合拍的手势动作，甚至对于音乐等非语音的输入也能地捕捉其节奏，并随之“摆动”；（2）语义感知。当输入语言包含强语义词（比如me、many以及no等）时，能生成符合含义的语义手势；（3）风格编辑。能够通过加入控制信号，控制生成手势的风格（比如手高度、手势速度以及双手半径等）。

总结来说，该工作提出了一个新的基于语音文字输入的角色手势生成系统。相较于之前工作，这是第一个显式建模了语言与手势间韵律（rhythm）和语义（semantics）对应关系的神经网络系统，其在领域客观和主观评价指标下均取得了目前最优结果。此外，该工作对“如何让神经网络系统生成既韵律匹配又具备合理语义的手势动作”这一难题提供了初步解决方法，并进行了充足试验证明其有效性。最后，该论文的思想有望泛化至其他语音/文字驱动相关的多模态生成任务，为如何改善“暴力”、“黑盒”型端到端系统提供新的视角。

论文详细介绍：https://mp.weixin.qq.com/s/MMTO_BqO51JT5ucpUDo4TQ

Video Demo: https://www.bilibili.com/video/BV1G24y1d7Tt/