原创 2023-04-21

   摘   要：

     本文以适配真人的中国传统戏曲仿真表演系统研发为例，从研究背景、前期准备、开发设计、应用体验、未来展望等入手，多角度进行思考总结，为虚拟现实技术与中国传统戏曲表演融合发展提供参考。 

0 引言

近年来，国务院办公厅颁布《关于支持戏曲传承发展的若干政策》，中共中央办公厅、国务院办公厅发布《关于实施中华优秀传统文化传承发展工程意见》，把传承和弘扬中华优秀传统文化作为长期开展的国家文化工程的一项重要举措。文化和旅游部的《“十四五”文化和旅游发展规划》等文件规划，也提出“坚持创新驱动”的原则要求。在政策的指引下，虚拟现实（VR）、增强现实（AR）、混合现实（MR）、人工智能、5G通讯等高新技术逐步应用于舞台艺术，丰富了大众的视觉体验，拓展了舞台艺术的表现形式，赋予艺术创新以全新的诠释方式。

中国传统戏曲具有悠久的历史、独特的魅力和深厚的群众基础，是表现和传承中华优秀传统文化的重要载体。但随着时代的发展和科技的进步，传统戏曲却因为传播方式的陈旧，难以获得年轻人的青睐，其传承面临着极大的挑战。因此，如何借助VR技术，将传统戏曲与现代生活相结合，吸引更多受众群体尤其是年轻观众的关注，进而达到“活态传承”，是传统戏曲发展亟需解决的现实问题。有鉴于此，本文结合文化和旅游部重点实验室资助项目“适配真人的中国传统戏曲仿真表演系统研究与开发”的开展（以下简称：该项目），阐述VR技术与传统戏曲表演融合的研究和探索。

1 虚拟现实技术及在演出艺术中的应用

VR（Virtual Reality）即虚拟现实，是这几年迅速兴起的热点技术，沉浸式VR作为VR领域里的一个子领域，可以使用户实际参与到由计算机创造的虚拟世界中去，通过使用交互设备让人们体验身临其境的效果[1]。由于数字化媒体的爆炸式发展，VR技术融入演出艺术已成为一种现实的潮流。

美国堪萨斯大学（University of Kansas）虚拟现实探索研究所（The Institute for the Exploration of Virtual Realities）用VR及其衍生技术在戏剧制作和表演中的应用研究，其代表作品《加法机》（The Adding Machine）（1995）被公认为第一部使用实时的、VR布景的戏剧现场表演作品[2]。

2021年英国皇家莎士比亚剧团的虚拟戏剧《梦》（Dream ），由数字工作室Marshmallow Laser Feast (MLF)创作。灵感来自莎士比亚的《仲夏夜之梦》，将现场表演与虚实混合多种技术相结合，打造沉浸式的表演体验。现场表演在一个动作捕捉工作室进行，大型LED屏幕显示森林世界，帮助表演者定位自己和移动。观众观看由游戏引擎生成的直播，期间，还能被邀请使用网络浏览器通过拍摄发光萤火虫进入与森林环境进行互动，见图1。

而本文谈及的中国传统戏曲仿真表演（以下简称：VR戏曲）是通过立体头盔（Head-Mounted Display，HTC-VIVE，见图2）和动作捕捉技术，由计算机生成一个舞台空间，表演者（或体验者）穿着动作捕捉设备，通过互联网，学习戏曲演员表演，然后自己演绎一段戏曲内容。

2 戏曲VR内容的确定

中国传统戏曲内涵丰富，种类繁多，据不完全统计，各地区的戏曲剧种约有三百六十多种，传统剧目数以万计。其剧本、形式、角色、行当、音乐、唱腔、服装、化装等各个方面带有规范性、表现性和程式性特征。因此，有必要客观地了解受众对传统戏曲了解的程度和偏好，明确后续研究开发的内容。

在该项目设定剧种表演以及剧目内容之前，该项目团队开展了一次问卷调查。问卷调查在线上和线下分别进行，线上有效问卷1162份，线下有效问卷209份。调查对象中，男性占37.18%，女性占62.82%；20岁以下占29.26%，21～35岁占31.41%，36～50岁占18.76%，51岁以上占20.57%；喜欢戏曲的占55.42%，对戏曲不是很感兴趣的占44.58%；经常欣赏戏曲的占8.69%，偶尔听一听的74.61%，从不欣赏的占16.7%。在戏曲剧目或唱段选择中最多的是选择《贵妃醉酒》，其次是《牡丹亭》中的选段。对“如果我们想进行戏曲初级知识科普，更希望通过什么方式接受科普？”的调查内容，希望通过“互动体验”来了解欣赏戏曲的采访对象占比较多，约占34.34%，其次是“影视剧植入”占比27.11%，“路演及街头艺人展示”占比11.1%，其他9.9%，见图3。

在问卷统计中发现，只有37.01%的人体验过VR技术，而62.99%的人没有体验过。可见，VR技术在中国的应用与推广仍有很大的空间。

在剧种选择上，考虑到昆曲是 “ 百戏之祖”，具有完整的表演体系，也对地方戏曲产生了深远影响。京剧则是中国的国粹，是中国影响最大的戏曲剧种，具有高度成熟的程式化表演体系。考虑到代表性、认知度和受众面等相关因素，该项目最终确定以京剧和昆剧作为项目应用剧种。在剧目的选择上除了符合大众审美，更重要的是要适合动作捕捉技术和数字动画制作技术的应用，结合技术难度的考虑，项目团队最后确定京剧《穆桂英挂帅》和《定军山》、昆曲《牡丹亭·游园》等剧目的片段进行制作。

3 系统设计与开发

随着技术的不断迭代更新，该项目在硬件研究和实施过程中，将原来的Kinect体感捕捉和位移平台替换成惯性动作捕捉设备，解决了动作的流畅性和安全性问题。将操作触摸屏和ipad中控设备的功能合二为一，兼具了中控和选择功能。采用HTC-VIVE PRO2头戴设备，拥有4896×2448的组合分辨率，能够呈现更多细节。120°的宽视角（FOV）扩大了整体视野，更好地匹配人眼视觉体验。摄像头使用罗技C1000e4K高清摄像头，拥有最高 4K 30FPS的高清质量。动作捕捉设备诺亦腾Neuron3 PRO，包含全身17节点惯性传感器，支持手指动作捕捉，具有全新的软件系统以及全面开放的插件体系，见图4～图5。

仿真表演系统开发和戏曲表演的数据采样都离不开动作捕捉系统。动作捕捉技术（Motion Capture）是把物体运动信息变成计算机能够识别的一项技术。项目组采用了诺亦腾Perception Neuron 3 Pro惯性动作捕捉设备，采集的戏曲演员穿上动作捕捉设备，在演员的骨骼节点绑定传感器，被采集的人最好着比较紧身的服装，这样捕捉到的数据越精准。动作捕捉跟踪戏曲演员每个表演动作，其运动轨迹在无线链接的电脑上实时记录，再经过计算机处理为虚拟三维空间坐标的数据。有了这些表演数据后，就可以进入三维动画软件的设计开发，见图6～图9。

仿真表演系统软件的开发即是开发一套戏曲VR体验软件，主要用于体验者进行戏曲的学习、戏曲角色的选择、自己头像的植入、表演过程的控制。软件开发技术采用U3d进行开发，可接入能够嵌入体感和传感器系统SDK接口，可在大屏和头盔显示器上使用；程序模块含有材质替换模块、图案替换模块和视频替换模块等，能够实现戏曲模式的实时切换。

戏曲虚拟人是这套适配真人的中国传统戏曲表演系统软件的核心要素。戏曲人物的戏服比一般人物的衣服要复杂的多，是技术上的难点。戏曲虚拟人制作之前，首先要确定这几个方面内容：确定角色戏曲虚拟演员的比例、身高、体重和体脂；确定角色戏曲服饰和道具的设计；确定角色标志性表情和动作的静态设计。技术团队经过多种软件结合应用才完成了三维模型制作。根据捕捉的戏曲演员表演的运动数据在三维动画软件中建立相应的戏曲演员模型。一开始先要制作人体裸模，完成后导入服装制版软件Marvelous Designer进行服装打板和建立3D服装人体模型。初级人体模型（低模）的搭建，一般会用到Maya或者3D Studio Max软件，中高级模型的制作，选用Zbrush/TopoGun等拓扑和雕刻软件，Photoshop/Substance Painter/Marmoset Toolbag等软件配合完成贴图绘制。

在动画制作阶段，使用3D Studio Max或者Maya进行骨骼的绑定、蒙皮，骨骼和模型与戏曲服饰相结合，正确绑定，人物口型、表情等动作技术处理。导入完成的模型和贴图文件用Unity或者虚拟引擎进行材质和灯光的构建，通过虚拟展示引擎把戏曲演员表演内容完美展现。目前该项目技术团队对于制作虚拟人物的绑定和表情算法技术成熟，自创的声音驱动算法达到了一定的标准，见图10～图17。

（1）模型浏览：U3d引擎开发，内核为C#，可延伸模块，能够使用当前通用的3dsmax、maya等三维软件的模型导出的格式嵌入引擎开发，进行各种实时浏览。

（2）窗口界面：采用交互式的串口界面，能够进行2～3级界面操作互动（可不设计界面，但需要预留操作层级画面）。

（3）媒体素材：能够进行通用格式的相关视频、图片素材进行相应的素材替换。

（4）流程控制：符合戏曲表演全流程，在VR虚拟现实软件开发的模块可以实现戏曲角色模型走、跳、跑、旋转的360°全景互动操作，可进行模型材质和颜色更改、模型大小比例缩放、图案和头像等媒体互换。

（5）物理引擎：采用U3d物理引擎，能够有动态的碰撞效果。

（6）交互设备：交互设备采用HTC虚拟现实眼镜进行交互，能够体现VR的沉浸式的交互，底层能打包独立输出，方便以后设置模块。

4 戏曲VR测试

戏曲VR研发中包括模拟环境、感知、表演技能和传感设备等方面。利用场景漫游和碰撞检测实现虚拟现实通过算法进行优化，然后通过体感摄像头和触感传感器动作反馈模块把人体的动作特征传递给处理器，处理器再经过模块搭建，人物动作模块传递给中央处理器分析，并在显示模块上显示。当系统模块中的碰撞检测感应到表演中出现碰撞的时候，中央处理器控制震动模块震动并模拟碰撞情况，同时通过语音模块将音乐或者语音实时传递给穿戴VR终端的操作人员。体验的数据会保存到数据存储器中，并进行表演积分的排名。

5 戏曲VR体验者体验过程及步骤

6 主要创新和贡献

该项目还研制了一套高效便捷的戏曲表演采集方法，自主开发的SDK手套结合惯性动捕系统和设定的标准化的灯光环境，即可完成较大规模戏曲表演数据的批量采集，可为戏曲学员或者业余爱好者积累表演数据。并且采集的数据即可连接相关的虚拟引擎进行虚拟数字人表演。

体验者通过虚拟换装、表情、动作和特效等表达方式和虚拟戏曲数字人进行更多的互动，借助沉浸式的体验，让体验者在虚拟的世界里尽情实现艺术的自我表达。与此同时，通过创造虚拟舞台特效和运镜特效，随着音乐联动营造出完全贴合其戏曲种类的虚拟舞台和随之变幻的视觉风格，让戏曲重新获得了视觉表达，使得戏曲表演不再受到时空和技术的限制，让体验者拥有了全新的戏曲舞台表演体验。

通过模仿戏曲虚拟数字演员的表演，为戏曲爱好者提供了一种新的了解、学习戏曲的路径与方法。协助名角老师解决不能“分身”教授不在同一时空学员的遗憾。该项目具有可复制性，可以为戏曲传习班、戏曲博物馆、城市文化展馆、旅游景区等场所，甚至是戏曲爱好者个人“量身定制”。用户可以直接与定制的名角老师“面对面”学习戏曲表演。戏曲VR的体验让不是演员的用户过了把“真”戏瘾，让戏曲传播和传承方式又多了一种可能。

7 结语

选自 《演艺科技》2022年第四期 张  晴《虚拟现实技术与中国戏曲表演的融合探索——以“适配真人的中国传统戏曲仿真表演系统研发”为例》。转载请标注：演艺科技传媒。更多详细内容请参阅《演艺科技》。

（除原创作品外，本平台所使用的文章、图片、视频及音乐属于原权利人所有，仅用于行业学习交流，并不用于商业用途。文中观点为作者独立观点，因客观原因，或会存在不当使用的情况，如，部分文章或文章部分引用内容未能及时与原作者取得联系，或作者名称及原始出处标注错误等情况，非恶意侵犯原权利人相关权益，敬请相关权利人谅解并与我们联络第一时间处理，共同维护良好的网络创作环境。）

        投稿、转载、合作

邮箱：[email protected]

 QQ：329826367（丁女士）

 微信：lixiaokai1224（李女士）

          emmadm806（丁女士）

 杂志社

 Tel：010-64097040

         010-64097408

* 文章为作者独立观点，不代表数艺网立场转载须知

数字媒体艺术 科技艺术 虚拟现实技术 中国戏曲表演