沉浸式演艺丨数字科技与人工智能融合拓展数字演艺新空间
编者按
福楼拜曾言：“越往前走，艺术越要科学化，科学也要艺术化。两者在山麓分手，回头又在顶峰汇合。”回顾人类文明进程和历次科技革命可以发现，每一次科技革命都会催生出新的媒介形式和新的艺术形态。纵观历史，戏剧、音乐等艺术形式都建立在艺术科技基础之上，每一次科技革命的进步都促进了艺术的创新发展。
十八世纪中叶，机械科技革命爆发，机械式照相机应运而生，建立在照相机技术基础之上的摄影艺术由此诞生；十九世纪中叶，电力科技革命爆发，电力驱动的摄像机、放映机应运而生，由此产生了电影艺术；二十世纪初，电子科技革命爆发，以无线电为传输载体的广播和电视艺术诞生，借助广播电视媒体，现场的表演艺术能够实时传播到千家万户；二十世纪中叶，计算机科学引发信息科技革命，动态实时的影像艺术具有了交互性，表演艺术借助互联网衍生出新的形式，“互联网+戏剧”等各种新模式层出不穷。毋庸置疑，当下如火如荼的信息科技、智能科技等也将不断给演艺行业带来新的数字化变革。
一 · 人工智能技术
人工智能技术为数字演艺提供新的表演内容与表演形式。
1.音乐机器人“海百合”
人工智能技术已经从“幕后”走到了“幕前”，人工智能机器人开始实际地参与到音乐表演当中。由中国地质大学（武汉）自主研发的音乐机器人“海百合”，以独特的外形与拟人化的扬琴演奏吸引了广大观众的关注。
海百合智能音乐机器人结合中国民族音乐艺术特征和中国民族管弦乐队演奏技法基础理论，融智人工智能先进技术，包括基于机器视觉的乐谱识别、基于深度网络的情感识别、基于机器学习的拟人行为规划等，具有智能识谱、智能作曲和智能演奏三个主要人工智能技术优势。
（图片：音乐机器人“海百合”|来源：网络公开）
音乐机器人能将人类的创造力、情感表达、审美等智能与计算机的计算能力、机器人机械系统、自动化控制等技术相结合，突破人类演奏和作曲的专业技巧制约，创造更多新奇感的音乐效果，同时也可以通过节省人力成本来提高音乐表演和音乐创作的效率。
2.阿里大文娱数字人厘里
在戏剧表演方面，如今还实现了AI数字人跟真实的演员同台“互飙演技”。独播剧《异人之下》阿里大文娱数字人厘里，在剧中扮演神秘角色，这也是国内数字演员首次参演真人剧集。
（图片：阿里大文娱数字人厘里|来源：网络公开）
虽然是数字人，但剧中的厘里同样具有真人特质。特写画面里，可以清晰看到厘里与真人演员交互时细微的表情变化、面部肌肉运动甚至眼神情绪的交流。
（图片：数字人|来源：网络公开）
相比传统数字人制作，剧中厘里通过AI技术降低了在建模、原画等环节投入的成本和时间，也避免了对动捕技术的依赖，让制作成本降低了80%，效率提升40%。
3.数字梅兰芳
“数字梅兰芳”项目通过高逼真实时数字人技术，对京剧大师梅兰芳先生进行复现，并形成了在外貌、形体、语音、表演等各方面都接近真人的“梅兰芳孪生数字人”，这也是我国第一位真正意义上的“数字京剧人”。
“梅兰芳孪生数字人”是如何创建的？首先通过雕塑的方式创建梅兰芳先生1∶1头部雕像，再通过三维扫描技术和数字雕刻技术精修重建梅兰芳先生三维数字模型。有了人物模型，还需要人物的表情、动作等细节。项目团队先采用Vicon动作捕捉系统对梅派表演艺术家表演时的面部表情、动作等数据进行采集，然后以梅派传承人作为中之人（编辑注：中之人指操纵虚拟主播进行直播的人）驱动人物模型表情、身形体态的数字化重建。目前，“梅兰芳孪生数字人”已经登台跟观众见面，让现代观众得以目睹一代京剧大师的风采。
（图片：“数字梅兰芳”|来源：网络公开）
4. 人工智能音乐剧《超越藩篱》（Beyond the fence）
在这个音乐剧的创作过程中，技术团队首先应用人工智能对历史上所有的音乐剧进行了统计分析，得到了音乐剧创作最容易成功的一组参数，包括卡司人数、故事背景、重要桥段；然后根据这组参数，生成了音乐剧的故事背景、关键角色和核心冲突；接着根据已经形成的音乐剧核心框架，生成了音乐剧情节和故事内容；在故事内容确定之后，再生成了音乐剧的歌词；在歌词完成之后，自动生成搭配歌词的旋律。在所有人工智能所作的数据材料完成之后，由专业音乐剧导演将其编排成真人可演出的剧目。
（图片：音乐剧Beyond the fence|来源：网络公开）
5. 人工智能芭蕾舞剧《融合》（Fusion）
2023年5月至7月，在德国莱比锡剧场上演了全球首个人工智能芭蕾舞剧作品《融合》（Fusion），人工智能技术应用到该作品的舞美设计、音乐创作、舞蹈编排和创意构思等方面。《融合》的故事灵感来自柏拉图关于分裂自我的概念，在这个概念中，人类渴望统一和平衡，通过舞蹈的形式诗意地探索了人类、人工智能和自然之间错综复杂的动态关系，构想出未来100年人类与机器合作的动态平衡与融合共生。艺术家使用AIGC工具，如Dall-E和Midjourney生成舞美设计的效果图，同时利用多年来舞蹈演出的动作数据，编排了舞剧中的舞蹈动作。
（图片：《融合》（Fusion）|来源：网络公开）
二 · 扩展现实和全息技术
虚拟现实和全息技术拓展了线上演播新体验。通过虚拟现实和全息技术的应用，可以使用户获得置身现场前排的感受，还原用户参与线下演出的环统式视觉、听觉体验。
（一）XR数字戏剧《麦克白》
（图片：XR数字戏剧《麦克白》|来源：网络公开）
XR数字戏剧相较于传统戏剧数字化有所不同，XR作为数字戏剧中的核心技术，在拍摄过程中则不受物理空间限制，通过动态追踪系统短时间内获取演员与虚拟场景的位置，且实时渲染输出虚拟场景与演员真情表演相融合的画面，更能精准到捕捉到演员的不同情绪表情和肢体张力，演绎复杂的心理状态，为观众呈现一场沉浸式的戏剧视觉盛宴。
（图片：XR数字戏剧《麦克白》剧照|来源：网络公开）
《麦克白》作为国内首部XR数字戏剧，通过数字技术与戏剧融合共生，这将是一种全新的戏剧探索与创作，将推动戏剧的全新数字化变革，助力我国文化数字化建设迈上新台阶。
（二）沉浸式戏曲《黛玉葬花》
沉浸式戏曲《黛玉葬花》以上海越剧院的舞台演出版本为参考，围绕“情之起源”“宝黛初识”“西厢订情”等八个主要故事情节，设计制作了“三生石畔”“荣国府”“沁芳桥”等舞台表演三维场景模型。创作团队将一些舞台道具、布景以及越剧演员的表演设计成虚拟的元素，合成在一个虚拟空间中。
（图片：沉浸式戏曲《黛玉葬花》|来源：网络公开）
同时，团队开发沉浸式戏曲《黛玉葬花》软件，通过扩展现实设备的图像识别跟踪定位等技术，获取“大观园”实体空间中场景模型的空间特征及定位信息，并将虚拟空间与实体空间进行叠加与融合，向观众推送相应的表演内容，让观众获得自主探索欣赏越剧表演的交互体验。
（图片：黛玉葬花|来源：网络公开）
虚拟现实技术营造的沉浸性、交互性的观演环境，增强了观演的参与性趣味性；全息投影、高清投影等技术丰富了舞台美术的呈现方式。
三 · 5G传输技术
5G传输技术开拓演艺传播新途径。5G技术通过借助大通量、高速率、低延迟技术优势实现线上观演的实时化、同步化；超高清视频（4K/8K）通过超高清晰度、超高还原度实现线上观演的高清化、临场感。
2023杭州国际电子音乐节
杭州作为5G市场领跑者，在2023杭州国际电子音乐节中以5G+8K+VR多视角技术全程直播，打造360°震撼元宇宙视听体验。
（图片：2023杭州国际电子音乐节|来源：网络公开）
依托5G千兆网络，为用户实时传输360°全景VR画面，用户可以用手机转着看、电视大屏超清看，也可戴上VR眼镜躺着看，随心选择VIP前排视角、指挥近距离视角、全景高清视角，突破传统固定视角的观看模式，多个视角一网打尽。
本次直播还采用了多点声源及音乐厅氛围混合采集音频，通过分轨录音营造高动态范围的空间声音效果，再将采集的高品质的音视频数据通过5G高速网络实时上传，充分满足音乐会受众直播对声音的严苛需求，最大程度的还原现场音质。
（图片：杭州国际电子音乐节视效营造|来源：网络公开）
线下演出通过录播和直播，“搬到”线上演播平台，拓展演艺传播的广度和深度。国家大剧院、国家京剧院、中国国家话剧院、中央芭蕾舞团、中央民族乐团、广州大剧院等多家单位均进行5G+4K/8K演出直播。
四 · 机电声光技术
机电声光技术营造观演新空间。在机电声光技术的助力之下，运用激光投影、透视多面屏、多媒体艺术装置、全息投影等舞台设备和技术手段，通过舞台“声、光、电、画” 智能化高度协同方式，实现舞台、景观、建筑的整体融合以及视觉呈现和文化内涵的高度融合，完成舞台空间和观演空间的多元拓展，营造沉浸式文旅演艺全新的观感体验。
（一）驻场观念演出《无界·长安》
（图片：《无界·长安》|来源：网络公开）
作为第九届丝绸之路国际艺术节的开幕演出，《无界·长安》由张艺谋担纲总导演、沙晓岚担任总制作，围绕“新长安、新丝路、新观念”的创作理念，以极具代表性的陕西非物质文化遗产为基底，融合先进的舞台科技手段，创造出兼具文化深度、地域特色、时代广角的剧场表演形式，以全新的舞台模式开启了国内驻场演出的新时代。
（图片：剧场声光电效果|来源：网络公开）
整场演出由九个不同风格、不同立意、不同维度的创意段落组成。为了突出概念性、观念性，探索传统剧场演出的“无限可能性”，《无界·长安》在演艺机械的运用上别具一格。
冰屏矩阵、升降旋转移动侧屏、LED升降矩阵、轨道飞行器......百余台套高科技舞台设备，形成多层次的表演空间，使传统的三面式舞台在运动中变化出更多的可能性，实现了标准剧院和定制化演艺的完美结合。
（二）IN-BOX空间舞台作品《经海山》
IN-BOX空间舞台作品《经海山》是这样制作的：在一个24米长、16米宽、9米高的剧场空间里，装有环绕式威亚的墙壁、地面、空中都是表演空间，演员有时把墙体当成地面，身体在空中奔跑、腾挪、舞蹈；4K投影机由配置了实时渲染引擎的影像服务器控制，画面内容随着演员的表演而实时变化；跟踪定位系统在三维空间内精准跟踪演员身上的感应器，并实时触发视频特效、声像定位、光效的变化，从而实现精准的声光电呈现。《经海山》用全新的科技手段为观众打造出零距离、交互式、全感官、全方位的沉浸式体验。
（图片：IN-BOX空间舞台作品《经海山》|来源：网络公开）
五 · 虚拟制片技术
虚拟制片技术创新演出制作模式。该技术运用到演艺行业中，通过真实演员配合虚拟舞台美术，完成舞台演出的录制和直播，降低影视制作和演出成本。
（一）2023年重阳特别节目《致最爱的你》
中央广播电视总台文艺节目中心打造的2023年重阳特别节目《致最爱的你》，晚会以科技感满满的视效助力节目效果呈现，《云山》《HONEY》《推开世界的门》《一条路》等节目，在虚拟的空间中呈现富有温情的主题，将露营风、星空下、麦田间、元宇宙等流行元素植入舞台，让重阳这个“老年节”更具时代特色。
（图片：《致最爱的你》节目效果|来源：网络公开）
（二）京剧电影《安国夫人》
京剧电影《安国夫人》在制作中使用了LED全数字虚拟拍摄系统，整合了实时渲染、空间定位、数字灯光控制、LED幕墙显示等多项技术，实现了拍摄现场真实空间与虚拟空间的高精度联动。拍摄时，特效场景通过实时渲染引擎在极短的时间内被分区渲染，再同步生成一个完整画面显示在LED幕墙上以供拍摄，演员在LED显示的虚拟背景前就可以直接进行表演，从而实现虚实结合。
（图片：京剧电影《安国夫人》LED数字虚拟拍摄|来源：网络公开）
编者后记
数字技术连通了表演艺术的内容和形式，不仅可以极大提升最终的感官效果，还可以将观众带到更形象、更直观的场景中，给观众带来全新的观赏体验。具体而言，数字演艺将创造出一个脱胎于传统表演、与现实平行的交互空间，为观众带来空间沉浸、情感沉浸、观感沉浸的“超沉浸”体验。
不过需要注意的是，表演艺术始终是真实的人的艺术，数字科技与人工智能等技术在表演艺术领域的应用依然存在着诸多技术挑战和问题。智能科技能够给演艺产业带来深刻变革，但在审美场景和审美体验上，数字演艺还是表演艺术，任何新技术都无法改变其本质特征。因此也不应过于夸大智能科技给演艺带来的影响。
