在安徽黄山，花山世界·花山谜窟主题园区以互动投影、5G、AR/VR幻化“千年地宫”光影秘境；在广东广州，沉浸式舞台剧《黄埔！黄埔！》实现3304平方米大场景“人动景随”；在湖南衡阳，“夜游湘江”以“山水城为轴，光影声作画”……
近年来，虚实结合的沉浸式体验技术不断创新突破，为人们带来了前所未有的文化感知与旅游体验。在这一变革浪潮中，视听技术与智能控制系统文化和旅游部重点实验室（以下简称“实验室”）以技术创新为灯，点亮了沉浸式演艺的广阔舞台。
解码沉浸式演艺核心科技
该实验室于2014年10月由原文化部批准成立，其前身可追溯至2002年创建的中国传媒大学演艺工程与舞台技术实验室，2019年2月更名为现名。
视听技术与智能控制系统文化和旅游部重点实验室 受访者 供图“文化和旅游的融合不仅是产业层面的结合，更是科技赋能下体验方式的革新。”实验室主任蒋伟介绍，实验室依托中国传媒大学建设，核心使命在于形成智能演艺装备制造与数字文化视听觉融合信息处理系统解决方案，打通“技术创新、系统集成、示范应用、产业推广”创新链，促进文旅和科技深度融合。
目前，实验室聚焦舞台效果呈现技术与控制、数字文化处理、视听觉融合信息分析与计算3个稳定的研究方向，拥有近1100平方米的专用科研场地、价值约4000万元的先进仪器设备设施，固定研究人员14人，形成了一支跨学科、高水平的研发团队。2025年，实验室承担各类科研项目与课题共13项，其中国家级项目与课题7项。
蒋伟介绍，实验室最核心的突破在于构建了我国首套混合现实环境下观演空间“感知—表现—控制”全链条技术体系。围绕这套技术体系，实验室研发了一套支撑交互式、沉浸式文化演出场景的综合技术系统，可支持演员表演实时动态感知和投射内容实时动态生成，实现虚拟内容自适应地投射至各类复杂异形立体投影面；支持对虚实演出交互与声光电机的实时控制，实现“以演员表演为中心”的虚实内容集成与同步呈现；支持混合现实等环境下观演空间的智能感知，实现对舞台灯光、音响、机械装置等的协同控制。
蒋伟举例说，传统的投影映射需要对投影表面进行精确建模，调试周期长达数周甚至数月。实验室开发的复杂投影实时自适应呈现技术，能够实时分析投影表面的几何特征，自动调整投影内容，实现“即投即用”。在花山世界·花山谜窟，这项技术实现了在崎岖山体表面的完美投影，将山水实景与虚拟场景无缝融合。
在大型文旅演艺项目中，往往涉及灯光、音响、机械装置、投影设备、特效设备等上百台设备，传统控制方式需要多人协同，效率低下且易出错。实验室研发的智能演出空间装备协同控制系统可支持多达512个节点的实时协同，同步精度达毫秒级。在《黄埔！黄埔！》演出中，系统同时控制47台投影设备、128组灯光、22套机械装置和5套音频系统，力求复杂场景的完美呈现。
技术落地赋能文旅产业
实验室项目成果目前已在30余个文旅演艺项目和北京冬奥会冰球赛事等文体旅场景中得到规模化应用，产生直接经济效益超20亿元，拉动文旅经济规模近百亿元，社会效益和文化效益显著。
“技术研发的第一需求往往来自企业，协同研发是实验室长期以来坚持的发展模式。打通创新链、服务链和产业链并进一步补链强链，协同共赢，是实验室建设与发展的法宝。”蒋伟介绍，实验室形成了“需求导向—技术研发—系统集成—示范应用—标准制定”的全链条创新模式。在文旅演艺项目中，实验室团队与景区运营方、内容创作团队、设备供应商共同组建了联合工作组，从策划阶段就开始介入，确保技术创新与艺术表达的深度融合。
自2024年首演以来，《黄埔！黄埔！》已累计演出721场，接待观众26.5万人次，成为红色文旅演艺的成功典范。该剧以黄埔军校历史为脉络，通过全息投影、虚拟互动等多媒体技术，结合景观复原、舞美灯光等现代声光电手段，讲述了7位革命先烈的热血故事。
实验室研发的演出排演编辑控制系统在剧中发挥了重要作用。项目技术负责人李志雄介绍，这套系统通过多目标实时定位跟踪技术，能够同时追踪20名演员的位置和动作，并根据演员走位实时生成虚拟场景。当演员做出特定手势时，系统会自动触发相应的视觉特效，实现“人动景随”的沉浸式体验。
“夜游湘江”项目则体现了技术赋能自然景观的效果。该项目以“山水城为轴，光影声作画”，打造了一场大型沉浸式光影剧。项目相关负责人介绍，考虑到水面反射、雾气干扰、船只移动等复杂因素，实验室技术团队开发了基于自适应光学补偿的投影技术，能够根据实时气象条件调整投影参数，确保画面清晰稳定。
与此同时，音频系统采用波场合成技术和动态声像定位算法，在长达5公里的水岸线上，实现了声音的精准空间分布。观众乘船游览时，声音仿佛从山水间自然传出，与光影变化完美同步，营造出“声随船移，景由声控”的独特体验。
培养“懂艺术的技术专家”
在推动技术进步与产业化应用的同时，实验室还致力于将最新研究成果转化为教学资源。
为了满足文旅演艺行业对智能装备与系统专业技术人才的旺盛需求，实验室协同中国传媒大学信息与通信工程学院，共同开设了智能装备与系统（演艺工程与智能技术）本科专业。实验室副主任、本科专业负责人蒋玉暕介绍，新专业打破了传统学科界限，融合了信息通信、计算机科学、艺术设计等多个学科领域，致力于培养“懂技术的艺术家”和“懂艺术的技术专家”。
“目前，实验室所有科研设施均向新专业的本科生开放，学生从大二开始就可以进入实验室参与项目研究。”蒋玉暕举例说，在“夜游湘江”项目中，就有3名本科生参与了音频系统的调试工作。在北京冬奥会相关项目中，也有5名研究生参与了手环控制算法的优化。
此外，实验室还牵头完成了系列教材和教学平台建设。已出版的《演艺工程与控制技术》系列教材被全国20余所高校采用；《剧场工程概论》慕课在多个平台上线，累计学习人数超5万人次。这些教育教学资源不仅服务本校，还通过中国演艺设备技术协会向行业开放共享。
“作为文化和旅游部重点实验室，我们的目标不仅是研发先进技术，更是通过技术传递情感，通过创新传承文化。”蒋伟说，随着“十五五”新征程的开启，实验室将继续深耕文旅科技领域，推动人工智能、虚拟现实、大数据等前沿技术与文旅深度融合，为广大游客提供更多沉浸式、交互式、个性化的文旅体验。
