石窟寺文物的数字化保护与利用

      人类历史上曾建成大量巧夺天工的石质文物遗迹，既包括埃及金字塔、希腊神庙、吴哥窟这样雄伟的组群建筑，也包括阿富汗巴米扬大佛和中国云冈石窟这样壮美的大型石窟寺群。众所周知石头具有相当稳定的特性，可以长时间的保存，但石窟寺文物由于风化、腐蚀等自然现象的影响，其老化速度越来越快，石窟寺文物的保护研究已受到广泛关注。

      从古至今，各个时代的人们都在利用当时最先进的技术对文化信息进行保护与传播，例如古代时会使用拓片、临摹等方式对文物的信息进行记录。进入工业革命以来，相机的出现极大丰富了文物信息记录的手段，信息记录的方式不断革新，文物保护的方式也从本体保护向数字化保护逐渐演变。1972年联合国教科文组织首次颁布《保护世界文化和自然遗产公约》，自此以后世界各国积极开展进行文化遗产的保护工作，欧美发达国家率先进入了数字化保护时代。随着三维扫描和数字图像处理技术的发展，以及各类数码设备的日趋普及，数字化手段逐渐成为文化遗产保护工作中不可或缺的工作环节。而石窟寺由于规模宏大、年代久远等特点，其数字化保护工作，面临着全新的技术挑战。并由此衍生出文物领域的特殊需求，需要研究人员对相关技术进行优化与升级，同时也带来了对行业标准规范的迫切需求。

      作为文化遗产的重要组成部分，石窟寺文物数字化保护的探索一直受到国内外专家学者以及政府的高度重视。2014年，谷歌街景将吴哥窟呈现在全球网民的屏幕前。公众只需点击鼠标，即可游览这座位于柬埔寨北部、始建于12世纪的高棉古典建筑艺术巅峰之作。该工程汇集了超过100万张摄影图片，为吴哥窟上百座庙宇打造了9万个360度全方位景观视图（来源：https：//tech.huanqiu.com/article/9Ca Krn JEMIZ[2021-04-29]）。中国同样于20世纪90年代开始进行石窟寺文物复制保护的数字化探索。自1997年开始，浙江大学网络与媒体实验室就敦煌壁画的数字保护技术进行研究，开发了敦煌壁画数字化采集系统。敦煌石窟的数字复制窟是将数十亿甚至是数百亿像素的壁画图像精细呈现于壁面之上，在复制窟内参观游客的视网膜包围在海量而又精准的信息中，游客自然会体验到仿佛身临其境的沉浸感。这样的沉浸感，就算是当前最顶级的VR显示技术仍然难以实现。

      近年来，随着信息技术的飞速发展，国内石窟寺文物的数字化保护与利用也有了进一步的突破，三维打印（TDP）、大数据、增强现实（Augmented Reality）和虚拟现实（Virtual Reality）等新兴技术也在文物数字化信息的基础上得到越来越充分的应用。2016-05，“数字敦煌”资源库上线，这是敦煌研究院首次通过互联网向全球发布敦煌石窟30个经典洞窟的高清数字化内容及全景漫游（新闻来源：《“在保护修复中绽放光彩敦煌向世界讲述千年故事”》）。2018-12起，龙门石窟研究院与浙江大学开始合作，融三维数字化技术、颜色检测分析技术、雕塑艺术等为一体，将海外回归高树龛佛首与洞窟遗存通过数字化手段实现“身首合一、复位合璧”。2016年，浙江大学以云冈第十二窟为例，结合三维重建、三维打印和颜色科学等技术，实现了洞窟的1∶1等比例打印复制，也因此云冈成功迈出“行走世界”第一步。

      在对国内外相关进展调查整理的基础上，本文将对适用于石窟寺文物数字化的相关技术进行综述，并以云冈石窟和龙门石窟为例分析石窟寺文物数字化的当前进展及前沿趋势，为相关研究人员提供参考。

      在文物数字化技术快速更新、应用层出不穷的当下，文物数字化技术的范围已经从最初的数字化采集记录延伸到各类应用，因此无法将文物数字化涉及的技术类型一一列出。本文将探讨近年来石窟寺文物的数字化保护和利用，主要涉及可视化信息范畴的讨论。石窟寺文物数字化保护和利用包括对文物进行记录存档等数字化保护和对文物数字化信息的传播利用，本文将从技术的角度进行分类综述。

      石窟寺文物的数字化保护和利用，涉及多种技术手段，尤其与三维信息获取技术密切相关。所谓三维信息获取技术，又称为三维信息数字化（或扫描）技术，其关键在于如何通过已有信息快速准确地得到物体的三维信息，对此研究人员经过长期研究，基于不同的数学原理提出了大量的方法。采用何种原理获取三维信息，与装置的构造、性能、成本、适用范围等密切相关，不同原理催生了不同的采集方式，适用于不同的场景，目前几乎不存在适用于所有文物数字化场景的通用三维扫描装置。

      接下来将重点介绍石窟寺文物数字化中使用的三维信息获取技术手段以及各自适应的场景或局限性等。

接触式测量

      接触式测量通过探针逐点接触物体表面，精确判断被接触点的空间坐标。探针在伺服装置的驱动下移动，分别测量其在3个方向上的位移，从而得到每个点的三维坐标。

      此类尽管方法原理简单，测量精度高，但装置复杂且测量速度慢；在扫描形状复杂的物体时，探针移动的路径会异常复杂，使用非常不便；同时也无法得到物体表面的彩色信息。显而易见，探针有可能对于文物表面产生损坏，因此接触式测量设备虽然是制造业中常用的三维测量设备，但考虑到文物的珍贵性，并不适用于文物数字化领域。

飞行时间测距法

      飞行时间测距法（Wiley和Mc Laren,1995）属于非接触式测量，依靠的是光波（或超声波等其他的波）在空气中的直线传播速度及对传播时间的精确测定，距离等于传播速度乘以传播时间。

      这类方法并不依赖于图像，也不受遮挡影响，要得到精确的测量结果，光波的传播速度和时间都需精确测定，因此需由精密的测量仪器构成。但这类扫描速度慢，且光波会因物体表面呈现的反射、投射或吸收等特性而失效，同时基于该技术的装置较难直接获得物体表面颜色信息。

三角测距法

      三角测距法的基本原理是模拟人类的双眼，即同一个空间点在双眼中的成像角度不同会有偏差，根据这个相差和基线（类似于双眼间的距离），利用数学公式计算空间点的位置。

      基于三角测距原理的方法有的在现阶段只停留在实验室理论阶段，难于实用化，也有的已经在实际生活中广泛应用，如早期的结构光法（Salvi等，2004）、编码光法（Posdamer和Altschuler,1982）以及近些年大规模流行的多视图三维重建方法。

      (1）结构光和编码光。结构光三维扫描同时利用了图像和有形状的光源，是典型的主动法。其基本思想是将带有形状光打到物体表面，增加物体表面的特征，基于三角测距原理得到物体表面的几何信息，扫描设备的标定是获取精确结果的关键。著名的“数字化米开朗基罗”项目中应用的就是结构光三维扫描技术。编码光法原理与结构光法近似，可以看作是改进的结构光方法，计算精度高，但会由于反光、照明等原因导致部分区域的编码信息缺失。

      结构光和编码光法的突出优点是计算相对简单、速度快，同时测量结果精度高，但此方法通常只适用于室内且物体表面近乎理想漫反射的状况。这类技术目前已在许多三维重建项目中得到应用，成为应用最广泛的技术之一。这类设备的主要缺点是容易受遮挡和物体表面反射属性的影响。

      目前市面上存在各类不同厂家不同性能的结构光扫描设备，可作为台式可作为手持，还有一些扫描仪通过镜头更换便可实现精准范围的三维扫描。高精度的结构光扫描仪（精度达到±1μm）可对精细石雕等进行微痕分析，而手持式三维结构光扫描仪由于在操作上更灵活而适用于摩崖石刻等条件不佳的工作环境。

      (2）摄影测量法。通过将相机摆放在不同位置对同一目标拍摄若干幅图像（不少于两幅），根据三角测量原理，同一个空间点在不同图像上的成像会有偏差，它们之间存在着匹配关系，最后通过视差求出物体的三维信息（Marr和Poggio,1976;Okutomi和Kanade,1993;Kaiser等，2008;Seitz等，2006），这是摄影测量的基本原理。其中近景立体摄影测量技术曾被文物数字化领域广泛应用并大量的使用在石窟寺文物数字化中，但近年来已不多见。尽管这类设备只需采集两张照片即可完成彩色三维重建，在使用上非常便利，但由于其中需要大量的人工干预，且对场景的要求比较高，因此该类设备逐渐被其他方法所替代。

      近年来，多视图三维重建MVS (Multi-view Stereo）成为摄影测量技术中的研究重点。在小规模数据集上，现有的重建方法已取得较好的效果。石窟寺建筑由于其庞大的体量，会带来大规模的图像输入。因此，将重点论述面向大规模场景的多视图三维重建的最新进展。

      对于这类重建，首先要使用运动恢复结构法Sf M (Structure-from-Motion)(Tomasi和Kanade,1992）进行相机姿态估计，即从输入的多视角图像恢复出相机的位姿以及场景的稀疏三维点云，这是后续计算几何形状和纹理的基础。Sf M方法是通过图像间的特征匹配信息估算出相机的相对姿态，在初始输入时不需要任何相机信息。在得到二维图像信息、相机姿态和相机内参后，通过三角化原理即可得到稀疏三维点，最后，将所有的相机参数和求得的稀疏三维点使用集束调整BA(Bundle Adjustment)(Triggs等，2000）进行点云融合。如若要得到更稠密的场景，在已经获得的相机姿态和二维图像等信息的基础上，利用多视图三立体三维重建方法，即通过多视角图像得到稠密三维点云。

      针对石窟寺文物数字化这个具体问题，本文将关注点放在面向大规模场景的多视图三维重建方法。从早期的理论验证到如今的大规模实践应用，多视图立体三维重建方法既可以直接对三维空间进行参数化，也可以现对二维图像空间参数化，然后再求解对应深度和法向信息，以此为依据估算出场景的三维空间。当输入规模越来越大以后，目前的单机配置远不能满足MVS计算时所需的资源，已有案例表明（见本文第3节）合适的划分方法可以有效解决石窟寺文物数字化中的大规模输入问题，使得巨型建筑的整体三维重建成为可能。

其他相关技术

      在同一视角下，利用不同光照条件得到至少三幅图像的明暗信息从而求解物体表面法向进行三维重建的方法，这种方法被称为光度立体（Woodham,1979），得到法向后，可以通过对物体表面深度的梯度场进行积分从而最终得到物体的三维信息。这类方法可以精确计算出物体表面每个点的法向以及深度信息，从而得到逐像素的稠密三维模型，因此具有高精度三维重建的潜力，且可以将对象扩展到非朗伯反射体（例如瓷器和金属），同时可以恢复出物体表面的材质属性从而达到文物高真实感渲染的目的，在特定的需求下发挥着不可替代的作用。

      光度立体方法本身并不能很好的重建精确的三维模型，但与基于特征的方法融合后可以求出几何形状准确且细节丰富的三维模型，是非常有潜力的研究方向。最新进展利用各向同性的反射属性设计了不同规格的高精度三维扫描设备（Li等，2020），这类设备具有一个不可比拟的优势，即可以直接恢复成物体表面的反射属性，实现高真实感渲染，这在文物领域具有巨大的应用潜力（Li等，2020）。反射率变换成像RT (Reflectance Transformation Imaging）技术（Mytum和Peterson,2018;Schroer和Mudge,2017）可视为光度立体三维重建方法中的一种简化实现，该方法已经在碑刻文物上取得了较为成功的应用，有效地提升了文物表面细节的区分度与表现力。

      在三维重建领域，先后还提出了单目视觉法（包括从阴影恢复形状（Horn,1989）和从纹理恢复形状（Aloimonos,1988）和从轮廓恢复形状法（Martin和Aggarwal,1983）等，但这类方法目前仍主要停留在实验室论证层面，无法在文物数字化方向展开应用。

      尽管研究者开发了多种三维信息获取技术，并有一些实用化产品面世，在许多领域得到了成功应用，但还没有一种在各方面都令人满意的，适用范围广的通用技术，只能根据具体的应用要求来确定采用何种技术。在本节将讨论适用于文物领域尤其是石窟寺文物数字化需求的各项评价指标及选择。

三维信息获取技术评价指标

      对用于三维数字化装置的三维信息获取技术的评价，一般从三维信息获取能力，精度，成本，色彩信息获取能力，能否实现非接触测量等方面考虑。

      (1）三维信息获取能力。这是对三维信息获取技术评价中的一个基本要素。这种能力可以从局部和全局两个层面判定，局部上得到物体每一个采样点的三维坐标，得到精细细节，从整体上可以得到物体完整的轮廓信息。实际上对于绝大多数应用二者缺一不可。目前的三维信息获取方法中，有的并不能获得采样点的三维坐标，只能得到一些如表面法向等信息，即所谓的2.5维信息，有的技术只能得到相对深度，需要在经过其它计算得到物体的三维信息。不同方法对深度的有效测量范围也会有所不同，通常情况下，量程与精度之间是对立的。

      (2）精度。绝对误差和相对误差是衡量精度的两个重要指标。前者较为直观，后者是指测量绝对误差与测量值的比。可以看出，只有在相同的度量单位下绝对误差的比较才有意义。因此，在没有参考值的情况下通常会采用相对误差作为精度的评价指标。

      (3）速度。速度是衡量三维信息获取技术性能优劣的重要指标，对于文物领域的场景记录具有重要意义。

      (4）算法的复杂性。复杂的算法意味着计算复杂、可能具备不存在唯一解、速度慢、鲁棒性低等特性，意味着需要更高性能的计算资源和更高的成本，这需要计算机从业者思考算法的优化和提升。

      (5）获取复杂形体三维信息的能力。所有基于三角测量原理的方法，由于必须保持一定的测量基线，都可能会因为遮挡而失败，实际物体的几何外形可能非常复杂，这些方法在存在遮挡的区域会失效。获取复杂形体三维信息的能力是衡量三维信息获取技术优劣的重要指标。

      (6）是否受物体表面反射特性的影响。物体表面的反射属性与三维信息的获取息息相关。对于基于图像的三维重建算法，首先假设物体表面是理想漫反射，但实际生活中物体表面可能会存在高光、投射等不同的光学现象，在此种情况下，算法可能会求解失败。而像飞行时间测距法、结构光法、编码法等需要控制光源的方法，物体表面的反射属性同样影响信号的强弱，从而导致结果出现错误。因此，每种三维信息获取技术对物体表面反射特性的敏感程度对其适用范围和实用性有重要影响。

      (7）成本。同任何应用技术一样，三维信息获取装置的实现成本对于技术的实用化、商品化非常重要。

      (8）色彩信息获取能力。我们生活在一个五颜六色的世界，人眼对色彩非常敏感，色彩是视觉体验的一个重要部分，它包含了极为丰富的信息。在获取物体三维空间信息的同时，获取物体的色彩信息有重要的意义。不同的获取技术具有不同的色彩获取能力，但大部分情况下都需要采取辅助手段或使用专门的计算方法，如加装彩色传感器或纹理贴图等。对文物数字化而，想要“原汁原味”地复制文物，形状和色彩信息缺一不可。

      此外，还应考虑是否接触物体表面、技术的安全性、装置的易用性、可靠性以及装置是否便携等指标。

主要三维信息获取技术的评价和比较

      目前的三维信息获取技术都只适用于特定对象或场景，仍然具有一定的局限性，因此单一方法无法满足上述所有标准。

     飞行时间测距法使用的是无接触测量方式，基于激光脉冲飞行时间法的三维扫描仪适合进行远距离扫描，如石窟寺或大佛的整体形状获取等，且几乎可以扫描任意形状的物体，测量精度较高，已经在实际应用多次被证实其有效性，但这类方法对于物体表面的反射特性较为敏感。

      结构光法可以通过控制光源打出不同形状光从而增加物体表面的纹理特征，具有获得高精度的潜力，且操作不复杂，测量速度较快，成本较低。因为用到光，这类方法同样对物体表面的反射特性较为敏感。由于结构光法基于三角测距的原理，因此具有易受遮挡影响的通病。为提高精度，很多结构光设备采用激光产生形状光，但这类做法同样存在弊端，激光可能会对物体表面造成破坏，也会改变物体表面颜色信息，不利于采集物体表面颜色，在某些情况下可能会出现散斑现象而对结果产生负面影响。编码光法与结构光法原理类似，只是把原来的机械扫描使用电子扫描代替，扫描速度因此大幅提高，精度也有了明显提高，但使用定制光源会增加成本，系统的标定和扫描算法也更为复杂。结构光与编码光法已经具备多款成熟的商业产品，也是目前文物领域三维信息获取的主流技术之一。

      石窟寺、造像等大型文物由于体量巨大，从工程上实用性角度考量宜使用长距离三维扫描仪，这类扫描仪通常便是基于激光脉冲飞行测距原理，此时扫描仪距离被测文物距离较远，激光的射程较远刚好符合此时的应用需求，当然随着距离增加测量精度也会有所降低。对于石雕、碑刻等小型文物而言，由于距离较短，基于激光脉冲飞行时间测距的扫描仪在短时间内已难以正常工作，因此可以考虑改用短距离的三维扫描方法，主要包括线激光三维扫描、结构光三维扫描等。

      摄影测量法可以直接求出物体或场景的完整三维模型，不需要附加光源，成本较低，操作简单，适用范围从小物体到大场景。但由于其基于三角测距原理，因此面对复杂形状时同样存在遮挡问题，由于在弱纹理或无纹理区域无法进行有效的特征点匹配，此时方法将失效。多视图三维重建技术同样具有上述优点，但因搜寻多张图像之间的特征匹配，正确率有效提升。因此，在各类扫描仪大行其道时，多视图三维重建技术越来越受到文物工作者的重视，得到越来越多的实际应用，已有从开源或免费的Bundler (Snavely等，2006）、Visual SFM (http：//ccwu.me/vsfm/[2021-04-29]）、COLMAP(Schönberger等，2016）、到收费的Photo Scan、Photo Mesh、Context Capture等各类软件。

      光度立体大大促进了三维重建领域的发展，但是这个领域由于暗室操作等仍有很多值得研究的问题，离大规模商业应用还有一段距离。而单目视觉中的shape from shading,shape from texture等方法因为是病态问题所以必须加入约束条件，这意味着对输入图像的要求更高，要在特定场景下拍摄才可以，且不能保证一定存在最优解，因此极大地限制了它们的应用。目前，这方面仍然是以论证阶段为主。表1为石窟寺文物数字化使用的主要设备和技术的价格。

      自1981年三维打印技术（Hideo等，1981）首次被提出以来，已经有非常多种各具特色的三维打印技术和设备被发明出来，已经被较大规模民用的包括：熔融沉积成型FDM (Fused Deposition Modeling）、立体光刻SLA (Stereolithography）、选择性激光烧结SLS (Selective Laser Sintering）、固化油墨喷印（UV Curable Inkjet）等。不同的三维打印技术所适用的材料、打印速度、打印精度及工作成本各有不同，按石窟复制的需求可以将各自的适用性总结如下。

表1 石窟寺文物数字化领域主流设备及软件信息

      (1）熔融沉积成型：打印材料成本低，打印设备成本低，可进行大幅面打印，打印速度较快，打印精度较低；

      (2）立体光刻：打印材料成本较高，打印设备成本较高，大幅面打印设备较少，打印速度快，打印精度高；

      (3）选择性激光烧结：打印材料成本高，打印设备成本高，大幅面打印设备较少，打印速度较快，打印精度较高；

      (4）固化油墨喷印：打印材料成本高，打印设备成本高，大幅面打印设备较少，打印速度较慢，打印精度高，可打印真彩色结果。

       在这几种方法中，显然固化油墨喷印的方法最有吸引力，因其有着优秀的打印精度，并且能够直接打印出包含丰富色彩的结果。但是人眼除了能感受到物体的色彩外，还能感受到物体的质感，所以同样颜色的一块布、一块木头或是一块石头能给人不一样的观感。当三维打印机生产完成一个彩色的雕塑后，只能有限改变其质感，要赋予其千年的沧桑感是极为困难的事，甚至比给一个单色的模型手工绘制表面纹理更难。反观其他几类方法，熔融沉积成型在速度、成本、幅面上都具有较好的吸引力，唯有精度低于其他方法。熔融沉积成型的三维打印方法使用热熔喷头将高分子材料熔化后逐层叠压来形成不同的形状，其主要精度取决于每一层的高度，通常不小于0.15 mm。当按0.15 mm的层高来进行三维打印时，其细节呈现能力基本上等效于150 ppi的三维模型，相当于石窟三维数字化采集的基本精度水平。熔融沉积成型的三维打印方法无法直接生产全彩色的模型，必须结合人工上色的方式来生产仿真的复制品。在上色的环节，通过营造质感细节和绘制细部纹理，可以制作出比三维打印结果更为细致的复制品。