图1 集成成像技术原理示意

由于集成成像重建的3D图像能提供多种深度线索，符合人眼的视觉生理习惯，因此将集成成像技术应用于增强现实，可以实现虚拟3D图像与真实3D物体的融合显示，且具有裸眼观看等特性，近年来已有较多的研究成果出现。

增强现实三维显示技术

离轴光学技术

韩国国立首尔大学的Lee团队率先将集成成像技术应用于光学透视式增强现实三维显示，该团队在2012年采用凸型半反射镜与微型集成成像显示单元组合，实现了虚拟3D图像的放大，其结构如图2所示。该凸型半反射镜同时作为图像融合元件，虚拟3D图像的光线通过反射进入人眼，而真实3D场景的光线经过透视进入人眼，从而实现虚拟的3D图像与真实3D场景的有效融合。该凸型半反射镜的制造包括2个过程，首先以凸透镜的凸表面作为基表面，在该表面上沉淀一层薄的铝膜，从而实现凸反射镜对虚拟3D图像放大成像的功能，然后再将该器件与一个与凸透镜的凸表面形状完全耦合的凹透镜组合，由于铝膜层的厚度很薄，具有半透半反的效果，且可忽略其对光线的平移作用，而使得真实场景的光线能够直接透过，而获得增强现实的特性。

图2 基于凸型半反射镜的增强现实结构原理

2016年，四川大学王琼华团队也搭建了采用半透半反技术实现的增强现实三维显示系统，系统的基本结构如图3所示，由微型集成成像3D单元重建的3D图像被凸透镜放大和半透半反镜反射进入人眼，真实场景的物体通过半透半反镜透视进入人眼，实现了增强现实3D现实功能。同时对放大的虚拟3D图像的横向和纵向畸变产生原因进行分析，由于放大透镜对微型集成成像显示单元的微图像阵列和微透镜阵列具有不同的横向和轴向放大率，因此放大的虚拟3D图像产生了严重的畸变。提出将微型集成成像显示单元的微图像阵列和微透镜阵列设置不同的节距，并计算两者之间的间距，通过推导相应的数学关系，使得放大后的虚拟微图像阵列和微透镜阵列具有相同的节距，且横向和轴向放大率相同，从而保证了集成成像的全真三维显示特性。

图3 基于半透半反镜的增强现实结构原理

2018年，Javidi团队提出了基于可变焦透镜的大景深增强现实三维显示，可变焦透镜被置于微图像阵列和微透镜阵列之间，微图像阵列通过可变焦透镜成像，并与微透镜阵列构成集成成像显示单元。通过透镜焦距的改变，调节微图像阵列像与微透镜阵列的间距，对应在显示空间中获得不同的中心深度平面，从而获得较大的3D景深。观看者通过分光镜，可分别看到虚拟的大景深3D图像和真实的3D物体，从而获得大景深的增强现实3D显示效果。

采用离轴光学的增强现实三维显示需要通过分光镜或半透半反镜将光路折转，以实现虚拟图像和真实景物叠加，且需要图像放大元件将微型集成成像显示单元的虚拟3D图像放大，所需的光学元件较多，光路较为复杂。

自由曲面技术

传统具有旋转对称特性的光学元件，由于需要同时采用多个元件实现光路的折转，系统庞大且重。美国亚利桑那大学的Hua与康尼狄格大学的Javidi，将新兴的自由曲面技术与微型集成成像显示方法相结合，采用多个自由曲面实现了虚拟3D图像的放大和光路的折叠，研制了结构紧凑、轻量化的头戴式增强现实集成成像三维显示器件（图4）。如图4（a）所示，该器件包括微型集成成像显示单元、自由曲面目镜和耦合镜3个核心部分。微型集成成像显示单元包含高分辨率的微显示屏和高精度的微透镜阵列，由同名像素发射的光束在空间中相交，重构出光场3D图像。自由曲面目镜是由3个自由曲面组成的楔形棱镜，出瞳位于曲面1前方，曲面2与耦合镜相接，曲面3位于微型集成成像显示单元的中心深度平面附近。由3D像点出射的光线先后被曲面3、曲面1′和曲面2反射，最终由曲面1透射并到达出瞳。为了保证该器件的光学透视性，设计了与目镜相匹配的耦合镜，用于校正自由曲面目镜产生的图像畸变和光轴偏移。该耦合镜由曲面2′和曲面4组成，其中曲面2′与自由曲面目镜的曲面2外形匹配，并互相耦合相接。由微型集成成像显示单元重建的3D像点出射的光线在自由曲面目镜中被曲面2反射，而真实场景的光线则透射通过耦合镜和自由曲面目镜，曲面4用于优化自由曲面目镜和耦合镜引起的图像失真和平移。

图4 基于自由曲面技术的增强现实

自由曲面技术与离轴光学技术相比，有效减少了器件尺寸，但用于头戴式增强现实中，自由曲面镜的厚度仍然较厚，视场角小。

全息光学元件技术

韩国国立首尔大学的Lee团队采用体全息技术，研制了微透镜阵列全息光学元件，实现了平板化的增强现实3D显示。微透镜阵列全息光学元件的记录过程如图5（a）所示，微透镜阵列凸面一侧与全息干板紧贴，平面波作为信号光从平面一侧入射微透镜阵列，经过微透镜阵列会聚为一组球面波阵列，另一平面波作为参考光与球面波阵列分别从全息干板的两侧入射，每个球面波与参考光在全息材料中相遇，其干涉过程可看成是单个球面波与平面波的干涉，且相邻球面波之间不发出混叠，形成的众多干涉条纹被记录于全息材料中。经过定影、显影、风干等过程，获得的体全息图则是一个具有微透镜阵列功能的全息光学元件。在再现过程中，由于体全息图具有很好的波长和角度选择性，即只有再现光与记录时的参考光波长和入射角相同时才能发生衍射，而真实场景的光线则直接透射通过，因此该微透镜阵列全息光学元件可以采用普通白光再现，且具有光学透视特性。

图5 微透镜阵列全息光学元件原理

微透镜阵列全息光学元件实现集成成像3D图像重建的原理如图6（a）所示，再现光与记录时的参考光具有相同的波长和入射角，且再现光中包含用于集成成像三维显示的微图像阵列，调整再现光入射区域，使得每个图像元与一个全息透镜对齐，因此每个图像元被衍射为球面波阵列。相邻图像元中的同名点像素衍射光波在空间中相交，形成图中红色所示的3D 实像点，当同名点像素衍射光波的延长线在空间相交时，形成图中绿色所示的3D虚像点，从而实现集成成像三维显示。实验制作了6 cm×6 cm的微透镜阵列全息光学元件，获得的增强现实集成成像三维显示效果如图6（b）所示，字符“S”“N”“U”为重建在不同深度上的3D图像，分别从上下左右不同视点上呈现出水平和垂直视差，透过微透镜阵列全息光学元件也能清楚地观看到后方的真实3D场景“方块”。

图6 微透镜阵列全息光学元件重建3D图像

基于微透镜阵列全息光学元件的集成成像增强现实三维显示，其器件结构更加紧凑，可实现平板化的显示，且微透镜阵列全息光学元件对虚拟图像光线具有很高的衍射效率，对真实场景光线具有很高的透过率，因此是一种优良的增强现实三维显示方案。

四川大学王琼华团队也对微透镜阵列全息光学元件进行了深入研究，提出并搭建了桌面式增强现实集成成像三维显示系统，基本原理如图7所示，一平面波信号光斜入射微透镜阵列，产生倾斜的球面波阵列，通过记录倾斜球面波阵列与参考光的干涉条纹，再现过程将衍射出包含微图像阵列信息的球面波阵列，因此重建出具有特定倾斜观看方向的虚拟3D图像，从而获得桌面式增强现实三维显示效果，倾斜观看角度与记录时信号光的入射角相对应。

图7 桌面式增强现实3D显示的原理

王琼华团队还提出了基于角度复用的双视区增强现实三维显示方法，其原理如图8所示，根据体全息的角度复用技术，记录了复合全息光学元件，该复合全息光学元件针对同一个入射参考光，将向2个不同方向上衍射成像，从而实现双视区的三维图像显示。实验中，通过2束平面信号光入射微透镜阵列，并与参考波干涉产生干涉条纹，获得复合全息光学元件。当采用平行光以与记录时参考光相同的入射角照射该复合全息光学元件时，分别从左、右两个方向获得衍射光线，由于所使用的全息材料为绿敏材料，因而衍射光线为绿色。搭建的双视区增强现实三维显示系统获得如图9所示的实验效果，分别在左右两侧都重建出了3D图像。

图8 复合全息光学元件的原理

图9 双视区的增强现实三维显示的效果

双4f 系统

东京农业技术大学Takaki和Yamaguchi提出一种基于双4f 成像系统的平板型增强现实显示器。如图10（a）所示，该增强现实显示器由3个透镜阵列、1个透明显示屏和1个光学栅栏组成，其中3个透镜阵列的每个单元可看成一个双4f 成像系统，其成像光路如图10（b）所示，两边透镜的焦距相同为f，中心透镜的焦距为两边透镜焦距的1/2（即f/2），3个透镜间的间距都为2f。根据图中光路所示，真实物体经过该双4f 系统后成正立的实像，可实现光学透视功能。透明显示屏位于透镜阵列B和C之间，且与透镜阵列C的距离为f，构建集成成像显示部件，显示出虚拟3D图像。光学栅栏位于第1和第2个透镜阵列中间，用于阻挡物体的光线从相邻的透镜元折射而产生重影。

图10 增强现实平板显示器的结构（a）及简化的双4f 成像系统（b）

图11为从上下左右不同角度拍摄的增强现实3D显示视图，能清晰地看到真实物体“汽车”以及虚拟3D图像“3D”和“IMAGE”，它们之间存在明显的水平和垂直视差。

图11 基于双4f 成像系统的增强现实显示效果

由于双4f 系统的物面和像面被固定在系统两侧的2倍焦距处，因此只能对固定深度的场景具有光学透视效果。针对该问题提出一种非对称的增强现实显示器结构，通过调节3个透镜阵列之间的间距为d1和d2，将真实物体成像到设定的平面上，从而实现可变深度的背景成像功能。该系统不仅具有增强现实的三维显示功能，还能协助具有屈光不正的观看者观看真实场景。如图12所示，对于患有近视眼的观看者，通过特定的d1和d2设置，可将真实场景成像到平板显示器前方更接近于人眼的位置；而对于患有远视眼的观看者，将真实场景成像到平板显示器后方更远离人眼的位置，使得将远处或近处的物体成像到人眼可聚焦的范围内，让近视或远视眼患者脱离眼镜。该器件能实现平板式的显示器结构，具有很大的适用性，但像差、重影图像等问题还有待解决。

图12 可变深度的背景成像原理

结 论

集成成像技术由于能全真地重建出3D图像，可提供多种深度线索，不产生立体观看视疲劳问题，能实现舒适的三维显示，是增强现实三维显示的最佳候选者。本文分析的几类基于集成成像技术的增强现实三维显示已初步获得了不错的显示效果，其中离轴光学技术最为简单成熟，但还需要在器件紧凑性方面进一步提升，且透过率和反射率也需要进行折衷考虑，以适应室内和室外环境；自由曲面技术则需要在目镜厚度、背景像差方面进一步完善；全息光学元件技术和双4f系统均能实现平板化的光学透视显示，前者在显示尺寸方面有待增大，以实现裸眼的增强现实效果，同时还需在3D分辨率上进行提升；后者则还存在串扰问题需解决。但随着集成成像三维显示技术的发展以及其与增强现实的有效结合，在未来将可能取代称为主流的增强现实器件。可以预见在不远的将来，具有全真三维显示效果的增强现实器件将应用于医学、工业、军事、教育、娱乐、交通等各领域，使人类更加方便快捷地获取信息。

参考文献（略）

作者简介：邓欢，四川大学电子信息学院，副研究员，研究方向为集成成像和增强现实；王琼华（通信作者），四川大学电子信息学院，教授，研究方向为信息显示。返回搜狐，查看更多