作者 |西安电子科技大学邵晓鹏教授

随着机器视觉、VR/AR、元宇宙技术的发展，三维成像与显示越来越受到重视。目前，三维成像的技术有很多，从诺贝尔物理奖获得者Gabor提出的全息成像，到双目立体视觉、结构光三维成像、激光雷达三维成像和偏振三维成像，经历了半个多世纪。

严格地讲，真正的三维成像只有全息成像技术，我们可以从不同角度看到物体的三维形貌，而其他所谓的三维成像应该是三维形貌重建，不能满足大范围、多角度的观看。因为已经叫习惯了，学界也慢慢“被迫”接受了这种叫法，因此，在本篇中，我们都称之为三维成像，不再加以区分。

这些成像技术，除了双目立体视觉和偏振成像属于被动成像技术，不需要主动照明，其他的都是主动成像，需要特殊的主动照明方法。主动照明受制于作用距离和环境条件的限制，很多场景难以应用。被动成像具有隐蔽性好、受外界干扰小的特点，如果还能够实现远距离、高分辨率的成像，那无疑是最好的选择，应用范围更广，具有更好的前景。

元宇宙效果图

建立在几何光学基础上的光学成像技术，在成像过程中，将三维的空间映射到了一个平面上，自然丢失了z轴方向上的距离（深度）信息。那么，三维成像当然是要找到那个丢失的维度，这自然要付出代价。我们就来先看看寻找另一个维度的代价吧。

1 寻找另一个维度的代价

Radar（Radio Detection and Ranging），这是雷达的缩写，最后的那个Ranging告诉我们，这个远距离探测、成像技术可以获得距离，因此，可以用来测距和定位，并且雷达波（微波）的远距离传输特点，可以实现非常远距离的探测。如果把微波替换成光波，由Radar变成Lidar（Light Detection and Ranging），就是我们常说的激光雷达，岂不是很好？

当然好，只是并不一定很好，原因是激光雷达的空间分辨率还比较低，多受制于扫描机制，远距离也难以实现，当然，远距离受制最主要的原因是光波传播特性跟雷达波相比太差了，而且极易受到天气和环境因素的影响，怕雨、怕雾、怕霾，还怕云和烟尘，感觉就像患了严重关节炎的病人，一旦遇到了天气变坏，就敏感地寻死觅活。

其实，影响激光雷达的还有两个很重要的原因：一是价格太高，很多用户用不起；二是相干探测的特点，很容易受到外界的干扰，强光就是它不共戴天的仇敌，多个同波段的激光雷达同时同地工作，结果也可想而知。

有鬼影的异常激光雷达点云图

光电成像必然走向三维，尽管寻找失去的那个维度需要付出代价，但科学家从来没有停止过。目前，三维成像的方法主要有双目立体视觉、全息三维成像、结构光三维成像、散射三维成像和偏振三维成像等，双目立体视觉是建立在几何光学的基础上的，而其他方面的模型是物理光学。下面，我们来一一分析。

双目立体视觉

人类的双目视觉是是天生的三维立体成像典范。人以左右眼看同一对象，由于两眼所见角度不同，在视网膜上形成的像并不完全相同，当这两个像经过大脑综合以后就能区分物体的前后、远近关系，从而产生立体视觉。注意，是经过大脑综合后形成立体视觉，这就是说，双目立体视觉是经过“计算”完成的，那么，在数学上，该怎么解释？

双目视觉是建立在几何光学基础上的，核心是几何代数运算。假设双目视觉中的左右两个相机位于同一平面（光轴平行），且相机参数（如焦距f）一致。

理想双目相机成像模型(y轴垂直于该平面)

y方向高度点一致

如图所示，根据三角形相似定律：

解方程得：

根据上述推导，空间点P离相机的距离（深度），可以发现如果要计算深度z，必须要知道：（1）相机焦距f，左右相机基线b。这些参数可以通过先验信息或者相机标定得到。（2）视差d。需要知道左相机的每个像素点()和右相机中对应点()的对应关系。

这是双目视觉的核心数学问题，纯粹的几何光学，正是如此，双目视觉的深度分辨率必然不会高，尤其是远距离的情况，我们完全可以从深度的公式分析出来。

全息三维成像

全息三维成像通过将含有目标信息的物光波与无目标信息的参考光波进行干涉，得到干涉全息图。通过对全息图的再现，获取物光波中携带的相位信息，最后通过相位与目标深度之间的关系，得到目标三维图像。全息技术将目标相位信息通过干涉条纹记录下来，在获取强度信息的同时，得到物光相位信息。在全息三维成像中，物光和参考光分别表示为：

其中，为经目标物体调制后的相位项，包含了目标的三维信息。当对记录得到的全息图进行重建后，此时的光场复振幅分布可近似表示为：

式中第三、四项分别包含了原始物光波的复振幅分布及其共轭复振幅分布。通过在空间中对再现像和共轭像进行分离，获取原始物光波的复振幅分布。

全息三维成像

结构光三维成像

另一种利用载波条纹实现三维成像的技术是结构光三维成像。结构光三维成像与全息技术类似，也是对条纹进行解译。不同点是全息技术是对干涉条纹进行解译，结构光三维成像是对经目标表面调制的投影条纹的解译。结构光三维成像将生成的正弦条纹投影到待测目标表面，通过记录并解调经目标表面调制后的正弦条纹，获取目标在不同空间位置的相位分布，最后根据相位与高度之间的关系实现目标三维信息的获取。投影到目标表面的正弦条纹可以表示为：

其中a为背景光强，b为相机拍摄条纹的调制量，?（x,y）为受物体高度调制后的相位。通过多组条纹投影，可通过联立方程组实现相位信息的解译。

散射三维成像

除了上述介绍的两种方法外，利用散射介质也能够实现目标的三维成像。由于散射介质的随机特性，不同深度目标点间的PSF互不相同。因此，目标的三维信息通过散射介质被编码到散斑中，通过对不同目标物形成的散斑图进行反卷积重建就能实现三维物体在不同深度下信息的恢复，此时，目标的三维分布可以表示为：

本质上，散射三维成像技术属于结构光三维成像，只是这个结构光具有特殊性，因为散射成像这几年大火，散射本身也具有特殊性，所以，我们单独列出来。我在专栏的第五篇“散射成像：又爱又恨的散射！”一文中，有详细的论述。

三维成像的手段有很多，但被动、单相机能实现三维成像的目前只有神经网络和偏振成像的方法，而神经网络是一种估计、强统计方法，准确性受训练样本影响大，那偏振为什么能三维成像呢？本篇将从偏振度和偏振角到物体表面法线讲起，剖析偏振三维成像的机理，分析影响偏振三维成像精度的因素，从原理到应用，展开深度分析。

2 偏振三维成像的原理

偏振为何能够实现三维成像？E. Wolf教授提示我们：目标表面反射光的偏振特性与目标表面轮廓特征有直接关系，换句话说目标表面偏振度、偏振角的变化与表面形貌具有直接的映射关系（当然这是在目标材质相同条件下而言，因为不同材质的偏振度变化明显）。这就是说，如果能得到目标的偏振信息，建立偏振特性与表面轮廓的映射关系，就可以对目标表面进行三维重建。这个描述其实还可以更简化：只要求解出图像中每个像素的法向量，逐点遍历即可重建出整个三维场景。这样一来，那么问题就简单了，法向量就成了偏振三维成像的关键。

接下来，我们按图索骥，看看法向量怎么获取。有两个直接约束法向量的参量，分别是天顶角和方位角，恰好，这两个参量与偏振度和偏振角有直接的映射关系。到这里，我们就豁然开朗了：只要有了偏振度和偏振角信息，就可以实现三维成像了，只需要建立起偏振度和偏振角信息与天顶角和方位角的映射关系。

那如何建立这种映射关系呢？

首先看天顶角θ的含义：表征光线从目标表面“出射”时，与该点微面元的夹角。这里用“出射”这个词，其实是包含了反射和折射两种情况，分别对应镜面反射面和漫反射面，也就是光滑表面和粗糙表面。对于不同表面，光波的出射情况不同，对应的菲涅尔公式求解出射角的理论也不同。具体如下式所示：

这里r，t表示反射和透射，p，s表示p光和s光。与天顶角θ的关系如下式所示：

其中，u表示像素的坐标矩阵。然后，我们来看方位角，它代表法向量在探测器平面上的投影与水平方向的夹角，也就是出射光波振动方向与水平方向的夹角。对于偏振而言，透过偏振片后强度最大的位置，就是光波振动的方向，因此通过旋转一周偏振片找到强度最大的位置，就是我们要求的方位角。

Imax(u)和Imin(u)分别表示线性偏振滤光片在旋转一周中的光强度最大值和最小值，(u)是探测器所接收到的光强曲线的初始相位角，是偏振片不同的旋转角度。

这就很清楚了，只要有了天顶角和方位角信息之后，就能得到法线信息，就可以重建出三维形貌。在求解得到天顶角和方位角之后，利用下式，将目标各点的法向量进行求解，值得注意的是，因为已知量不足，这里的法向量都是归一化后的“相对”值。

当能够获取到每个点的法向量信息后，其实这里就与传统方法中获取到的点云数据类似了，对于检测、识别等任务已然能够满足要求。如果进一步需要较好的展示，以及需要利用面型进行进一步的处理，则仅需对法向量信息进行积分即可，积分的方法很多，有全局积分、局部积分等等，根据任务和目标不同可以选择最合适的方法。

3 偏振成像系统与偏振三维成像卫星载荷

偏振成像系统

偏振光学成像系统主要分为：旋转偏振片偏振成像系统、多孔径偏振成像系统、分孔径偏振成像系统、分振幅偏振成像系统和分焦平面偏振成像系统。

早期的偏振成像主要为旋转偏振成像系统，通过旋转偏振片在不同的角度依次获取不同偏振状态的图像。这种成像系统具有结构简单、体积小和低成本的优势，但缺点在于实时性较差且旋转偏振片容易震动造成误差。

多孔径偏振成像系统通常由多个成像光学系统及探测器构成，通常采用四个单独的光学成像系统和独立的探测器获取不同方向的Stokes矢量。该成像系统具有实时成像和高分辨率的成像优势，但其造价较高，是单一光学系统的四倍，光学元件多，装配难度大，且存在亚像素位移时较难配准。

分孔径成像系统由四个偏心子系统组成，通过在孔径光阑处分别将子系统光轴与中心轴偏心将整个光学系统分成四个成像通道。这四个通道通过共用共孔径成像组镜头但放置状态不同的偏振元件以获取Stokes四个分量图。分孔径成像系统重量低且能够同时获取不同角度的偏振图像，但是对不同距离目标成像时需要重新配准，空间分辨率较低。

分振幅偏振成像系统则利用分束光学器件结合成像透镜及多个成像探测器组成多个通道获，在每个通道中放置不同的偏振分析仪以获取目标 Stokes 分量图。该偏振成像系统具有高分辨和实时成像的优势，但缺点在于光学元件多、体积大、装配难度高和光能利用率低。

分焦平面探测器是指光电探测器和微偏振阵列的集成成像元件。微偏振阵列由几个不同偏振角的像素化偏振器组成，以便分解入射光场，从而能够每帧记录前三个或四个Stokes参数。分焦平面探测器尽管相比前面所述的偏振成像系统体积更小、质量更轻，但是其制备工艺的要求极高，且往往需要额外的偏振图像插值重建工作。偏振探测器使得偏振成像技术变得更简单，但会降低分辨率，最主要的是消光比低，Sony的可见光偏振芯片消光比为300:1，红外芯片更低，只有30:1，消光比低带来的代价是偏振信息的信噪比低，这需要更好的重建算法。

上述的这些方法各有优缺点，从发展趋势上来看，分焦平面的偏振探测器肯定会是重点，但确实还面临着很多的问题需要解决，在以后的文章里我将详细论述。

偏振三维成像卫星载荷

2022年8月9日12时11分，搭载“计算偏振三维成像相机”载荷的东海一号卫星成功发射，这标志着我国将首次实现星载对地目标的实时被动三维成像，同时代表着我国计算成像技术在空间领域的科学研究应用，取得重要突破！

在现有的技术体系下，从微小卫星载荷搭载的角度上看，选择多孔径偏振成像系统是一种最优的方法，主要是技术成熟度高，偏振片的消光比高，获得的偏振信息具有较高的信噪比，这对后期的三维信息重建非常有帮助，下一节将重点讲述。这种方法的代价是光学系统和探测器都是4套，体积大，重量重，成本高。由于该偏振三维成像载荷的分辨率较低，光学系统体积小，成本不太高，而由这些代价能换得更高精度的偏振信息，在应用上来讲，也是值得的。

对于偏振成像而言，其实只需要3个偏振分量就可以了，所以，在本次载荷的设计中采用了0°、45°、90°三个偏振方向和无偏振的全光相机构成。下面是载荷的技术指标。

表 偏振三维载荷技术指标

4 影响偏振三维成像的因素

偏振三维成像技术具有被动式、远距离高精度、实时性等特点，相较于其他三维成像方法在很多应用场景中具有明显优势，尤其是远距离上，能够单相机拍摄384000 km外的月球三维表面，好像只有偏振三维成像能够做到。但是该方法在求解法向量时，结果存在两个随机解，它们相差180°，而只有一个是正确解。因此，如何解决这种解的奇异性问题，是目前偏振三维成像技术在实际应用中存在的最大的问题。

高精度偏振三维成像的前提当然是获取到更高信噪比的偏振度和偏振角信息，而偏振消光比是影响偏振信息的最重要因素。

偏振消光比是沿偏振主态方向分解的两个正交偏振分量之间的比例关系，单位是dB。100:1意味着20 dB，10000:1意味着40 dB。对于起偏器来说，消光比越高，将输入光变为线偏振光的能力就越强。对于光源来说，消光比越高输出光就会越接近于线偏振光。理论上线偏光的能量完全集中于一个方向上，消光比无穷大;圆偏光的能量平均分布于两正交方向上，消光比为0；椭圆偏振光,消光比介于0和无穷之间。由于各轴上的能量都相等，非偏振光的消光比为0。实际上，40 dB消光比已经相当高了，低偏光源的消光比一般小于0.5 dB。

我们来看两个数据：Thorlabs公司的偏振片消光比可达10000:1，而Sony的偏振芯片只能做到300:1。很显然，选用旋转偏振片这种方式可以获得更高信噪比的偏振图像，偏振芯片走向应用，在算法上还有很长的路要走。

接着，我们再来看看影响偏振的还有哪些因素。

环境光干扰是影响偏振三维成像的重要原因之一。自然场景下的偏振三维成像技术由于物体表面漫反射光偏振信息受自然条件下的大气散射光、环境中镜面反射光等复杂环境光的影响，使得混杂后的光同时进入探测器，导致目标漫反射光的弱偏振特性无法有效分离和精确解译。

此外，偏振三维成像方法还基于以下几个假设：

1)相机正投影；

2)光滑(连续)物体；

3)介电(即非金属)材料；

4)折射率已知；

5)照明由远处的点源提供；

6)表面无相互反射；

7)目标是已知或均匀反照率；

8)光源和观察方向不同。

无疑，在偏振三维成像发展的初级阶段，这些假设条件多多少少都会影响着偏振三维成像的发展，当然，这些也是偏振三维成像走向应用面临的挑战，相信不久的将来，这些问题都能一一克服。

很多人问：偏振三维成像的精度能达到多少？这是一个好问题。回答这个问题首先要说明：偏振三维成像获得的表面形貌是相对值，只有知道了确切的距离信息，才能换算成绝对值，而这个确切的距离信息恰恰是被动成像所缺少的。这个距离信息一般可以由相机标定获得，这只限于近距离，也可由双目视觉计算获得，当然，还可以用激光测距雷达等手段给出。在做偏振三维人脸成像实验中，我们对100米外的人脸进行三维重建，精度可以达到毫米级别，即量级。这里，特别需要说明的是：这种高精度的结果需要很高的空间分辨率，像素数也要足够高。

另外，偏振三维成像不同于双目视觉，由于只用一个相机就可以实现，不存在视差这样的问题，因此会导致形成的三维形貌只有一个视角方向，这在有些场景会受到应用限制。解决办法当然有：多个偏振相机组合。

5 更广阔的应用前景

传统的一些解决方法包括结合Kinect、光度立体视觉、阴影恢复法、数据优化拟合等，在一些特定的目标和场景下能够得到不错的结果。在此基础上，我们针对遥感、室内/外等真实应用场景和目标，研究开发了无标定的多相机拟合、结合深度学习技术、自适应校正等方法，实现对更复杂的实际场景进行高精度重建。目前，已经在对地遥感、室内场景、人脸目标等场景下取得了较好的重建结果。

下面这两幅图分布是我们在实验室和路上拍摄的结果，左边为彩色图像，右边为深度图像。你看到了什么？

下图是该偏振卫星相机拍摄到的地物目标的图像，目标分辨率约为30米，理论重建精度能够达到50-60米。由于是偏振卫星相机的第一次开机，曝光时间还没调整到位，目前高质量偏振图像获取正在进行中，后期偏振重建的三维结果，敬请大家期待。

偏振三维成像给我们带来的启示：

在高维度的“空间”中，偏振、相位、光谱等高维度物理量可以向下映射到深度、分辨率、作用距离等信息量中，这个映射关系需要我们去发掘。

我们可以看到，偏振三维成像技术将会在工业检测、航天遥感、测绘、自动驾驶、VR、元宇宙、手机摄影等领域大放光彩，届时，偏振芯片、偏振三维重建算法都会有大发展，迎来偏振三维成像的春天。

专栏预告

第十一篇：再论计算成像——应用篇

当时代抛弃你的时候，它连招呼都不会给你打一个。

计算成像技术如火如荼地发展，几乎所有的手机厂商都打着计算成像的广告，手机的照相功能已很大程度上替代了数码相机；汽车领域，自动驾驶离我们越来越近；科幻片中的监控场景有的已走进了我们的生活……所有的这些，都离不开计算成像。在这一篇中，我们将详细论述计算成像在未来的应用。

专栏文章

第一篇：下一代光电成像技术：计算光学成像| 邵晓鹏专栏

第二篇：光场：计算光学的灵魂｜邵晓鹏专栏

第三篇：光学系统设计，何去何从？｜邵晓鹏专栏

第四篇：偏振：古老却依然很新鲜｜邵晓鹏专栏

第五篇：散射成像：又爱又恨的散射｜邵晓鹏专栏

第六篇：相位，到底是个啥？｜邵晓鹏专栏

第七篇：计算照明，你是计算成像的金箍棒！| 邵晓鹏专栏

第八篇：计算光学成像中的数学问题思考｜邵晓鹏专栏

第九篇：计算成像的编码，该怎么编？| 邵晓鹏专栏

作者团队简介

邵晓鹏，教授，博士生导师，西安电子科技大学光电工程学院院长。

西安市计算成像重点实验室主任，西安电子科技大学杭州研究院先进光电成像与器件实验室主任，西安电子科技大学光学工程学科带头人。

陕西省创新人才推进计划中青年科技创新领军人才，陕西省新体制光电成像与感知科技创新团队带头人，中国光学工程学会常务理事，中国光学学会理事，陕西省光学学会副理事长，西安市激光红外学会副理事长，中国宇航学会光电委员会常务委员，中国兵器光电子专业委员会委员，华为媒体技术实验室技术咨询委员会委员，美国光学学会（OPTICA）会员，国际光学工程学会（SPIE）会员。

**工业光电信息控制和安全技术重点实验室学术委员会委员、中科院航空光学成像与测量重点实验室学术委员会委员、中科院光谱成像技术重点实验室学术委员会委员、中科院空间精密测量技术重点实验室学术委员会委员、中国红外探测器技术航空科技重点实验室学术委员会委员、陕西省先进光学技术国际联合研究中心学术委员会委员、陕西省光信息技术重点实验室学术委员会委员；Ultrafast Science副主编，《激光与光电子学进展》《光学 精密工程》《光子学报》《应用光学》《光电技术应用》《数据采集》《西安电子科技大学学报》《西安邮电大学学报》等期刊编委。

作为国内最早开展计算成像研究的人员之一，在新体制光电成像与感知领域攻坚前沿基础研究并促进技术工程应用，率先在国内开展散射成像研究。发表论文100余篇、发明专利80余项，获省部级奖励5项，主持国家自然科学基金、863专项、GF预研基金、GF重点实验室基金等项目60余项，年经费保持在1000万元以上，获JD科技进步奖、GF科学技术进步奖、航天科技进步奖、信息产业部科学技术进步奖等多项重要奖项，入选全球前2%顶尖科学家榜单。倡导举办4届全国“计算成像技术与应用”专题研讨会，提高了计算成像在光学领域的影响力。带领团队成员研制了广域相机、高性能低成本小型化红外导引头、偏振相机、激光陀螺仪光损耗测试仪、辐射计量辐射光源稳定功率系统等，成果和样机用于国内多家科研院所，促进了新体制成像技术的装备应用。

苏云，航天五院508所研究员，某载荷主任设计师，西安电子科技大学光电工程学院在读博士生。

获省部级奖项2项，发表研究领域文章30余篇，专利80余项。长期从事航天光学遥感技术、光学系统设计、计算光学成像基础理论与方法研究工作。在航天光学遥感方面，主持863项目，国内首次完成某型地球静止轨道光学遥感器概念研究。作为重要参与人员在国内首次开展了某低轨道相机基础理论与方法研究；在光学系统设计方面，完成多型航天/航空光学载荷系统设计，完成光学系统的功能设计与光学系统实现、光学投产、集成与评估工作。部分设计已经在轨完成验证；在计算成像方面，承担了北京市科委、CAST重点基金等多个项目，攻克了压缩感知计算光谱成像技术、衍射光谱光场计算成像技术等理论与方法研究等。当前正在利用计算成像方法挑战将低精度光学镜面应用于航天光学成像的难题。

李轩，西电杭州研究院特聘副研究员，博士后，Optica Member。

主要从事偏振三维成像、高精度偏振信息解译，以及超分辨率成像方面的关键技术和基础理论研究。近年来主持博士后基金特别资助、国家重点实验室基金及横向项目4项，主要参与了国家自然科学基金面上项目、科技委创新基金、国家自然科学基金青年科学基金等多项国家自然科学基金项目及省部级基金项目研究。在Optics Letters，Optics Express等国内外学术期刊和会议上发表论文10余篇，申请国家发明专利7项，并多次在国际及国内学术会议上做口头报告。担任MDPI期刊Advances in Si-Based Semiconductor Materials, Devices and Their Optoelectronic Application主题Special Issue Editor，担任Optics Express，Applied Optics等期刊审稿人。

席特立，西安电子科技大学菁英副教授，西安电子科技大学计算成像研究所副主任。

主要从事透过随机散射介质成像、新型计算光学系统设计以及定量相位测量技术研究，近年来主持或参与了包括国家自然科学基金、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letter、Optics Express、Applied Optics等国内外重要学术期刊共发表SCI论文20余篇，并多次在国际及国内学术会议上做口头报告。曾获2020年陕西省科技工作者创新创意大赛三等奖（第五获奖者）等奖项。

刘飞，教授，博士生导师，西安电子科技大学计算成像研究所主任。

西安电子科技大学华山菁英人才计划入选者。现任西安电子科技大学先进光学成像交叉前沿研究中心副主任，西安市计算成像重点实验室副主任，陕西省先进光电成像专委会常务副主任，美国光学学会(OPTICA)西电分会指导教师，中国科学院长春光机所应用光学国家重点实验室客座研究人员，光电信息控制与安全技术GF重点实验室客座教授，Journal of Nanophotonics期刊副主编，Cells期刊Computational imaging for Biophotonics and Biomedicine主题Guest Editor，OPTICA Travel Lecture（全球巡讲讲师）；中国感光学会青年理事，《激光与光电子学进展》、《光子学报》等期刊青年编委，Optics Letters,Optics Express，Applied Optics，JOSA A等多个国际期刊审稿人。

自2012年开始进行计算偏振成像技术的研究，累计主持国家自然科学基金青年、面上等项目，国家博士后科学基金面上项目，陕西省自然科学基金等科研项目二十余项，年均到款经费超过300万元，并在Optics Letters，Optics Express，等国际知名期刊发表学术论文40余篇，累计引用超过700余次，申请国家发明专利20余项，产学研转化2项。受邀参加CVPR等国内外学术交流会议进行成果汇报，并连续获得最受欢迎报告奖、最佳论文奖西安市自然科学论文一等奖等多项荣誉。

编辑 | 吕璇