以下文章来源于测绘学术资讯 ，作者测绘科学

测绘学术资讯

《测绘科学》《导航定位学报》等等期刊学术文章分享。大地测量、卫星导航、无人机/航空/航天摄影测量、自动驾驶、地图、GIS、地图史等等学术、技术和资讯。

↑ 点击上方「中国测绘学会」

可快速关注我们

摘 要：

针对红外影像噪声多、对比度低、像幅小、旋偏角大等特点，该文以无人机红外监测技术应用需求为背景，研究了机载红外影像的拼接方法。首先，介绍了常用的机载红外影像格式；接着，对红外影像进行噪声去除、图像增强、畸变差改正等预处理；然后，根据是否有位姿数据，分别采用基于位姿信息和基于运动恢复结构(SFM)的红外影像配准方法；最后，采用渐入渐出的融合方法消除影像拼接缝。通过实际飞行实验证明了该方法的可行性，具有一定的实际应用价值。

引言

无人机红外遥感是以无人机（unmanned aerial vehicle，UAV）为飞行平台，以目标辐射和反射的红外能量为观测目标，获取地物辐射特性和温度特性的遥感技术[1]。与可见光相比，红外波段具有全天时工作能力，其热辐射敏感特点可在环境污染监测、战场侦察、应急救援等领域应用。由于红外传感器视角小、成像像素少，在实际应用中往往需要多张影像拼接形成大视场图像。红外影像自身就有信噪比和对比度低的特点，再加上无人机平台稳定性差而导致影像存在旋转、缩放等几何畸变，使得红外影像的拼接存在更多的困难。文献[2-4]首先实现基于位姿数据的影像粗配准，再分别采用相似性先验、仿射变换坐标微调、稀疏全局调整等手段减少局部误差和全局累计误差，最终提高拼接精度。上述方法很好地实现了可见光影像的拼接，但不能很好地应用于红外影像的拼接。文献[5]针对红外遥感图像特点，采用各项异性滤波方法消除噪声，并用直方图均衡化技术提高图像对比度，优化ORB（orientedFAST and rotated BRIEF）特征提取算法，并利用随机抽样一致算法（random sample consensus，RANSAC）减少错误匹配，最终实现红外影像拼接，该文献最终只是选取2幅影像进行验证，但随着影像的增多，拼接误差会积累，文献并未给出处理方法。文献[6]通过改进尺度不变特征转换（scale invariant feature transform，SIFT）算法提高了匹配运算速度，减少了误匹配点对，实现了红外图像的快速拼接。文献[7]提出了一种快速高效的光束法平差策略，实现了画幅扫描成像红外系统实时拼接的应用需求。文献[8]提出一种改进的SURF（speeded up robust feature）红外图像拼接方法，将二进制鲁棒独立算子（binary robust independentelementary features, BRISK）和Canny边缘检测应用于SURF红外图像拼接,并采用RANSAC算法剔除误匹配的特征点，最后采用渐入渐出法消除影像拼接缝。上述方法均是采用改进的特征匹配算法实现红外的拼接，但实验数据均是近景红外影像，与无人机的红外影像有较大区别。

目前应急测绘尤其是森林火灾对红外航空影像的处理需求较为强烈，本文以无人机红外影像拼接为研究对象，结合实际项目应用需求，从红外影像的获取、预处理、配准、融合等流程介绍无人机红外影像拼接方法。在位姿信息未知的情况下，可利用基于运动恢复结构（structure from motion，SFM）的方法实现红外影像拼接；在位姿信息已知的情况下，可基于位姿信息快速对影像进行粗配准，而后利用仿射变换对地理坐标进行调整，实现精配准。两种方法可应用于不同场景，为后续目标识别、空间分析，污水监测等应用带来便利，具有一定的实际应用价值。

红外影像获取与预处理

1

影像获取

红外影像本质是通过目标场景的热辐射而获取热辐射值的被动影像，红外波长介于微波和可见光之间，分为近红外、短波红外、中波红外、长波红外、远红外，目前市场上常用机载红外成像系统一般为中长波红外。机载红外成像设备可根据需求输出图像和视频数据，图像主要是PNG（portablenetwork graphic）、原始影像RAW格式，RAW格式是一种未经处理的图像格式，与其他格式相比它有更宽的动态范围和色调，允许用户进行任意的色温、白平衡、对比度的调整来自由地构造图像，尤其对于红外这种噪声大、对比度低的影像，RAW格式给红外影像的处理带来了更多的自由。红外视频格式是传感器内部处理器将采集到的RAW红外数据，依次进行滤波、非均匀性校正和压缩编码形成的预定格式。本文所用传感器包括大疆禅思XT热成像相机和SCA350型双光光电吊舱，分别可输出RAW图像和H264视频数据，如图1所示。

2

影像预处理

由于红外成像传感器自身特性以及周围环境影响，红外影像中包含各种噪声，除此之外红外影像也有对比度低、灰度分布集中和边缘模糊的特点[9]，这些都会影响影像之间的配准精度，导致拼接失败。另外红外成像过程不可避免地存在非线性畸变，需要对其进行传感器检校及畸变差改正处理[10]。因此红外影像的预处理工作按流程可以分为图像格式转换、滤波去噪、图像增强、畸变差改正等操作。

图像格式转换主要是将RAW格式转换为PNG或JPG格式，根据图像像素分辨率以及位深结合OpenCV开源库即可快速地实现红外图像格式转换。红外图像常用的噪声去除算法是均值滤波和中值滤波[11]，两种滤波算法虽然简单但存在图像细节模糊的问题，本文采用文献[4]提到的各向异性滤波算法进行红外图像噪声去除。对比度低是红外图像的一个显著特点，为了提高图像对比度需要对其进行增强处理，常用的图像增强[12]方法有直方图均衡化、拉普拉斯算子、伽马变换、指数变换、对数变换等，图像增强方法较多，需要根据不同的应用需求选择相应的增强方法。图2为14bit原始影像经直方图均衡化，再经对数变换压缩位8 bit，提高对比度。

尽管红外影像滤波、增强等预处理是拼接前必不可少的步骤，但在基于位姿数据的红外影像拼接中焦距、像主点等内参信息也是必要参数，同时影像畸变对拼接精度的影响也是不可忽略的，因此在有条件的情况下，可通过张正友棋盘标定法[13]获取准确的相机内参及畸变参数，并在拼接前对影像进行畸变差改。

红外影像配准

1

基于位姿信息的影像配准

在红外传感器与无人机平台集成过程中，可以利用惯性导航设备发送脉冲信号控制红外传感器采集数据或通过视频流地理编码[14]方法建立红外影像与位姿信息的映射关系。针对红外影像位姿信息已知的情况，首先将姿态信息利用文献[15]中方法转换为外方位角元素，结合影像内方位元素及测区高程实现影像的正射纠正，完成影像的粗配准。接着利用仿射尺度不变模型[3]对地理坐标进行微调，实现影像的精配准。该方法可快速实现红外影像之间的配准，只需少量的匹配点就可建立仿射变换关系，实现地理坐标的调整，效果如图3所示。

2

基于SFM的影像配准

计算机视觉领域的SFM能够利用一组有序或者无序的影像恢复相机的位姿信息和场景稀疏三维结构[16]。与传统的航空摄影测量流程相比，SFM不需要预先的航带排列，通用性好且自动化程度高，其核心思想是通过特征匹配获取多视图影像之间的同名点，然后最小化特征点的重投影误差来求解相机位姿和特征点的三维坐标。文献[17]对增量式运动恢复结构和定位定姿系统（position and orientation system，POS）辅助光束法平差的精度进行比较，发现在不依赖POS数据的情况下，增量式运动恢复结构可以达到与POS辅助光束法平差相当的精度。因此本文采用基于SFM的方法获取优化后的相机位姿信息和稀疏三维点云[18]，拟合融合平面形成影像投影平面，通过位姿信息建立影像间的变换关系，实现影像配准，具体流程如图4所示。

首先将所有红外影像两两匹配，选择同名点最多的匹配作为初始像对，利用八点法[19]计算本质矩阵再由奇异值分解获取相机位姿信息，即旋转矩阵和平移向量，接下来利用相机的位姿信息估计特征点的空间位置，即通过三角测量计算2D特征点的三维坐标；接着根据特征匹配结果选择新影像，利用PnP（perspective-n-point）[20]估算新影像的位姿信息并三角化计算特征点的空间坐标，紧接着使用光束法平差优化相机位姿和三维点坐标[21]，直到所有影像添加完毕再进行全局平差；全局优化后即可输出所有影像的位姿信息和稀疏三维点云，根据三维点云拟合一个融合平面[22]，接着利用相机位姿信息进行影像变换，投影到拟合平面上，实现影像间的配准。图5为由306张红外影像重建的稀疏三维结构。

红外影像融合

在完成了红外影像配准之后，需要将所有影像融合成一幅影像，消除拼接缝，目前常用的融合方法有直接平均法、加权平均法、拉普拉斯融合法、渐入渐出融合法等。本文选用渐入渐出法[23]进行融合，对待融合影像和的重叠部分按照加权比重计算新的灰度值，加权公式如下：

加权值的选择需要根据经验确定，但融合过程中权值并不是固定不变的，而是动态分配的：靠近影像中心权值增大，靠近影像边缘权值减小。从主观评价效果上来看，渐入渐出法很好地实现了影像间的平滑过渡，效果如图6所示。

实验结果

实验选取彩虹-4无人机搭载SCA350型双光光电吊舱获取的红外视频数据，红外相机参数如下：焦距50 mm，工作波段为长波，像素分辨率为640像素×512像素，视场角为11°×8.2°，像元物理尺寸17 μm。光电吊舱工作模式为红外和可见光随意切换，为了适应可见光1080P分辨率，传感器厂商在保持宽高比的基础上对红外图像做了拉伸处理，使其高度分辨率为1080像素，宽度有效像素为1 350像素且用黑边填充为1 920像素。本文选取其中3条航线分别采用第2节中两种方法开展中实验。

1）基于位姿信息的红外影像拼接。首先利用位姿信息对每帧红外影像进行正射纠正，再以第一条航线为基准采用SURF特征匹配计算与第二条航线影像间的仿射变换模型，接着利用变换关系对第二条及第三条航线的影像进行坐标微调，效果如下图7所示。

2）基于SFM方法的红外影像拼接。首先裁剪掉红外影像黑边，再将全部的306张影像两两匹配，按照2.2节方法获取每一张红外影像的位姿信息及三维稀疏结构，根据影像间变换关系及拟合平面完成影像配准之后再进行影像融合，最终效果如图8所示。

从实验结果可以看出以第一条航线为基准，分别校正其他航线，虽然拼接结果不存在全局形变，但存在明显的局部错位，采用第二种方法整体效果优于第一种方法，局部错位问题得到解决，但第二种方法的前提是红外影像要有足够多且正确的匹配点，这在某些场景下是很难满足的，如大面积水体、戈壁滩等。第一种方法可以做到准实时且不需要太多的匹配点，但拼接精度难以保证。因此针对不同的数据质量及应用场景可以选择不同的拼接方法。

结束语

本文针对机载红外影像噪声多、对比度低、像幅小、旋偏角大等特点，提出了一种机载红外影像拼接方法。首先，对红外影像进行格式转换、噪声去除、图像增强、畸变差改正等预处理；然后，根据是否有位姿数据，分别采用基于位姿信息和基于SFM的影像拼接方法；最后，采用CH-4无人机搭载的双光光电吊舱获取的红外视频数据开展实验。基于位姿信息的拼接方法可用于准实时场景，基于SFM的方法用于事后处理场景，但本文实验数据单一，并未比较两种方法的鲁棒性，同时基于位姿信息辅助的SFM红外影像实时拼接算法将是下一步的研究方向。

原标题：《学术交流 | 无人机红外影像拼接方法研究》

阅读原文