以下文章来源于智绘科服 ，作者测绘学报

智绘科服.

更具学术范儿的地理信息传媒

↑ 点击上方「中国测绘学会」

可快速关注我们

摘要：

针对多镜头全景摄像机MPC室内标定参数输出的实际场景球面全景视频存在视差伪影问题，提出一种场景自适应的球面全景视频无缝生成方法，主要包括两方面内容：①MPC球面投影参数最优估计。以实际场景视频重叠区域同名像点为观测值，通过最小化球面投影中心到同名像素对应球面空间点的夹角建立误差方程对球面投影参数进行最小二乘估计，从而降低子相机摄影中心与球面投影中心不重合及场景深度变化对MPC球面全景视频输出质量影响。②MPC球面全景视频生成TPS模型构建。以MPC子摄像机视频像素球面重投影几何为全局变换、以视频拼接线上同名像点为控制点建立TPS模型，实现MPC各子摄像机视频到球面拼接视频的像素直接映射，并能最小化视频重叠区域像素拼接误差，仅通过拼接线附近像素简单混合即可消除视差伪影并实现平滑过渡。模拟成像及实际场景试验结果表明，结合场景内容与摄像机内、外参数，本文方法可实现MPC球面全景视频无缝生成且计算简单、高效，完全满足MPC高帧率视频输出要求，具有良好的应用价值。

关键词：多镜头全景相机；球面投影；球面视频生成；薄板样条变换

阅读全文：http://xb.sinomaps.com/article/2022/1001-1595/20220508.htm

引 言

近年来，安防市场上推出了静止状态下可独立进行180°或360°监控的多镜头全景摄像机(multi-head panoramic camera，MPC)[1]，大幅降低了布线、人员施工等监控工程成本，且能有效克服传统摄像机多方位监控画面空间割裂、信息碎片化的不足[2]，在安防监控及机器人、虚拟现实、视觉测量等众多领域具有广阔的市场应用前景[3-6]。由若干不同视角、物理独立的传统监控摄像机封装而成的MPC，又称全景摄像系统(omnidirectional multi-camera system，OMS)，利用已标定的摄像机参数对子监控画面进行实时拼接可获得范围大、分辨率高且各视角方向基本一致的球面全景视频，但MPC摄像机参数获取通常在室内标定环境下完成，由于场景深度变化、MPC各子摄像机中心与球面投影中心不重合以及摄像机参数、球面投影参数标定误差，MPC实际应用环境下输出的球面全景视频往往存在明显的视差伪影，给应用带来影响。

若不限于监控应用领域，现有全景视频生成方法根据获取设备(摄像机)是否发生运动可概略分为两类[7]：运动视频序列合成和固定视频多视点合成。前者视频获取设备多搭载于沿设定路径、速度运动的移动平台，如无人机、汽车或火车，通过对平台不同时刻拍摄视频序列进行合成以实现宏大或特殊场景视觉信息的集中呈现[8-9]；后者主要针对固定设备同步采集的多路视频，旨在将这些视点不同但相互关联的视频重投影到设定观测面(平面、球面或柱面)，以实现大场景或超大视角视觉信息的集中呈现[10-12]。本文研究属于后者，实施过程一般划分为多摄像机标定和多视频融合两个阶段，前一阶段旨在给出MPC各子摄像机内、外参数，后一阶段则利用摄像机标定参数对全部视频进行球面重投影以生成球面全景图，因MPC摄像机几何关系固定，其球面全景视频生成效率主要取决于多视频融合过程。MPC视频获取一般采用传统针孔摄像机，为节约硬件成本，MPC尽可能利用较少的摄像机，导致相邻摄像机视野重叠度小，MPC标定工作不得不在大型室内标定场内完成, 借助于高精度3D控制信息解算各摄像机的绝对空间位置、姿态，进而推导出摄像机间相对外参[13]；为摆脱对高精度三维控制场的依赖，文献[3]将MPC固定在全站仪上对2D参照物(矩形格网)进行摄影，利用全站仪量测格网所在矩形平面四角的三维空间坐标以满足标定参数计算需要，需频繁移动二维标定板到子相机视野内不同位置并进行静态观测，文献[14]将电子经纬仪改造为旋转平台并对二维参照物进行观测以获得三维控制信息，但需控制摄像机围绕光心(或光心附近)做旋转运动。

由于难以保证摄像机摄影中心与投影球面中心重合以及潜在的摄像机标定误差，MPC视频重叠区域像素重投影位置不可避免存在误差(错位或称伪影)，且该误差大小还与球面投影参数(中心位置、半径大小)选取、场景深度变化有关[15]。针对这一问题，文献[10]取全部相机摄影中心的几何重心作为球面投影中心，将子摄像机视频像素对应的虚拟物方点投影到设定球面以生成全景影像，前提是物方点与投影中心距离固定；文献[5]利用标定参数推断重叠区域的景深，并将重叠区域投影到带深度信息的三维曲面上以消除视差伪影，关键在于能匹配获得稠密、准确的重叠区域同名像素，同时高计算复杂对于实时拼接任务将是大的挑战。拼接线选取与平滑过渡相结合是消除影像重叠区域伪影及灰度差异的有效策略，被广泛用于视频合成目的[7]，其中用于确定重叠区域最优拼接线主要有动态规划[16]、图切割[17]，用于重叠区域平滑过渡的技巧包括简单的渐入淡出计算[18]、基于变分原理构造图像梯度能量函数以获得全局最优融合因子[19]、多分辨率信息融合降低对配准误差的敏感度[20]等，在融合质量与计算效率方面各具优劣。本质上，视频(影像)重叠区域像素融合是在视觉可接受条件下对错位或曝光差异像素的一种模糊处理，故场景结构差异对于降低融合难度、提升融合效率极其关键，文献[21]综合利用双缝合线选策略与弹性配准技术，有效克服了视频重叠区域结构不一致性，但依赖于重叠区域内的结构匹配结果。针对传统静态影像拼接，文献[22-24]引入相似性变换以缓解单应性映射模型下的投影失真，可有效解决非重叠区域的透视变形问题；文献[25]采用重叠过渡泊松融合算法进行影像拼接融合，对曝光差异、彩色不连续性和明显缝合线区域有良好抑制效果；文献[26]提出基于滤波分频的无人机影像拼接算法以最大化地避免拼接缝及鬼影出现等。相比于静态图像，视频动态合成需兼顾视觉质量与计算效率，上述静态影像拼接计算复杂度过高，难以满足监控MPC球面视频无缝生成实时拼接应用要求。

本文中MPC多视频融合采用拼接线方式并假定各子摄像机内、外参数已知，为实现不同应用场景下的无缝球面全景视频输出，综合考虑MPC子摄像机视频像素球面重投影误差、相邻子摄像机视频拼接线自动生成及其两侧结构一致性问题，提出一种场景自适应的球面全景视频无缝生成方法，其创新点在于两方面：一是结合MPC子视频像素球面重投影过程，以实际视频重叠区域同名像点为观测值，通过最小化球面投影中心到同名像素对应球面空间点的夹角建立误差方程对球面投影参数进行最小二乘估计，有效降低子相机摄影中心与球面投影中心不重合及场景深度变化对MPC球面视频输出质量影响；二是将MPC子视频像素球面重投影几何引入TPS(thin plate spline)变换[27]建立球面全景视频无缝生成模型，并以视频拼接线上显著特征(像点)为控制点线性求解模型参数，实现MPC子视频到球面全景视频的像素直接映射，最小化重叠区域像素重投影误差的同时仅通过拼接线附近像素简单混合计算即可实现平滑过渡。

球面全景成像模型

采用吊装(或壁装)方式的MPC监控视角可覆盖整个半球，其几何结构设计多采用“1+N”模式[15]: “1”代表 1个垂直摄像机, 其主光轴设计为(近似)垂直于安装底座(平面)；“N”代表N个侧视摄像机，呈环状等间隔分布于垂直摄像机周围。用于安防监控的MPC需将其子摄像机视频重投影生成球面全景视频，理论上要求各子摄像机摄影中心与投影球面中心重合，且为使不同视角视频影像分辨率保持一致，还要求各摄像机焦距f、各侧视摄像机主光轴与垂直摄像机主光轴夹角、相邻侧视摄像机主光轴夹角大小一致，但由于相机光学系统本身及MPC机械结构加工、安装误差，上述成像设计条件难以严格满足。图 1给出了目前安防市场商用MPC结构设计普遍采用的“1+4”模式示意，本文后续球面全景成像及其投影参数估计工作均基于该模式展开，但可根据侧视摄像机数目N进行扩展。

图1 MPC几何结构

MPC各子摄像机一般为窄视野的传统针孔摄像机，通过对各子摄像机视频进行球面重投影而获得半球(180°)视场。如图 2所示，令Ci(i=0, 1, 2, 3, 4)表示MPC各子摄像机摄影中心，I为球面全景图像, o和r分别为设定的球面投影中心、半径并假定世界坐标系XYZ原点与投影中心o重合，则MPC视野内任一空间点PW到球面全景图像像素p′的空间变换可描述为以下3个阶段。

图2 MPC球面全景成像模型

(1) 单镜头“针孔”成像, 即MPC某一子相机Ci对世界坐标系下的空间点PW(X, Y, Z)进行平面透视成像并获得像点p(x, y)，该坐标映射关系在摄像机内、外部参数精确已知条件下可由经典的摄影测量共线方程[28]描述。

(2) 球面重映射，即将MPC子相机Ci平面透视成像获得的像点p，逆光线PWCi映射到设定投影球面以获得空间点PO(X, Y, Z)。

(3) 球面全景图像生成，即将球面空间点PO按选定模型投影至全景图像所在平面。现有球面投影模型分为4种[29]：等距投影、等立体角投影、体视投影、正交投影，其中正交投影模型计算简单且可建立空间点与球面全景图像点的可逆变换关系，本文选用该模型, 将点PO正投影到与Z轴垂直的固定平面(全景影像平面)以获得像素坐标p′(u, v)，两者坐标变换关系如下

(1)

式中，λ为设定的缩放因子，用于输出指定分辨率(幅面)的全景影像。

由以上成像过程可知，MPC球面全景视频生成涉及各子摄像机内、外参及球面投影参数(投影中心位置、半径大小)并场景深度变化有关，但目前的MPC标定过程仅限于给出其子摄像机内、外参数，球面投影中心通常取全部子摄像机摄影中心的几何重心，球面投影半径则取与景深范围有关的经验(固定)值[3, 10]，当实际场景深度存在较大变化时，现有MPC摄像机标定参数及其间接给出的球面投影参数将难以满足其球面全景视频无缝生成要求。

球面投影参数场景自适应估计

本文中MPC监控视点固定，根据这一特点，为尽可能消除视频重叠区域视差伪影，可利用反映场景深度变化、具有不同视差的同名像素信息来估计与应用场景相关的MPC球面投影参数，从而减小重叠区域视频像素重投影误差，如图 3所示。

图3 MPC子摄像机重叠区域像素球面重投影误差

令O表示MPC球面投影中心，(pi, pj)为相邻子摄像机(Ci, Cj)某同名像点，Pi(Xi, Yi, Zi)和Pj(Xj, Yj, Zj)分别表示该同名像点的球面空间坐标，则∠PiOPj角度ϑ值越接近于零，同名像素pi, pj投影到全景图像平面的位置误差将越小。以欧氏距离|PiPj|近似两点间的弧长，则有

(2)

对于MPC任一子摄像机Ci，其像点p的重投影球面空间点Po应同时满足球面方程及入射光线所在空间直线参数方程。当球面投影中心与世界坐标系原点不重合时，有

(3)

(4)

式中，(X, Y, Z)为理想像点p(x, y)在世界坐标系下球面空间点坐标；令r为球面投影半径；令(OX, OY, OZ)为球面投影中心；[VX, VY, VZ]T为像点p所在入射光线的方向矢量，可由点p像空间坐标[x, y, -f]T旋转得到；f为相机等效焦距，这里理想像点定义为以相机主点为坐标原点且已进行光学畸变修正；(XS, YS, ZS)为相机摄影中心；hi, j(i, j=1, 2, 3)为相机摄影主光轴姿态角(ϕ, ω, κ)给出的旋转矩阵元素；L为像点p所在入射光线的空间直线参数方程参数，联立式(3)和式(4)可得

式中

(5)

其中，τ=VX2+VY2+VZ2。

式(5)为一元二次方程，解此方程可获得

综合式(3)-式(5)可看出，当摄像机内、外参数已知时，ϑ值大小与球面投影半径r、投影中心(OX, OY, OZ)位置取值有关，这里通过最小化ϑ2来实现球面投影参数最优估计，有

(6)

式中

式(6)非线性，进行泰勒展开并取一次项线性化，可建立如下误差方程

(7)

式中，

，

，Dij=(Xi-Xj)2+(Yi-Yj)2+(Zi-Zj)2，(r0, OX0, OY0, OZ0)为给定球面投影参数初值。令ξ=(r, OX, OY, OZ)，O=(OX, OY, OZ)，可分别计算Dij及式(4)、式(5)关于球面投影参数的偏导，有

(8)

(9)

(10)

(11)

(12)

(13)

级联上述偏导计算即可获得式(7)关于球面投影参数的偏导结果，进而在给定球面投影参数初值条件下，以相邻摄像机视角重叠区域的同名像素(入射光方向矢量)为观测值，建立误差方程组最小二乘迭代求解球面投影参数，其中(OX, OY, OZ)初始化为全部子相机摄影中心的几何重心，r初值由同名像点对应空间点到球面投影中心的平均距离给出，该空间点通过摄影测量空间前方交会[28]计算得到。

球面全景视频无缝拼接TPS模型

本文结合TPS变换和拼接线方式生成MPC球面全景视频。联合式(1)和式(4)可知，MPC任一子摄像机Ci像点p(x, y)在MPC球面全景视频上的像素坐标p′(u, v)为

(14)

式中，Lpi表示摄像机Ci像点p所在入射光线的空间直线参数方程参数，其余参数定义同式(1)和式(4)。由式(8)可知，MPC子摄像机视频与其球面全景视频间的像素坐标映射可由局部仿射变换关系描述，该仿射变换参数由MPC摄像机机内外参、球面投影参数及像素自身位置信息联合给出，因深度(视差)变化及潜在的球面投影、摄像机参数估计误差，MPC球面全景视频重叠区域内像素将不可避免产生位置误差。

吸取文献[21]运用弹性配准技术来消除影像拼接线两侧结构不一致性的思想，给定视频重叠区域拼接线条件下，这里引入TPS变换来消除(或降低)缝合线上及其邻域像素拼接误差。广泛用于非刚性影像配准的TPS变换是自然样条函数在两维空间上的推广[27]，对于二维影像，TPS采用两个独立函数T(x, y)=(fx(x, y), fy(x, y))来建立其映射关系，通常具有如下数学形式

(15)

(16)

(17)

式中，ri为控制点Pi(xi, yi)与待映射点(x, y)的欧氏距离；a0、a1、a2、b0、b1、b2、Ai、Bi(i=1, 2，…, n)为2n+6个TPS参数，n为控制点个数；当n>3时，令(x, y)为任一控制点Pj(xj, yj), j≠i，可利用Pi(xi, yi)与Pj(xj, yj)间的2n个欧氏距离线性及式(16)中的6个约束条件求解TPS参数。TPS变换严格遵循控制点集约束(控制点处拼接像素无位置误差), 并能借助光滑插值约束有效减少控制点邻域像素的拼接误差；另一方面，若从全局与局部的关系去看待TPS变换对映射的分解，TPS实质上是以局部基函数插值来补偿全局仿射变换的不完善，吸收TPS变换这一思想并将其与式(8)中的MPC子摄像机视频像素坐标映射(局部仿射变换)相联系，可结合球面重投影几何建立MPC全景视频拼接TPS模型，数学形式如下

(18)

式中，令Ai、Bi、n、ri、Lp、XS、OX、YS、OY、f、[h1k, h2k, h3k]T(k=1, 2, 3)定义同式(8)和式(9)，但TPS参数减少为2n个，仍利用控制点线性求解。

源于TPS变换在光滑插值、参数线性求解等方面的独特优势，采用式(10)生成MPC球面全景视频的优点在于：①以MPC摄像机视频像素球面投影几何作为TPS全局变换，并通过TPS统一计算框架下的局部调整对球面投影参数、摄像机参数误差及场景视差变化引起的局部映射不完善进行合理补偿，从而有助于减少重叠区域视频拼接误差，若用于TPS变换参数解算的控制点为视频拼接线上像素，则TPS变换严格遵循点集约束的特点使得该种调整可有效消除拼接线及其邻域像素位置误差，从而有利于实现无缝生成目的；②隐性的将全景视频分为非重叠区域和重叠区域(缝合线及其邻域)，全局性的球面投影在非重叠区域起支配作用，匹配控制点所在重叠区域则是TPS变换起主要作用，两者间的过渡借助于整体TPS变换特性而自然、平缓。

目前选取最优拼接线主要有两种方式[30]: 一是影像重叠区域内像素视觉差异最小且尽可能不与显著结构相交的分割线，二是与影像重叠区域内的显著结构相交但相交点对应关系精确已知的分割线。两种方式相比，前者实际场景条件难以保证，后者则存在相交点的自动相关问题。本文监控MPC安装后视点保持不变，其子摄像机内、外参已知且相对几何关系固定，基于该特点本文MPC视频拼接线采用第2种方式并可自动匹配生成。如图 4所示，对于MPC任一侧视子摄像机Ci，其与垂直摄像机、2个相邻侧视子摄像机在球面全景视频上存在如图 4(a)、(b)所示重叠区域，若简单以该重叠区域中间线为拼接线，则Ci在球面全景视屏上将存在如图 4(c)所示3条拼接线(黑色)：1条用于与垂直摄像机视频间的拼接(称“垂直拼接线”)，2条分别用于与相邻侧视子摄像机视频间的拼接(称为“侧视拼接线”)，故MPC球面全景视频上共存在8条视频拼接线。由于像素重投影误差，MPC球面全景视频上任一拼接线反投影到相应子摄像机视频并不能获得正确的拼接线，但给出了概略位置，以之为基础可进行自动匹配搜索。给定MPC球面全景视频上某拼接线L={(un, vn), n=1, 2, …, N}，其在垂直摄像机C0、侧视摄像机Ci视频上的拼接线获取过程如图 5所示。

图4 MPC球面全景视频拼接线

图5 MPC垂直、侧视摄像机视频拼接线匹配生成

(1) 利用球面投影参数对L进行逆映射获得其球面空间点序列{(Xn, Yn, Zn)}。

(2) 利用MPC摄像机内、外参将l的球面空间点投影到对应摄像机视频，分别获得垂直摄像机拼接线L0={(xn0, yn0)}、侧视摄像机初始拼接线Li={(xni, yni)}。

(3) 保持垂直摄像机拼接线L0={(xn0, yn0)}不变并以之为参照，对侧视摄像机初始拼接线Li={(xni, yni)}进行核线约束优化调整。如图 5所示，对于L0上任一像素(xn0, yn0)，存在分别位于垂直摄像机视频、侧视摄像机视频上的同名核线ln0和lni, 令(x′n, y′n)表示拼接线Li与核线lni的交点，则可以像素(xn0, yn0)局部灰度邻域为匹配窗口、以(x′n, y′n)为中心建立局部搜索窗口并沿核线方向搜索获得(xn0, yn0)的最佳同名像素(xni, yni)，搜索依据由两窗口最大互相关系数(>0.8)给出。为尽可能建立拼接线与影像显著结构相交之处的对应关系、减少不必要的匹配计算以及后续TPS参数，这里要求拼接线L0上除首、末端点外，其余像素为具有明显灰度变化的特征点，由梯度算子检测得到。

MPC相邻侧视摄像机视频拼接线获取过程类似，这里不再赘述，最后可获得球面全景视频上8条拼接线的同名像素集合CP。根据式(10)，以CP为控制点集，综合利用球面投影参数、摄像机内外参求解MPC球面全景视频生成TPS模型参数(Ai, Bi)，进而可利用该模型建立的像素映射关系生成球面全景视频，对于严格遵循控制点集约束的TPS变换，其球面全景视频控制点像素的重投影位置误差为0，缝合线上其他像素及邻域也将由于控制点强烈的光滑内插作用而具有相对小的位置误差，采用渐入渐出法仅对缝合线较小邻域内像素进行简单加权平均融合即可实现无缝生成目的。

仅利用缝合线上同名点作为控制点估计TPS参数时，会导致视频非重叠区域像素重投影发生大的扭曲变形，本文通过设置虚拟控制点来解决该问题，即在全景视频上非重叠区域等间隔选取一定数目的点(点数>缝合线上同名点数)并根据式(8)计算得到各路视频对应像点以构成虚拟控制点对，该虚拟控制点对与缝合线上同名点对将共同用于TPS参数估计，由于虚拟控制点基于MPC全景视频像素球面投影几何生成，等价于隐含解决了将该球面投影几何作为TPS全局变换的实际计算问题；另一方面，TPS影像变换涉及像素与全部控制点间的大量对数计算，考虑到视频拼接效率，这里根据MPC摄像机几何关系固定特点将MPC全景视频拼接分为查找表离线生成、在线拼接两个阶段，即先利用TPS模型建立全景视频像素到原始子相机视频像素间的坐标映射关系(查找表)并作为文件保存，在线拼接时直接读取查找表文件到内存并从中获得全景视频像素在子相机视频上的对应位置信息，进而通过双线性插值运算获得灰度信息并赋值全景视频像素完成拼接目的，由于在线拼接运算量主要与插值计算复杂度、全景视频分辨率有关，而双线性插值运算复杂度远低于TPS且全景视频像素可进行并行处理，故可完全满足MPC球面全景视频输出的高帧率计算要求。

试验与分析

本文在PC机(英特尔E5-1620处理器 & Nvidia Quadro P2000 GPU & win10操作系统 & VS2010编译环境)实现上述算法。算法验证采用两种方式：①模拟成像测试。给定各子摄像机精确内、外参，在计算机环境按“1+4”设计模式进行MPC模拟成像，旨在摄像机参数无误差前提下分析说明MPC子相机摄影中心与球面投影中心不重合及场景深度变化对球面全景视频生成质量影响。②实际相机测试。选用某公司商用五镜头全景视频相机PanoEye(型号：PE-E-130-100)对教学楼内部场景进行摄影并输出球面全景视频。本文方法输出的模拟、实际场景球面全景视频均采用重叠区域同名特征像素重投影误差RMS(称为“重投影误差”)进行质量评估, 并与文献[10]输出结果比较，文献[10]方法球面投影中心取全部子摄像机摄影中心的几何重心、球面投影半径取与景深范围有关的固定值(这里取有效半径范围内投影误差最小者)。

1模拟成像测试

用于模拟成像的三维场景为1∶1按实际尺寸制作的某广场模型，如图 6(a)所示。计算机环境下按给定参数设置MPC并竖直向下对该场景进行虚拟全景成像，拍摄高度AH分别为4、5 m，拍摄区域包括台阶、草坪、铺地等具有明显深度变化的对象。取世界坐标系XYZ与垂直摄像机C0相机坐标系重合，用于模拟成像的虚拟MPC参数设置如下：全部摄像机像幅大小相同(1280×960像素)、内参相同(焦距fx=fy=600像素, 主点位于图像中心，无光学畸变); 侧视摄像机外部参数(Xsi, Xsi, Xsi, φi, ωi, κi)(i=1, 2, 3, 4)中姿态角φ均设为66°，姿态角κ均设为0°，姿态角ωi依次设为0°、90°、180°和270°；侧视摄像机摄影中心到坐标原点的距离相等(该距离值由参数DS给出以反映MPC子摄像机摄影中心不重合程度)，此条件下参数(XSi, XSi)在坐标轴X、Y附近随机取值但要求侧视相机(C1, C3)的参数(XSi, XSi)关于坐标原点对称、侧视相机(C2, C4)的参数(XSi, XSi)关于坐标原点对称，故设置不同DS值可得到仅子摄像机摄影中心几何重心不同的MPC，该几何重心坐标为

。图 6(c)给出了本文用于生成球面全景视频的虚拟MPC子摄像机空间分布俯视图(这里DS分别取0.1、0.2、0.3 m)。图 6(b)为拍摄高度4 m、DS=0.1 m时的MPC子摄像机成像结果。

图6 五镜头MPC模拟成像示意

表 1给出了本文两种摄影高度、3种DS取值模拟成像下的球面投影参数自动估计结果及其球面全景视频像素重投影误差；为便于计算重投影误差，本文在三维场景上随机选取256个具有深度变化的空间点，将其投影到MPC子摄像机不同重叠区域(图 7)并记录对应投影(影像)坐标用于球面投影参数估计及球面全景视频输出质量评估目的，其中，用于参数估计、重投影误差计算的点数各半。

表1 本文方法模拟MPC球面投影参数估计结果及其全景视频重投影误差统计

AH/m

DS/m

球心

半径R/m

投影差RMSE/像素

4

0.1

(-0.365, 3.865, 2.916)

8.33

2.29

0.2

(-0.205, 3.857, 2.902)

8.25

4.31

0.3

(-0.251, 3.570, 2.717)

8.10

6.80

5

0.1

(-0.116, 3.645, 3.119)

9.62

1.73

0.2

(-0.347, 3.743, 3.148)

9.72

3.38

0.3

(-0.341, 3.798, 3.782)

10.38

5.10

图7 模拟MPC子相机重叠区域及同名点分布

图 8给出了文献[10]方法取不同球面投影半径时的全景视频重投影误差RMS变化曲线图，最小重投影误差对应的球面投影参数值列于表 2。对比表 1和表 2可以看出，随着DS值增大、AH减小，MPC球面全景视频重投影误差均不断增大，反映出MPC子摄像机摄影中心不重合及景深变化(由摄影高度改变引起)对球面全景视频输出质量的显著影响，但在相同摄影高度、DS取值条件下，本文方法球面投影参数给出的全景视频重投影误差相比于文献[10]方法大幅减少1~1.5倍，优势明显。由图 8可以发现，相同摄影高度、DS取值但球面半径取值不同时，文献[10]方法重投影误差将存在较大差异；另一方面，由表 2可知，文献[10]方法虽然在相同AH、不同DS取值下取得最小视频重投影误差时的球面投影半径相同，但当改变AH时，取得最小视频重投影误差时的球面投影半径也随之改变，这就意味着，实验室环境下获得的、根据经验给出的球面投影固定参数将难以用于实际监控环境，而本文方法则不受此限制，最优球面投影参数可结合实际应用场景重新估计得到，具有灵活性与通用性。

图8 文献[10]方法不同投影半径下的全景视频重投影误差变化曲线

表2 文献[10]方法模拟MPC全景视频最小重投影误差统计及对应球面投影参数

AH/m

DS/m

球心

半径R/m

投影差RMSE/像素

4

0.1

(0.0, 0.0, 0.056)

5

5.11

0.2

(0.0, 0.0, 0.112)

5

9.91

0.3

(0.0, 0.0, 0.168)

5

15.49

5

0.1

(0.0, 0.0, 0.056)

6

3.62

0.2

(0.0, 0.0, 0.112)

6

7.06

0.3

(0.0, 0.0, 0.168)

6

10.84

图 9进一步给出了AH=4 m、DS=0.1 m和0.2 m取值下本文、文献[10]方法球面投影参数输出的全景视频。由图 9可以看出，当DS取0.1 m时，文献[10]方法输出球面视频在深度变化的台阶处存在明显的视差伪影，当DS取0.2时，则台阶、铺地处均存在视差伪影，而取不同DS值时本文输出球面视频均能对视差伪影形成有效抑制，或者完全消除或者显著减小场景深度(视差)变化引起的局部几何变形，为后续结合TPS变换予以消除奠定了基础。设定拼接线后，图 10给出了本文TPS模型视频输出结果，图 10视差伪影均被完全消除。表 3给出了TPS模型下的模拟MPC全景视频拼接重投影误差统计，对比表 1可知，不同AH、DS取值下采用TPS模型可进一步降低全景视频拼接重投影误差且稳定在约0.3像素，降低幅度显著，已能消除重叠区域伪影现象，证明了算法的有效性、可靠性。

图9 不同球面投影参数下的MPC全景视频生成及局部放大

图10 模拟MPC全景视频TPS模型生成结果

表3 模拟MPC全景视频TPS模型拼接重投影误差统计

AH/m

DS/m

RMS/像素

4

0.1

0.290

0.2

0.285

0.3

0.347

5

0.1

0.221

0.2

0.274

0.3

0.302

2实际场景测试

用于实际场景测试的某商用五镜头全景摄像机如图 11(a)所示，该MPC交付时提供其各子摄像机的内、外参数，见表 4，其中焦距、主点内参单位为像素，主点以视频图像中心为原点；摄影中心外参单位为m，姿态角外参单位为弧度。图 11(b)为该MPC输出的某教学楼内部场景5路视频，该场景最大景深约3.3 m。本文用于MPC球面投影参数估计的相邻摄像机视频重叠区域同名像素由SIFT算子[31]给出，并利用子摄像机内、外参数给出的核线约束去除匹配野点。

图11 某商用五镜头MPC及其场景视频输出

表 4 测试全景相机内、外参数

参数

相机0

相机1

相机2

相机3

相机4

u0

655.6

668.7

671.3

671.5

678.7

v0

492.6

470.9

496.4

492.5

462.7

k1

4.69e-007

5.31e-007

5.315e-007

5.246e-007

5.158E-07

k2

8.71e-013

7.006e-013

6.907e-013

7.712e-013

7.106E-13

f

738.1

738.4

743.9

747.8

748.7

φ

0.003 14

0.512 69

1.116 65

-1.102 69

-0.487 04

ω

-0.006 88

1.103 75

-0.231 5

0.217 02

-1.066 66

κ

1.296 01

-0.574 90

4.594 06

1.444 94

2.592 11

XS

0.025 0

0.010 6

0.050 2

-0.056 0

-0.019 1

YS

-0.042 6

0.053 5

-0.018 2

0.011 3

-0.058 1

ZS

0.000 8

0.044 2

0.046 6

0.047 4

0.046 3

图12 实际子相机重叠区域及同名点分布

表5给出了本文方法、文献[10]方法最优球面投影参数及该参数下的全景视频重投影误差RMS，图 13则分别给出相应的球面全景视频输出结果，为便于比较，这里输出的球面全景视频为MPC各子摄像机视频按式(8)像素重投影直接得到(未采用拼接线)。由表 5可以看出，联系实际最大景深(3.3 m)、表 5中子摄像机摄影中心间平均距离(约0.1 m)、焦距平均大小(约740像素)并简单考虑成像比例缩放, 这里给出的重投影误差：2.3=3.44×(600/4)×(740/3.3)，与模拟成像(AH=4，DS=0.1)给出的结果(2.08)相吻合，两者间的微小差别源于摄像机内外参标定误差。相比于文献[10]方法给出的重投影误差最小值6.8，本文方法重投影误差约减少一半，优势明显；具体在参数方面，本文方法与文献[10]方法给出的球面投影参数区别主要体现在投影中心位置，这也从侧面反映了子摄像机摄影中心不重合对MPC球面全景视频重投影误差的重要影响。进一步地，观察图 13中包括墙-地面悬空处(红、绿矩形标记)、略抬高的绿色铺地(紫矩形标记)及长方体盒状物体(黄矩形标记)等局部区域视频输出结果可以发现，本文方法球面投影参数有效减少了上述区域因不同深度(视差)变化引起的重叠区域错位现象，或者完全去除(黄、绿矩形标记)，或者得到有效抑制(紫、红矩形标记)，再次表明本文方法估计得到的球面投影参数对于场景深度变化以及MPC子相机摄影中心与球面投影中心不重合引起的重投影误差具有稳健性。

表5 实际MPC球面投影参数及全景视频重投影误差统计

球面投影参数

文献[10]方法

本文方法

球心/m

(0.001 55, -0.010 76, 0.037 08)

(0.873 2, -0.687, 1.000)

半径/m

2 3 4 5 6 7 8 9

3.42

重投影误差RMS/像素

9.2 6.8 8.8 10.5 11.9 12.8 13.6 14.2

3.62

图 13 不同球面投影参数下的MPC全景视频输出质量对比

与模拟成像结果类似，这里估计得到的球面投影参数也不能完全去除MPC球面全景视频重投影误差，可结合TPS变换建立无缝拼接模型，需首先获得摄像机视频与球面全景视频间的拼接线。图 14给出了利用MPC子摄像机内、外参及估计得到的球面投影参数将全景视频设定拼接线L映射到垂直摄像机、侧视摄像机分别获得视频拼接线L0和Li，并通过核线约束自动建立两视频拼接线特征像素对应关系的示意。综合利用虚拟控制点对与视频拼接线上同名点对估计TPS模型参数并进行全景视频拼接，其重投影误差为0.22像素，与模拟MPC拼接结果吻合，显著优于表 5给出的拼接精度，证明了采用TPS模型拼接的实效性。图 15给出了该模型参数下的全景视频输出结果，对比图 15(a)与图 13(b)可以看出，该模型参数下输出的球面全景视频质量得到进一步改善，完全消除错位现象，实现了输出视频局部场景结构一致性的良好保持；图 15(b)为对MPC摄像机视频进行Gain光照补偿[32]后输出结果，取得了令人满意的视觉效果。

图14 核线约束下的球面全景视频拼接线生成

图 15 结合球面投影几何的MPC全景视频TPS模型输出结果

针对存在不同深度变化的室内场景A和室外场景B，图 16进一步给出了本文方法与商业软件的全景视频拼接效果，其中商业软件2为全景摄像机自带拼接软件，商业软件1为开源拼接软件[33]。由图 16可知，对于视差变化较大的局部区域(矩形框标记)，商业软件均存在不同程度的拼接错位，本文算法则能获得令人满意的视觉效果，其性能明显优于商业软件。表 6进一步给出了本文方法不同输出分辨率下的MPC全景视频拼接效率统计，由该表可看出，利用TPS模型离线生成查找表虽耗时较长，但查找表在线拼接时却具有较高效率，在当前市场上视频最大输出分辨率(4 k)下达到15帧/s，已能满足视频连续输出视觉要求。

图16 不同深度变化场景下的全景视频输出效果比较

表6 不同分辨率下的MPC全景视频拼接效率统计

全景视频分辨率/像素

控制点数量

查找表离线生成时间/s

查找表在线拼接效率/fps

1920×1920

355

9.43

48

4096×4096

355

39.22

15

本文研究结果表明：①以反映场景深度变化的同名像点作为观测值，通过最小化投影中心到同名像素对应球面空间点的夹角建立统一误差方程对MPC球面投影参数进行场景自适应估计是可行的，有效降低MPC子摄像机摄影中心不重合及场景深度变化对球面全景视频输出质量影响；②引入TPS变换建立MPC球面全景视频无缝生成模型并以视频拼接线上显著特征(像点)为控制点线性求解模型参数是可行的，既能实现MPC各子摄像机视频到球面全景视频的像素直接映射与球面投影几何特性整体保持，又能最小化重叠区域像素重投影误差，仅通过拼接线附近像素简单混合计算即可获得良好的视频拼接效果。

总结与展望

作为有效的监控手段，摄像机早已在社会公共安全、管理调度及生产控制中发挥了不可替代的作用。MPC监控视角可覆盖整个半球且不同方向分辨率基本一致，对于提高监控作业效率具有实际意义。研究表明，除潜在的摄像机参数标定误差、子摄像机摄影中心与球面投影中心不重合原因外，MPC球面视频输出质量还与球面投影参数(中心位置、半径大小)设置、场景深度变化有关，而球面投影参数设置又与场景深度变化相关联。针对这一问题，本文在MPC摄像机内、外参数已知条件下，从最小化视频拼接线及其邻域像素误差角度出发提出一种场景自适应的MPC球面全景视频无缝生成方法。对于采用电脑后端管理方式的MPC，本文方法可作为一种加性算子应用于当前正在运行的MPC视频监控系统，无须对其拆卸或重新进行摄像机内、外参数标定，具有良好的应用价值；考虑到视频输出效率与计算复杂度, 本文视频拼接线生成并不考虑监控场景中的动态物体，则当拼接线上出现动态物体时，全景视频拼接线附近仍可能会出视差伪影现象，这将是下一步工作需要解决的问题, 同时也将结合实际监控场景对本文方法进行更多测试，以使之实用化。

END

引文格式：黄明益, 吴军, 高炯笠. 多镜头全景摄像机球面视频无缝生成[J]. 测绘学报，2022，51(5)：703-717. DOI: 10.11947/j.AGCS.2022.20210020

作者简介：黄明益，男，博士生，主要研究方向为摄像机标定、影像地理配准、视频融合等

原标题：《学术交流 | 多镜头全景摄像机球面视频无缝生成》