土壤高光谱数据预处理与变换

您所在的位置:网站首页 17272什么意思 土壤高光谱数据预处理与变换

土壤高光谱数据预处理与变换

2023-08-11 19:47| 来源: 网络整理| 查看: 265

数据准备

本次实验共收集研究区覆盖Aster高光谱遥感影像6景,获取时间为2017年,云量均小于10%;Aster GDEM数据10景,空间分辨率为30米;

Hyperion高光谱影像2景,波段数有242个;

landsat8 ETM+影像共5景,获取时间为2017年,云量小于10%;

Sentinel2高光谱遥感影像两景,云量小于5%;其它数据有陕西省1:100万比例尺地质图和陕西省矢量数据。

野外数据采集

本次野外考察地点主要是陕西省榆林市,在野外考察之前先查好研究区的天气状况,准备好考察地的地形图、地质图等相关资料,察时间为2017年10月11日至10月17日,这几日天气主要为晴天,适合野外采点取样,本次实验共采集350个样本。

室内土壤光谱数据测量

1.土壤光谱反射率采用 ASD Field Spec Pro FR 全光谱便携式地物光谱仪在实验室内测量。波长范围350~2500nm,在350~1000nm 范围内采样间隔1.4nm,光谱分辨率为3nm ,输出波段数为 2150( 重采样间隔为 1nm) 。

2.传感器置于离土壤样本表面 0.3m 的垂直上方,视场角为 8°;设置1000 W的卤光灯,距土壤表面0.5天顶角15°,可提供到土壤样本几乎平行的光线。在每次才几千都要进行白板定标,每个土壤样本连续测定5次,去除异常光谱曲线后进行断点修正,再 进行算术平均运算,最后导出ASCII格式文件,得到该样本的光谱反射率数据。

3.由于光谱采样时不同波段采用不同的探测元件,导致探测元件分区接点处的光谱曲线数据出现轻微跳跃现象。本研究采用抛物线拟合校正方法对此进行了处理。

4.由于光谱仪各波段间对能量响应的差异,使得光谱曲线上存在一些噪声,利用卷积(Savitzky-Golay)平滑方法,选取3像元×3像元大小的窗口对光谱进行平滑去噪处理。

5.Savitzky-Golay卷积平滑算法是移动平滑算法的改进SavitzkyGolay方法进行平滑滤波,可以提高光谱的平滑性,并降低噪音的干扰。S-G平滑滤波的效果,随着选取窗宽不同而不同,可以满足多种不同场合的需求。

6.每一测量值以平滑系数的目的是尽可能减少平滑对有用信息的影响,该烧平滑去噪算法的劣势,可基于最小二乘原理,用于多项式拟合求的。Savitzky-Golay卷积平滑关键在于矩阵算子的求解。

7.设滤波窗口的宽度为n=2m+1,各测量点为x=(-m,-m+1,0,0,1,…m-1,m)采用k-1次多项式对窗口内的数据点进行拟合

y=a_0+a_1 x+a_2 x^2+⋯+a_(k-1)

于是就有了n个这样的方程,扣成了k元线性方程组。要使方程组有解则n应大于等于k,一般选择n>k,通过最小二乘法拟合确定拟合参数A。

由此得到:

B=X∙〖(X^T∙X)〗^(-1)∙X^T

在这里插入图片描述 在这里插入图片描述 实验室内波谱曲线变换

1.将土壤光谱数据进行数学变换可以更好地分析光谱数据与土壤参数之间的关系,扩大土壤样品间的光谱信息差异及土壤属性信息的细小差异。

2.其中对光谱数据做微分处理不仅可提高分辨率,而且能提高光谱数据与土壤各参数间的相关性。为了突出土壤的光谱特性,还对经过预处理后的土壤光谱反射率(REF)进行反射率倒数(1/R)变换、反射率倒数的对数(Log(1/R))变换、反射率一阶微分(FDR)变换、反射率二阶微分(SDR)变换以及连续统去除(CR)变换。

土壤光谱反射率曲线: 在这里插入图片描述

由上图350个样本土壤光谱反射率曲线,可见,虽然土壤样本光谱反射率高低有所同,但从整体趋势上有明显的共同特征。所有样本的土壤光谱形态相似,基本平行,土壤的反射率介于之间,光谱曲线在具有一定的波动性,且所有的曲线均收于短波方向可见光的蓝光区域,相对发散于近红外区,多数土壤近红外谱区的光谱反射率高于可见光。

波段与波段之间具有良好的正相关性,图中土壤光谱曲线整体表现出波段反射率相对较低,但随波长增加反射率迅速增大,光谱曲线较陆;波段反射率较高,但随波长增加反射率上升速度较小,光谱曲线较平缓;波段反射率仍随波长增加上升,上升速度加快;波段反射率随波长增加呈下降趋势。

分别在和处存在明显的键和的水吸收特征,这主要是残余在土壤中的少量水分以及空气中的水汽吸收引起的。

室内土壤元素含量测定

土壤化学元素含量使用美国INNOV-XALPHA-c8200便携式矿石元素分析仪在实验室进行测量,测量前需进行标准化,每块样土测量约2min,测量后的数据导出即可,元素含量单位为g/kg,共测量350个样本,最后将测得的结果Excel文件导出:

在这里插入图片描述 Hyperion数据处理

本研究采用的高光谱数据由美国EO-1卫星装载的高光谱成像光谱仪 Hyperion获取。

Hyperion 成像光谱仪获取的连续光谱波段范围是356-2577nm,波谱分辨率10nm,Hyperion图像的幅宽是7.7 km,空间分辨率为 30 m,传感器重访周期16天,影像灰度量化等级为12bit。

对外共享的Hyperion数据包括L1R和L1T两种格式,其中L1R数据经过了相对辐射校正、辐射定标操作,数据格式为HDF;L1T数据经过了相对辐射校正、辐射定标、系统级几何校正,系统级地形校正,坐标系统为UTM-WGS84坐标系,数据格式为GeoTIFF。

两种数据格式均校正了可见光、近红外(VNIR)成像传感器与短波红外(SWIR)成像传感器所成影像进行同步合成时的空间错位问题,同时SWIR波段最后一列(第256列)像元DN值设置为0值。

两种格式数据均为进行环线修复、垂直条纹去除、“smile”效应校正和大气校正。

L1R数据未进行集合定位因此呈竖直方向,而L1T数据经过了几何粗校正,影像呈倾斜方向分布,由于坏线、条纹、“Smile”效应均沿着飞行方向分布,因此从数据的预处理角度来说L1R数据更便于进行各种畸变的消除。

L1T数据发布之前虽然经过了几何粗校正和系统级地形校正,仍然为粗校正数据,空间定位误差仍达百米以上。处理L1T数据需要先将影像旋转至竖直方向,去除掉各种畸变之后再将其璇转回原始角度。

在预处理流程上,L1T数据相比L1R数据多了以下三个步骤:确定旋转角度、旋转为竖直方向和璇转回原始角度,其它预处理步骤与L1R数据完全相同。

去除坏线

在这里插入图片描述 在这里插入图片描述 波段剔除

需要剔除的波段包括未定标波段、重叠波段和水汽影响波段。由于这些波段不含有或者含有极少有用的信息,其存在也会大大减慢数据处理的速度,因而需要进行剔除。

从美国地质调查局(USGS) 订购的Hyperion数据共有242 个波段,其中 44 个波段不能用于计算,主要原因是仪器在这些波段敏感性相对较差正式分发的Hyperion L1级数据中下述波段已经被设置为零值(Barry,2001),这些波段也称之为坏波段(Bad Bands),band:1-7,58-76,225-242,121-126,167-180,222-224波段受水汽吸收影响比较严重(Dat et al.,2003),以坏波段形式标识去除未定标波段及水汽影响的67个波段,原始波段数为242,最终剩余的可用波段数为175。

波段号 波长范围(nm) 处理程度

VNIR

1~7 356~417 未辐射定标 8~55 426~895 已定标、校正 56~57 913~926 已定标、校正(与77-78波段重合 58~70 936~1058 未辐射定标

SWIR

71~76 852~902 未辐射定标 77~78 912~923 已定标、校正(与56-57波段重叠 79~224 933~2396 已定标、校正 225~242 2406~2578 未辐射定标

绝对辐射亮度值转换

发布的Hyperion数据无论是L1R格式还是L1T格式都已经过定标操作,为辐射亮度数据但是为了减少数据所占的磁盘空间以便于在网上共享和传输,将定标结果分别乘以了放大因子并且转换为整型进行发布,其中VNIR波段的放大因子为40,SWIR波段的放大因子为80,因此只需将原始数据分别除以相应的放大因子并且转换为浮点型即得到定标后的原辐射亮度数据。

对于VNIR波段,绝对辐射亮度转换公式为:

RadianceVNIR=float(DN)/40;对于SWIR波段,该公式为Radiance-SWIR=float(DN)/80,单位wm-2um-1*sr-1 在这里插入图片描述 在这里插入图片描述

减弱“Smile”效应

“Smile”效应又称为皱眉(“Frown”)效应,指的是影像像元的成像中心波长和半值波宽(FWHM)偏离传感器波段预设中心波长和半值波段宽而使影像光谱空间发生扭曲的现象,所有的Hyperion影像的所有波段均存在“Smile”效应。

“Smile”效应的直观表现就是像元的实际成像中心波长偏离设定成像中心波长,且偏移量并不是个常数,随像元位置及波段编号而变化,一般来说,VNIR偏移范围大概是2.6-3.6nm,对于10nm光谱分辨率的影像来说已十分明显;SWIR的偏移范围大概是0.4-0.97nm,小于前者。

对于Hyperion影像,其“Smile”效应的检测主要通过亮度梯度(Brightness Gradient)来实现,具体来说它包括两个方面:一种是经MNF(最小噪声分离旋转变换)后的结果影像的第一或第二波段存在亮度梯度,即MNF-1或MNF-2;另一种是氧A吸收带(约760nm)对应波段的左右两肩波段的差值图像存在亮度梯度,由于Hyperion的第42波段(762nm)位于氧A吸收带,其左右两肩波段对应的是第40和第42波段,该检测方法可以写作:VNIR42-VNIR40。

“Smile”效应只能够减轻而无法完全消除,对于高光谱数据,该种畸变的校正需要遵循三个原则:1消除或者减弱亮度梯度2.校正后结果影像的光谱曲线特征应该遵从原始影像光谱特征,偏差不宜过大3.校正后影像波段的DN值与原影像相比不宜改变过大,以不超过3%为优。

这里采用CSIRO(澳大利亚联邦科学与工业研究组织)开发的Hyperion_workshop扩展模块中的de_smile工具来减弱影像中的“Smile”效应。

该工具采用移动线性拟合内插(Moving Linear Fitting and Interpolation)方法,将每一个样本的光谱中心波长插值到该样本所在波段的平均成像中心波长,需要用到每个样本的实际成像中心波长和每一波段的平均成像中心波长两个辅助文本。

经de_smile工具处理后,可以发现结果影像的MNF波段以及波段差图像中仍然残留亮度梯度,但是与原影像相比已大大减少,而结果影像中的地物的光谱曲线特征非常接近于原影像,且对于绝大部分波段的大多数像元,其DN值的该变量在3%以内。

该处理减弱了“Smile”效应且保持了原影像的光谱特征和定量特征,达到了预期目的。

在这里插入图片描述 在这里插入图片描述 在这里插入图片描述 在这里插入图片描述 去除条纹

条纹是指影像中存在的像元DN值相对较小但不为零,与周边像元存在明显灰度差异且呈现带状分布的现象。该现象的产生主要由于当传感器相对太阳的角度发生变化时,探测元件对电磁辐射及热作用响应的不均一性和随机性造成的,对于Hyprion影响来说,由于SWIR波段的信噪比稍低,因此条纹要明显多于VNIR波段。

条纹的去除多采用“全局去条纹法”,它是一种线性变换方法。对于某个波段k,假设i、j分别为该波段的列编号和行编号,对于某个像元Xij,另x_ij^’ " " 为变换后的像元值,则有:

x_ij^'=α_i∙x_ij+β_i

其中α_i=(s_k ) ̅/s_ik ,β_i=(m_k ) ̅-α_i∙m_ik

式中(m_k ) ̅为k波段的均值,(s_k ) ̅为k波段的标准差,m_ik为列均值,s_ik为列标准差,该方法可以去除图像中明显存在的条纹,使地物更为清晰。

影像的去条纹操作需要放到减弱“Smile”效应之后,这是因为在去除条纹的波段选择上具有很大的主观性,也包含随意性和不确定性。首先,并不是所有的波段都适合做条纹去除,经过该算法处理后,像元的DN值改变较大,同时也会造成光谱曲线的明显偏离,对于VNIR来说,波段中的条纹要明显少于SWIR,

因此条纹的去除只是针对部分波段进行;不同地物适用的算法也不相同,尽管线性方法适合大多数地物,但对于水体来说,附加方法(Additive,即上式中系数α_i=1)对于条纹去除效果更好,如果影像中包含大范围的水体,采用线性算法进行条纹去除之后发现,水体处的成像效果明显改变,甚至引入了新的噪声。

条纹的去除需要慎重选择波段和算法进行,然而对于“Smile”效应来说其贯穿所有波段且校正算法具有普适性。 在这里插入图片描述 在这里插入图片描述 大气校正

对Hyperion图像进行预处理用到最多的软件的是 ENVI (The Environment for Visualizing Images),这一遥感影像处理软件是美国ITT公司的旗帜产品,采用交互式数据语言IDL(Interactive Data Language)开发而成。本研究使用的版本是ENVI 5.3.1。

FLAASH是ENVI软件用于大气校正的功能模块,可校正的光谱范围为可见光近红外短波红外,最长可达 3μm。 在这里插入图片描述



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3