A High

您所在的位置:网站首页 pointnet点云法向量计算 A High

A High

2023-06-15 06:03| 来源: 网络整理| 查看: 265

随着室内空间应用越来越多,室内三维数据语义分割成为众多研究学者研究的热点[1],它是支撑各类智能应用的关键,例如室内导航[2]、室内机器人[3]和增强现实[4]等。点云数据语义信息提取是从杂乱无序的点云中识别与提取要素的过程[5],核心是利用分割算法将整个场景无组织的点云数据划分得到一系列的点云集合,使得每个集合内的点云包含具有相同语义和感知信息的数据,每个点云集合对应场景内某类型的实体,使得点云具有对象化的语义信息[6]。目前,国内外研究人员为了提高室内点云数据的分割精度与处理速度做了大量的工作,但依然存在两个重要的挑战[7-8]:(1)原始点云数据是杂乱、稀疏和非结构化的,且存在数据采集不完整、密度不均匀以及噪声等问题[9-10],导致点云数据分割算法难以泛化到不同的场景[11];(2)现阶段点云分割算法主要是根据颜色和几何特征对点云数据进行分类,这类算法依赖大量的训练数据进行模型学习,而室内空间物体结构复杂且多样,当前的算法容易出现适用性低、稳定性差等问题[11]。

目前室内三维点云语义分割研究主要包含基于多视图的点云分类、基于体素网格的点云分类以及基于原始三维点云的分类算法3种类型。基于多视图的点云分类算法是将三维点云数据根据三维成像原理从不同角度投影为二维影像,进而基于成熟的二维影像分割算法进行场景的语义分割[12]。这类算法可以使用成熟的高精度的预训练二维卷积神经网络来初始化多视图模型参数,大幅降低神经网络训练的难度,同时可以避免三维空间中空心物体、非流体几何等三维几何问题的影响。例如MVCNN(multi-view convolutional neural networks for 3D shape recognition)[12]是首个多视图三维物体识别的深度神经网络,通过视图信息共享的卷积神经网络对每一个视图都进行二维影像特征提取,然后基于多视图的最大池化层将提取到的多视图特征信息融合为一个全局三维物体特征信息来实现全局三维物体特征分类。GVCNN(group-view convolutional neural networks for 3D shape recognition)[13]与Dominant[14]框架是在MVCNN基础上的改进,利用分组的方法对多视图特征进行融合,再进一步利用视图间的相似性提高识别准确率。然而,这类方法需要强大的GPU(graphics processing unit)进行数据训练,且无法顾及三维空间中的所有特征。因此,部分研究针对三维点云体素表达从三维空间对场景进行特征学习。与点云和多边形面片不同,每个体素在立体网格中都有一个规则排列的索引。该方法将二维卷积神经网络拓展为三维卷积神经网络,可以直接应用于三维体素卷积。RotationNet[15]方法融合物体识别和视角估测两个目标函数进行语义识别神经网络的搭建,并且增加各视图的信息作为隐含变量参与神经网络的训练学习。3D-ShapeNets[16]是第一个采用该思路的神经网络模型,该网络以立体体素网格上的二值变量(体素是否存在物体)的空间分布来表达一个三维形状。VoxNet[17]利用浅层三维卷积神经网络处理体素化的三维点云数据。ORION(orientation-boosted voxelnets)方法[18]是在VoxNet的基础上增加了对物体旋转方位进行估算的子目标,增加该子目标可以提高语义识别的准确率。然而,体素的处理时间和存储占用资源会根据其分辨率大小呈现立方次幂增长,大部分早期研究的方法只能用于低分辨率和浅层的神经网络学习。因此,OctNet方法[19]提出对三维立体网格使用不平衡八叉树进行划分,以解决三维立体网格中有效体素的稀疏问题,该方法可用于更高分辨率和更深的神经网络训练。

上述方法在特征计算过程中依然存在特征损失问题,近年来,大量学者研究如何利用原始点云进行特征学习和语义分类。PointNet算法[11]是第一个基于三维点云的神经网络模型,该网络首先使用多层感知机(multilayer perceptron,MLP)学习每个点的特征,然后利用对称函数获得全局的物体描述子。PointNet++[20]在Point-Net的基础上加入了层次化的特征提取结构。它提出将整个点云分割为数个局部分组的集合抽象层,这个集合抽象层与卷积神经网络中的卷积层作用相似,通过融合数个集合抽象层最后输出特征的感受野。与PointNet++的思路不同,KCNet[21]则使用图池化层和核相关性来挖掘点云中的局部特征信息。与KCNet的目的相似,Kd-Net[22]首先基于输入点云构建一个Kd(K-dimensional)树,然后从叶节点到根节点自底向上进行层次化的特征信息提取。然而,由于室内结构复杂程度高,数据本身容易存在数据遮挡,且训练数据集难以获取等问题,目前的室内三维点云语义分割方法训练时间长,难以达到理想的分类精度。

针对上述问题,本文提出了一种超体素随机森林与长短期记忆(long short-term memory,LSTM)神经网络联合优化的室内点云高精度分类方法。该方法基于超体素具备内部特征一致性的特点,对原始点云进行超体素划分,并以超体素为基本单元进行特征计算,搭建室内点云超体素随机森林分类模型,实现点云数据的粗分类。在此基础上,引入LSTM[23]对粗分类的超体素邻域连接关系进行神经网络模型训练与预测,实现超体素粗分类结果的优化。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3