（一） 项目简介（200字以内）

里程计任务作为SLAM技术的前端，旨在通过传感器所获取的连续两帧图像或点云数据还原机器人本体的运动位姿。其在无人驾驶、机器人导航等领域得到了广泛的应用。本次大创项目基于一种投影感知的新算子方法，融合二维图像的丰富纹理信息以及三维点云的精准坐标信息来完成里程计任务。我们希望通过两种不同表征信息的融合统一更有助于增加估计位姿的准确性与鲁棒性。最终我们将在KITTI数据集上进行精度与效率评估，从而验证方案的可行性。

（二） 研究目的

里程计（Odometry）是利用固定在机器人上的相机系统获取环境的图像信息，进而计算机器人位置姿态信息的装置。具有定位精度高、不易受恶劣路况（如打滑路面）影响、鲁棒性好等优势，因此现如今被广泛应用在自主导航系统的精确定位、无人机的位姿计算和三维地图创建等方面。我们发现使用单一传感器获取的信息进行无人驾驶的定位任务总有不足之处：单目或双目相机获取图像受光照条件影响较大；深度RGBD相机虽然可以直接获取深度信息且精度较高，但在雨雪环境下效果并不好。基于以上背景，本项目的主要目的是：

1、利用PyTorch深度学习框架，针对里程计任务，设计并搭建全新的深度定位网络。

2、优化现有的点云特征提取方法，追求更高的定位正确率和点云处理效率。

3、设计融合二维三维信息的网络模块，实现两者之间的相互促进和优化，从而得到两种信息的各自优势。

（三） 研究内容

本项目的重点在于如何使得二维图像信息与三维点云信息进行紧耦合，其中二维三维融合的具体方法，网络结构及其参数设计应为关键。接下来将分别从KITTI数据集读取、模型网络设计、二维图像与三维点云融合算法设计、点云处理可视化、模型训练与参数设置等几个方面进行阐述。

1、点云与图像数据读取：为测试本次毕业设计网络性能，我们将在无人驾驶领域最为广泛运用的KITTI数据集上进行实验验证，其中00-06序列作为训练序列，07-10序列作为验证序列。本项目不仅会分别进行点云与图像读取，而且需要有效区域外点云信息去除，以及返回数据集读取序列的总长度。

2、点云特征提取：不同于利用Pointnet++进行原始点云的下采样，我们希望设计一种更加高效，可针对大范围场景点云进行特征提取的算子，实现点云的高效采样与特征表征。

3、二维三维融合算法设计：如何设计二维三维紧融合的方法是本次毕设重点。我们希望设计一种二维图像与三维点云的融合算法将两种模态信息充分互补利用，实现两种传感器的特征紧耦合，同时希望整个网络的训练速度以及里程计精度能够达到前沿水平。

4、更进一步的研究内容为：探索具有普适性的点云图像特征学习网络，进行更复杂任务的探索与实现。本项目还将基于以上研究内容的实验结论，进一步探究融合特征学习网络的一般性、普适性的规律，将实验的发现结论推广至除里程计以外的更为广阔的应用领域。

（四） 国、内外研究现状和发展动态

国内外研究现状：

根据整个里程计系统中激光雷达与视觉相机发挥作用的程度不同，可以分为三大类技术路线：视觉辅助激光、激光辅助视觉与激光视觉相互辅助三大类。

视觉辅助激光这一方法，通常是在位姿估计阶段通过构建激光特征的变换误差和视觉重投影误差联合优化函数来提高位姿估计的鲁棒性，也有学者通过视觉引入环境的语义信息（针对动态环境），然后构建更加精确的二维栅格地图用于机器人定位导航。

激光辅助视觉的一代表LIMO模型，是通过把激光点云投影在像平面上再估计出视觉特征的绝对尺度，然后再做视觉里程计。激光只起到一个辅助作用，并不利用ICP算法或进行基于激光点云匹配的位姿估计。

目前比较热门的另一研究方向是从视觉相机和激光雷达两者上联合为整体，得到性能上的综合最优。其中比较典型的一种方案是V-LOAM模型，其核心算法主要分为两大步。首先利用视觉里程计进行帧间估计以及对点云的初步配准，这一步保留了视觉相机的高频率特性（60HZ），得到了初步的相机位姿；然后利用雷达里程计的scan matching功能进行低频（1HZ）精炼，得到精确的相机位姿，同时处理了前一步骤中视觉里程计的漂移现象以及由于连续移动中点云产生的畸变，并利用此相机位姿进行了精准建图以及后续的位姿优化。

发展动态：

用于点云特征学习的网络在提取特征以及点云与图像的融合方面逐渐由简单变为复杂设计，使得特征提取与融合更加全面。同时在两种信息耦合程度上不断进步，从开始的某一信息进行辅助到现在的两种信息用统一模块深耦合。此外，实验精度在一步步的提高，耦合所占用时间逐步减少。

（五） 创新点与项目特色

本项目的创新点主要由以下四点：

1、改进传统的点云特征提取算法，用全新的采样和池化方法进行点云的特征提取与处理。设计新的卷积算子，用于点云空间特征的采集。

2、结合图像和点云两种模态信息，两种信息的融合会加强里程计的整体准确度。

3、结合图像与点云的联合信息处理，提出并设计处理点云信息的普适性神经网络。

（六） 技术路线、拟解决的问题及预期成果

技术路线：

1、 针对传统点云特征提取方法随机性较高，采点不均匀的问题，本项目拟改变传统的采样形式，设计一种全新设计的球形特征提取算子。该算子将可以将点云数据的特征密度纳入采点的考虑范围之内，以此来实现更精确更全面的点云特征提取。

2、 采样算子的设计工作完成之后，本项目将利用该算子进行点云特征的提取。并且将在现有的针对图像特征提取的网络基础上设计本项目的图像特征提取方式。

3、 接下来是本大创项目的重点，即怎么通过点云与图像的融合提升里程计精度与效率。具体的思路是通过将提取到的特征图中每一块的图像与点云都进行融合，利用注意力机制来学习融合权重。

4、 整合上述研究结论，并且根据现有的研究成果进一步优化网络模型，将分层优化、多层监督等神经网络设计思想应用在所设计的网络模型上。同时，在神经网络的训练效率、GPU显存占用率等方面入手，进一步改善网络，达到更好的训练效果。

5、 进行实验测试，验证我们方案的合理性与精度提升情况。在有条件情况下，可以将其拿到实际无人驾驶车辆的定位情形之中，测试其实际运行情景下的泛化能力。

预期成果：

在现有的公开评估数据集上，使用本项目搭建的二维三维融合神经网络训练模型能够超过现有已发表论文的研究结果，实现定位准确率的提高。此外，本项目预期设计搭建能适用于多种任务的点云特征学习网络，实现点云数据处理各任务的相互促进与优化。

发表一篇期刊会议论文，或者申请一项国家发明专利。

（七） 项目研究进度安排

2022.10--2022.11:确定选题与分工，收集并阅读相关国内外文献，开展项目的初步调研。

2022.11--2023.1: slam基本原理的掌握学习、PyTorch深度学习框架的学习、python编程语言的熟练应用。

2023.2—2023.4：设计点云高效特征提取网络，以及图像特征提取方法。

2023.5—2023.7: 设计并编写图像与点云特征融合算法、并实现其在里程计任务上的成功应用。

2023.8—2023.9：调试网络结构，设计参数使得实验结果进一步优化，能够超越绝大部分当前相关领域的研究结果。

2023.9—2023.10：整理实验结论，撰写相关论文并投稿相应的会议期刊。

（八） 已有基础

1. 与本项目有关的研究积累和已取得的成绩

现有一篇相关点云里程计文章在投，设计的点云高效特征提取算子可以在大场景范围下应用。

2. 已具备的条件，尚缺少的条件及解决方法

已具备的条件：

（1）掌握python编程语言基本功能；

（2）对现有的视觉激光融合算法具有初步的调研；

（3）对于PointNet++和PWCLO-Net已具有初步的了解。

（4）针对相关文献一些开源代码进行了一定研究。

尚缺少的条件与解决办法：

1、 缺少更加准确、高效的特征融合算法。

解决方法：这是整个项目的重点研究问题，项目进行过程将主要围绕这个问题进行反复的算法编写与尝试。

2、利用快速特征提取方法网络迁移时，对不同网络层中点云数据处理后的结果进行与视觉的融合效果不同。

解决措施：对网络整体结构具有初步的设计与度量，设计后再进行融合结果的评估，使得设计得到的网络能达到最紧密融合效果。

3、可能得到的融合里程计在KITTI数据集的测试结果，并不能达到满意结果。

解决措施：不断进行算法模型与参数的优化迭代，设计多种训练集验证集与测试集方式，最终得到性能最优的里程计模型。