本实验使用数字图像处理的基本方法，构建了一个车道线检测模型。该模型可以识别图像中所有的车道线，并得到完整的车道线信息。模型在tuSimple Lane Dataset大小为100的数据子集进行了测试，达到了较好的结果。

实现车道线检测，主要包含两部分操作

模型的处理流程如下，

通过对道路图像进行处理，突出图像中的车道线部分。模型将彩色图像转化成灰度图像进行处理，目的是简化模型的复杂度，提高运行效率。

由于光照、路面情况、拍摄质量等问题，道路图像上存在很多噪声，通过高斯滤波使图像变得平滑，减弱图像中的噪声对结果的影响，提高车道线检测模型的鲁棒性。

高斯平滑就是使用高斯滤波器与原图像进行卷积，得到平滑图像。与均值滤波类似，它们都是取滤波器窗口内像素的加权均值作为输出。高斯滤波器的权值分布满足二维高斯函数。 由于高斯平滑是线性离散滤波，因此离散形式的高斯滤波器为 本实验采用 3 × 3 3\times3 3×3 的高斯滤波器。具体实现为定义 Kernel 类实现通用的卷积操作，定义派生类 GaussianKernel 实现不同 size 和 σ \sigma σ 高斯滤波器的构建的运算，实现接口如下：

在实验过程中，我曾尝试采用以下方法进行边缘提取的方法。由于在图像中车道线的灰度值较大，因此我设计了一种参数自适应的阈值分割算法，把车道线从图像中抽取出来。具体方法如下：统计图像的灰度分布，选取整体灰度分布相应比例对应的灰度值作为阈值，对图像进行二值化。效果如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a9a0UvjK-1670900636136)(./result/image_of_readme/binary.png)]

可以发现，通过阈值分割有效的过滤掉了大部分背景，如山脉、路面、车辆，这为下面的直线检测去除了一定的干扰。但是由于部分图像存在反光或较亮区域，这导致一些车道线丢失，或特征不再明显，如下图。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N2a9RWS9-1670900636136)(./result/image_of_readme/binary_failure.png)]

虽然可以通过求图像梯度的方法将大面积的高亮度区域滤除，但是直接将原图转成二值图像处理，会丢失车道线的细节信息导致结果车道线信息不完整。因此舍弃该方案。

最终采用基于图像梯度的边缘提取方法——Canny算法。Canny主要包含三个步骤：

（1）Sobel 算子计算图像梯度

灰度图可以看做灰度值 h ( x , y ) h(x,y) h(x,y) 关于 ( x , y ) (x,y) (x,y) 坐标的二元函数，计算图像梯度可以通过Sobel算子计算得到。​

其中计算 x , y x,y x,y 方向的梯度使用Sobel算子对图像进行卷积

Sobel 算子计算梯度效果如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BovDpe8W-1670900636136)(./result/image_of_readme/Sobel.png)]

（2）非极大值抑制

分析上图发现，由于图像灰度存在起伏，所以有一些不是边缘的区域也存在较大的梯度。采用非极大值抑制（NMS）的方法，消除梯度图像中非边缘的噪声，并将边缘细化。

NMS实现的思路如下：计算每个中心像素点沿梯度方向邻域内各点的梯度值，如果该中心像素点的梯度值是以上像素点梯度值的局部极大值，则保留梯度，否则梯度置为零。由于邻域内在梯度方向上的点不一定是在整数坐标位置，因此需要通过插值计算邻域内梯度方向点的梯度值。实现效果如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4XTJjp2T-1670900636137)(./result/image_of_readme/nms.png)]

一些非边缘的噪点得到了一定程度的抑制，边缘也得到细化。

（3）双阈值检测和边缘连接

需要将得到的梯度图像进行阈值分割，得到二值图以便后续进行hough变换。采用双阈值对图像进行阈值分割，实现思路如下：

双阈值处理中，高阈值将物体边缘和背景区分开，但是当高阈值较大时，可能导致边缘断断续续；此时低阈值平滑边缘轮廓，能实现较好的分割效果。同时借鉴之前尝试对灰度图做阈值分割的思路，采用整体灰度分布相应比例处的灰度值为高阈值，低阈值取高阈值的 2 3 \frac{2}{3} 32​，实现效果如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O7bCWUlC-1670900636137)(./result/image_of_readme/canny.png)]

Canny 边缘提取的实现接口如下：

经过图像的边缘提取，车道线边缘已经从图像中抽取出来。观察边缘图像发现：道路两边的环境复杂，存在很多干扰车道线检测的直线边缘，如天际线、山脉边缘、电线杆、树丛等。同时考虑到道路图像中，车道线集中在图像的中间偏下区域，因此可以仅对感兴趣区域(ROI)进行处理和检测。根据车道线图像特点，采用梯形掩码获取ROI。

观察图像选取了(400, 0) (220, 420) (200, 860), (400, 1280)四个点作为 mask 的角点。mask图像如下

ROI 如下：

hough变换是一种目标检测的方法，可以检测出有明确表达式的图形。hough 变换的基本原理：利用两个不同坐标系之间的变换来检测图像中的直线。将图像空间中的直线映射到参数空间的一个点，然后对参数空间中的点进行累计投票，进而得到参数空间中的峰值点，该峰值点就对应空间坐标系中的真实存在的直线参数。

hough变换中，直线采用极坐标方程表示，因为参数 θ \theta θ 和 r r r 的范围有限，便于以相同步长进行离散化

实现思路：

hough 变换效果如下图：

可以线由于车道线存在一定的弧度并非严格地直线，且存在一定宽度，导致每条车道线都会检测出多条对应直线。可以采用聚类的方法对检测出的直线进行聚类，以得到更精准的效果。

由于 k-means 等聚类算法复杂度较高，影响车道线检测的实时性。所以我设计了一种高效的聚类方案。具体思路如下：根据以两个直线的角度参数距离为相似度函数，遍历hough变换检测出的所有直线参数，如果相似度高于阈值，则认为属于同一类别，该类别大小加一；如果相似度低于阈值，则认为属于不同类别，与下一个类中心点进行比较。如果没有相似的

伪代码如下：

这里相似度函数采用两条直线的角度参数的差值。

一开始选择的更新聚类中心的方法，是取同一类别的平均值，效果不佳。经过尝试最后采用取每个类别的初始值为中心点，实现较好的效果。示例如下：

评测结果对比：

分析原因：由于车道线有一定弧度，导致前半部分和后半部分的车道线参数差距较大。如果降低判定相似的标准，就会导致本不相似的直线求均值，从而使Accuracy较低；如果提高相似的标准就会，导致聚类得到类别很多，从而FP较大；因此采用加权均值更新聚类中心点并不理想。

按照车道线聚类结果中每个类别的大小，对聚类结果进行排序，选择所有聚类结果中规模最大的4个类作为最终确定的直线参数。

代码接口如下：

函数接口如下：

通过 GetLanes 将每个直线参数转换成直线坐标，WriteJson 函数将结果写入json文件，polyLanes 可视化展示车道线。

实现效果如下：

由于只允许使用OpenCV进行图像的读写操作，因此本实验构建了 Img 模板类，作为图像存储和操作的基本数据结构，代码接口如下：

展示图片的plotLanes函数也使用了 OpenCV 框架对图像进行展示。