本发明是交叉布置经纬度彩色光源及表面形貌检测方法，属于机器视觉领域。

背景技术：

1、3d视觉是目前机器视觉领域的研究热点，随着视觉传感器技术、计算机技术和图像处理技术的发展，3d视觉方法越来越多，精度和成像速度越来越快，一些3d视觉方法已经在工程领域得到了广泛的应用，如tof视觉、激光结构光视觉、投影结构光视觉、散斑激光双目视觉等等。基于光度学的3d视觉方法具有信息丰富，设备简单等优点，因此也是研究者广泛关注的3d视觉方法之一，其中基于aoi光源的视觉方法在电路板焊点的检测中得到了良好的应用。然而，基于光度学的3d视觉也有许多难点有待解决，如3d形貌恢复算法中的不识定问题、标定困难问题、物体表面反射属性的不确定问题等等。

2、就目前经常使用的aoi光源，其只能反映待测表面的梯度大小，而不能反映其梯度方向，具体来讲，无法判断表面形貌是凸起型还是下凹型。而经典的光度立体学恢复表面形貌，需要对视觉系统进行建模，且需要将单色光或彩色光的亮度信息作为表面梯度恢复信息，亮度信号要严重受到环境光和材料表面反射特征的干扰。本发明在aoi光源的基础上引入经度方向的彩色光源，可同时恢复表面的梯度方向，进而可以获得完备的表面形貌信息，且梯度大小信息和方向信息都依靠颜色来编码，信息可靠。

3、本发明在表面形貌检测的方法里采用标定-查表方法来代替传统的建模方法，求取待测目标的表面梯度大小和梯度方法，避免了传统建模方法模型的复杂性和低适应性。同时结合插值法设计了多位置小球标定法，实现大视场的检测任务，克服了传统的单一小球标定的视场问题。

4、传统的表面形貌检测方法针对同种材质只会设计一种标定或者建模方法，往往会忽略同种材质的不同表面状态对于检测的影响，举例来讲，表面的氧化、腐蚀等会改变该部位的反射率，进而使采用标准的恢复方法的手段出现误差。本发明采用深度学习的方法，通过学习同种材质，不同表面状态的图像的表面色度与表面梯度的关系，使遇到不同部位具有不同表面状态的检测目标时，由深度学习模型反求表面梯度，提高了表面形貌检测精度及适用性。

技术实现思路

1、本发明提供了交叉布置经纬度彩色光源及表面形貌检测方法，以解决现有技术的不足，本发明采用的技术方案具体如下：

2、使用交叉布置经纬度彩色光源及表面形貌检测的方法，该方法实现方式为：光源为半球形穹顶，在半球内部经度方向和纬度方向交叉布置了led颗粒光源，其中纬度方向由赤道向北极分别布置蓝绿红或蓝青绿黄红彩色光源，经度方向，等角度分别布置了蓝绿红或蓝青绿黄红彩色光源，led颗粒光源可以替换为扩束的彩色激光光源，或由计算机控制的投影光源，可以根据需要切换颜色。有控制器，对经度光源和纬度光源分时打开，分别采像。相机采集的经度和纬度方向的彩色光源信息即为彩色光源的颜色编码信息。

3、同时，所述的颜色编码，可替换为光源亮度分时编码，然后多组图像组合解码。经纬度方向上各种颜色的光源具有独立开关，可以实现在不同颜色照射下的分时采像，防止颜色混叠，便于更准确的颜色编码。

4、在分时获取纬度光源图像和经度光源图像后，由纬度光源图像的色度可反求得反光表面的梯度大小，由经度光源图像中的色度，可反求得反光表面的梯度方向，由梯度大小和梯度方向可求得反光表面的法线方向，实现物体表面形貌检测。

5、进一步，纬度或经度光源图像的色度与表面梯度大小和梯度方向关系主要由标定小球确定。标定小球放置在基准平面上待检测位置，通过分时打开经度和纬度光源采集图像，定义与视觉系统拍摄方向为z方向，图像行方向和列方向分别为x和y方向，坐标轴零值为圆心。色度和梯度大小关系由纬度图像确认，表示方式如下：

6、

7、

8、其中f为实际空间中相机与被测物体表面的距离；c为色度信息，由r、g、b三通道共同决定；k，η为比例系数；为梯度大小。

9、色度和梯度方向关系由经度图像确认，表示方式如下：

10、

11、arctan(θ)＝η*c (4)

12、其中θ为梯度方向。

13、被测物体表面法向量表示为：

14、

15、其中为被测物体表面法向量。

16、进一步，以上通过单个小球标定和求取表面梯度的方法，可以变为多个小球标定和插值法求取大视场表面梯度，具体作法为在基准平面不同位置放置多个小球，获取不同光源照射下的多帧图像，然后建立不同位置图像色度和小球梯度之间的关系，当待检测目标落在标定小球之外时，用插值的方法求取新位置的关系模型。

17、进一步，标定小球可以根据被测物体材质选取相应的材质，以适应不同的待检测目标。

18、进一步，针对同种材质，不同表面状态的物质，制作对应的标定小球，然后分别建立图像色度和表面梯度之间的关系，并通过深度学习的方法学习图像色度和表面梯度之间的关系，建立二者之间端到端的模型，当遇到不同部位具有不同表面状态的检测目标时，由深度学习模型反求表面梯度。

19、进一步，通过标定小球与待测物体映射关系而形成的以点为目标的检测，可变为以区域为目标的检测，针对不同形貌的区域，用区域分割网络直接建立色度组合与形貌之间的关系模型，在实际检测时，将一个区域看作一个检测整体，实现表面梯度的分类或整体恢复。

20、进一步，特定应用场所的特定形貌缺陷，可采用深度学习方法实现缺陷的检测与边界的定位，深度学习学到的知识可以直接是缺陷知识，也可以是特征知识，如彩虹条的类型和分布，再由特征知识对缺陷类型进行识别。

21、本发明的积极效果是：

22、1、本发明提出了一种表面形貌检测方法，利用经度和纬度方向光源采集的色度或亮度信息及标定小球的色度或亮度信息，求得梯度方向和梯度大小，两者结合求得被测物体表面法向量，该方法相较于一般的光度立体学方法由反射强度恢复表面梯度大小为由色度恢复表面梯度大小，信息更加可靠。该方法将经度光源与纬度光源交叉式融合到一起，避免了图像的位置匹配，设备简单，容易控制，采像速度快。

23、2、本发明可以选择多种光源，编码方式可以根据实际情况选择色度或亮度。使方法的适用场景变广，同时提高了形貌检测精度。如激光光源相对于传统的led光源，具有更好的方向型，投影光源相对于led光源，具有更好的灵活性。

24、3、本发明通过标定查表方式，避免了复杂模型的构件，一种方法可用于多种反射类型材质和表面状态。

25、4、本发明通过深度学习辅助形貌检测，利用深度学习的方法对同种材质，不同部位的不同表面状态建立色度与表面梯度的关系，提高了形貌检测结果。

26、5、本发明针对不同形貌的区域用区域分割网络直接建立色度组合与形貌之间的关系，实现区域检测。该方法提高了形貌检测的可靠性。

技术特征：

1.一种交叉布置的经纬度彩色led光源，其特征在于：光源为半球形穹顶，在半球形穹顶内部经度方向和纬度方向交叉布置led颗粒光源；其中，纬度方向由赤道向北极分别布置蓝绿红或蓝青绿黄红彩色光源；经度方向，等角度分别布置蓝绿红或蓝青绿黄红彩色光源；触发光源通过控制器的触发对经度光源和纬度光源分时打开，相机用于控制器触发时的采像；相机采集的经度和纬度方向的彩色光源信息即为彩色光源的颜色编码信息。

2.根据权利要求1所述的交叉布置的经纬度彩色led光源，其特征在于，led颗粒或者为扩束的彩色激光光源。

3.根据权利要求1所述的交叉布置的经纬度彩色led光源，其特征在于，led颗粒或者为投影光源，投影光源由计算机控制，根据需要切换颜色。

4.根据权利要求1-3任一所述的交叉布置的经纬度彩色led光源，其特征在于，颜色编码，可替换为光源亮度分时编码，然后多组图像组合解码。

5.根据权利要求1-3任一所述的交叉布置的经纬度彩色led光源，其特征在于，经纬度彩色光源中，经纬度方向上各种颜色的光源具有独立开关，实现在不同颜色照射下的分时采像，防止颜色混叠，便于更准确的颜色编码。

6.根据权利要求1-3任一所述的交叉布置的经纬度彩色光源，其特征在于：对于纬度光源，在纬度上色彩变化布置，在经度上均匀布置，对于经度光源，在经度上色彩变化布置，在纬度上均匀布置。

7.根据权利要求1所述的交叉布置的经纬度彩色光源，其特征在于，基于该经纬度彩色光源所实现的表面形貌检测方法如下：在分时获取纬度光源图像和经度光源图像后，由纬度光源图像的色度可反求得反光表面的梯度大小，由经度光源图像中的色度，反求得反光表面的梯度方向，由梯度大小和梯度方向可求得反光表面的法线方向，实现反光表面的三维形貌检测。

8.根据权利要求7所述的交叉布置的经纬度彩色光源，其特征在于，表面形貌检测方法通过小球标定法实现梯度大小和梯度方向的求解；标定小球放置在基准平面上待检测位置，通过分时打开经度和纬度光源采集图像，定义与视觉系统拍摄方向为z方向，图像行方向和列方向分别为x和y方向，坐标轴零值为圆心；色度和梯度大小关系由纬度图像确认，表示方式如下：

9.根据权利要求7所述的交叉布置的经纬度彩色光源，其特征在于，通过单个小球标定和求取表面梯度的方法，变为多个小球标定和插值法求取大视场表面梯度；在基准平面不同位置放置多个小球，获取不同光源照射下的多帧图像，然后建立不同位置图像色度和小球梯度之间的关系，当待检测目标落在标定小球之外时，用插值的方法求取新位置的关系模型。

10.根据权利要求7所述的交叉布置的经纬度彩色光源，其特征在于，表面形貌检测方法，标定小球根据被测物体材质选取相应的材质，以适应不同的待检测目标；

技术研发人员：闫志鸿,李嵩浩,辛田受保护的技术使用者：北京工业大学技术研发日：技术公布日：2024/1/14