缺陷检测算法不同于尺寸、二维码、OCR等算法。后者应用场景比较单一，基本都是套用一些成熟的算子，所以门槛较低，比较容易做成标准化的工具。而缺陷检测极具行业特点，不同行业的缺陷算法迥然不同，常见的是对物品表面缺陷的检测，比如工件表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。随着缺陷检测要求的提高，机器学习和深度学习也成了缺陷领域一个不可或缺的技术难点，接下来我会对标准缺陷检测算法、以及半导体行业的非标算法做一个简单分析：

所谓标准，就是不针对行业特点，这里基本分为如下几类：

标准的做法一般都是拿标准的算法块进行组合，以达到缺陷检测的效果，缺陷检测标准流程一般是：

1设置基准图模板——>2当前图模板定位——>3生成仿射变换矩阵——>4旋转平移图像或者区域——>5预处理差分——>6预处理滤波/腐蚀/膨胀——>7Blob检测——>8面积检测

        相对与标准做法，非标的做法就非常多，有些非标的目的是为了减少操作步骤，例如将上面的组合流程变成一个工具，这个我们称之为业务逻辑非标。还有一些非标主要是做图像预处理部分，例如修改一些标准预处理的算子和预处理流程，将瑕疵提取出来。当然，对数学理论掌握程度较高的朋友，会推导理论公式，然后直接实现数学公式达到检测效果。

总的来说，缺陷检测的算法包括：

        标准缺陷检测我觉得用差分法还是蛮多的。顾名思义，差分就是通过对两幅图像或和两个区域作差，来找出其中有差异的区域。处理流程基本就是定位Blob分析+差分或模板匹配+差分的方式，主要用来检测物品损坏，凸起，破洞，缺失，以及质量检测等。两种方式的具体流程如下：

检测流程如下：

流程解析：以标准图像中的灰度值为模板，计算处检测图像的灰度值，并与标准图像作差，灰度值差异越大，则证明检测图像中存在与标准图比有明显灰度变化的区域，即这部分区域就是我们所要筛选出的缺陷区域。

示例分析：提取灰度值明显的缺陷区域

检测效果如下： 没理解的，再列举一些Halcon中的差分例程练练手：

1.检测毛刺（Blob+差分法）—— fin.hdev

2.电路板线路缺陷检测（Blob+差分法）—— pcb_inspection.hdev

3.瓶口破损缺陷检测（Blob+差分法）—— inspect_bottle_mouth.hdev（注意直角坐标系和极坐标系之间的转换）

流程如下：

示例分析：印刷质量缺陷检测（可变现模板匹配+差分法）—— print_check.hdev

ps：里面没用difference做差分，而是用了Halcon为变形模板提供的专门的差分算子：compare_variation_model();

        Blob分析适用于需要整张图都是Roi区域或图像某处Roi区域通过预处理很容易提取出来的情况。而Blob分析没办法定位到图像R区域的时候就需要用到模板匹配了，通过模板匹配（形状匹配或局部变形匹配）定位到图像Roi区域，然后用差异模型去检测缺陷，可以理解为模板匹配 + 差分是Blob分析 + 差分的进阶版，比较容易处理的可以交给儿子Blob分析处理，难的话爸爸模板匹配上。

       傅里叶变换是一种函数在空间域和频率域的变换，从空间域到频率域的变换是傅里叶变换，而从频率域到空间域是傅里叶的反变换。

时域与频域：

信号在频率域的表现：

       在频域中，频率越大说明原始信号 变化速度越快；频率越小说明原始信号越平缓。当频率为0时，表示直流信号，没有变化。因此，频率的大小反应了信号的变化快慢。高频分量解释信号的突变部分，而低频分量决定信号的整体形象。

       在图像处理中，频率反应了图像在空域灰度变化剧烈程度，也就是图像灰度的变化速度，也就是图像的梯度大小。对图像而言，图像的边缘部分是突变部分，变化较快，因此反应在频域上是高频分量；图像的噪声大部分情况下是高频部分；图像平缓变化部分则为低频分量。也就是说，傅立叶变换提供另外一个角度来观察图像， 可以将图像从灰度分布转化到频率分布上来观察图像的特征。书面一点说就是，傅里叶变换提供了一条从空域到频率自由转换的途径。对图像处理而言，以下概念非常的重要。

       由布布丶全权冠名的“ 第一届图像杯拳王挑战锦标赛 "`正式开始，有请：

加强理解：图像噪声一般是白点或者黑点，因为它与正常的点颜色不一样了，也就是说该像素点灰度值明显不一样了，也就是灰度有快速地变化了，所以是高频部分；图像细节处也是属于灰度值急剧变化的区域，正是因为灰度值的急剧变化，才会出现细节，也属于高频部分；所以一般会对信号先进行低通滤波处理，即过滤掉图像中的高频部分（噪声/细节/边缘），留下低频（图像轮廓），结果就是图像模糊了。

ps：图像处理中，有书上说低频反应轮廓，高频反应细节；有的文章里面说低频反应的是背景，高频反应的是边缘；低频反应轮廓，这里的轮廓指的不是边缘(很多人会搞混觉得轮廓是指的就是边缘)，打个比方，近视眼的人摘了眼镜，人们通常会说：“我什么也看不清，仅仅能看到一个大致轮廓。”就是类似的意思。所以图像的边缘提取仍是提起的边缘的高频信息，这两种说法并不矛盾。

总结：低频代表图像整体轮廓，高频代表了图像噪声、边缘和细节，中频代表图像纹理等。

使用傅里叶变换进行频域分析的应用场景：

在Halcon中，使用频域进行检测的思路是先从空间域到频域，在频域中进行适当滤波，选择自己想要的频段，然后再返回到空间域中去，其中有两个步骤是比较关键的：

1. 生成合适的滤波器

 对应的关键算子：

2. 快速傅里叶变换（空间域和频域之间的相互转换）

  对应的关键算子：

两个算子共同点：

这两个算子都可以进行空间域—>频域，频域—>空间域的变换，只需要针对参数Direction分别进行选择，参数'to_freq'是进行的是空间域—>频域的变换，'from_freq'是频域—>空间域的变换

针对参数ResultType，如果是to_freq'，那么ResultType一般选择'complex'；如果是'from_freq'，ResultType一般选择’byte’(灰度图像)。

两个算子不同点：

fft_generic：DC项在频域中的位置可选在左上角（Mode：'dc_edge'）或者原点平移到中心（Mode：'dc_center'）

rft_generic：没有设置项Mode，原点在默认在左上角。

除此之外，fft_image：也可进行快速傅里叶变化(空间域到频域），等价于fft_generic(Image,ImageFFT,‘to_freq’,-1,‘sqrt’,‘dc_center’,‘complex’)

🐨 塑料制品的表面进行缺陷检测 —— detect_indent_fft.hdev

对于处理这种细微的缺陷，也可使用频域处理。该例程的关键就是使用两个低通滤波器，进行相减后构造了一个带阻滤波器（先通过高反差保留让中高频通过，然后通过高斯模糊抑制高频，最终的结果是让中频通过）来提取缺陷分量。

此外，Halcon中关于傅里叶变换的例程还有：detect_mura_defects_texture.hdev

🐒 检测布料表面划痕

🐎 木板划痕检测

       在工业领域，表面检测是一个非常广泛的应用领域。在halcon中，使用增强的光度立体视觉方法，三维表面检测被加强。利用阴影可方便快速的检测物体表面的缺口或凹痕。 使用光度立体视觉方法可在复杂图像中轻松找到表面缺陷 。

算子photometric_stereo详解：

算子derivate_vector_field详解：

🐨 药片外包装破损的检测

Halcon案例：方法-光度立体法- inspect_blister_photometric_stereo.hdev

此外，Halcon中关于光度立体法的例程还有：

1.洗发水瓶身缺陷检测（inspect_shampoo_label_photometric_stereo.hdev）

2.皮革表面缺陷检测（inspect_leather_photometric_stereo.hdev）

例程解析参考：halcon——缺陷检测常用方法总结（光度立体）

参考资料： 1.微信公众号：机器视觉那些事儿 2.https://www.cnblogs.com/xyf327/p/14872873.html 3.http://www.ihalcon.com/read-16432.html 4.https://blog.csdn.net/weixin_38566632/article/details/116377384 6.https://libaineu2004.blog.csdn.net/article/details/105366681 6.傅里叶分析之掐死教程（完整版）更新于2014.06.06 - 知乎 (zhihu.com)； 7.图像的傅里叶变换 8.光度立体