本说明书一个或多个实施例涉及半导体检测技术领域，尤其涉及一种多目标随机阵列飞拍视觉检测方法及检测系统。

背景技术：

wirebonding称为绑定、键合或丝焊，是指使用金属丝(金线、铝线等)利用热压或超声能源完成微电子器件中固态电路内部互连接线的连接，即芯片与电路或引线框架之间的连接。常见于表面封装工艺，如cob工艺、微电池制造等。wirebonding是封装工艺中最为关键的一步，主要目的是利用金线(au)、铝线(al)或铜线(cu)，把芯片上的pad和基板上finger通过焊接的方法连接起来。金线键合工艺完成后，需要借助光学检测技术确认金属引线的键合效果，包括线高、线共面度和焊接缺陷等。

现有技术中对wirebonding的检测，将aoi视觉软件和运动控制集成在同一设备，通过运动控制来控制产品到位、光源亮起和相机触发拍摄。这种技术中，视觉和运动控制在高并发检测和强算力时会出现系统资源争抢，容易产生异常，稳定性差；同时，aoi从属于上位机设备，导致大部分执行逻辑有上位机主导，控制变更时需要修改上位机底层代码，会影响到视觉检测部分，且整体扩展性差。

技术实现要素：

有鉴于此，本说明书一个或多个实施例的目的在于提出一种多目标随机阵列飞拍视觉检测方法及检测系统，以解决金线模组的检测问题。

基于上述目的，本说明书一个或多个实施例提供了一种多目标随机阵列飞拍视觉检测方法，包括：

产品承载装置将待检测产品移动至图像采集装置的图像采集位置；

图像采集装置对所述待检测产品采用点位启停方式进行连续飞拍，获得所述待检测产品的多帧有序的待检测图像并传输给图像采集处理器；其中，每帧所述待检测图像包括所述待检测产品的至少部分图像；

图像处理装置采用并行的处理方式对所述有序待检测图像进行缺陷检测，获得所述待检测产品的部分缺陷检测结果并发送给上位机；

所述上位机对多个所述部分缺陷检测结果进行处理，获得所述待检测产品的完整缺陷检测结果并展示。

可选的，所述将待检测产品移动至图像采集装置的图像采集位置之前，还包括：采集所述待检测产品的id信息。

可选的，还包括：所述图像采集装置同时执行传输当前帧待检测图像的传输以及下一帧待检测图像的拍摄。

可选的，所述将待检测产品移动至图像采集装置的图像采集位置之前，还包括：基于所述待检测产品上的位置识别点调整所述产品承载装置的位置，以使所述待检测产品与所述图像采集装置的采集视野对齐。

可选的，所述图像处理装置采用并行的处理方式对所述有序待检测图像进行缺陷检测，包括：基于所述待检测产品上的位置识别点以及预先存储的基准图像计算位置偏移量，基于所述基准图像获取基准目标检测单元，基于所述基准目标检测单元及所述位置偏移量获取所述待检测产品的待检测目标单元。

可选的，所述获取所述待检测产品的待检测目标单元之后，还包括：

采用预设的缺陷检测算子对所述待检测目标单元进行检测，获得部分缺陷检测结果；

其中，所述缺陷检测算子通过对典型缺陷类型的分析处理获得，或者基于所述基准图像获得。

可选的，所述采用预设的缺陷检测算子对所述待检测目标单元进行检测，获得部分缺陷检测结果，包括：

获取第一焊点金球的坐标以及芯片焊盘的坐标，计算所述第一焊点金球与所述芯片焊盘之间的第一位置度；

获取第二焊点金球的坐标以及印刷线路板焊盘的坐标，计算所述第二焊点金球与所述印刷线路板焊盘之间的第二位置度；

获取连接所述第一焊点金球、所述第二焊点金球的金线的金线固定轨迹；

基于所述第一焊点金球的坐标、所述第二焊点金球的坐标、所述金线固定轨迹以及预先获取的缺陷检测算子，确定所述待检测目标单元的缺陷位置和缺陷种类。

可选的，所述缺陷种类包括：漏焊、缺焊、焊偏、颈断、焊点偏移、高尔夫球、焊渣残留、焊线翘曲和塌线。

可选的，还包括：获取不同光源照射条件下的所述待检测图像。

本说明书一个或多个实施例提供了一种多目标随机阵列飞拍视觉检测系统，用于实现如上述任一项所述的多目标随机阵列飞拍视觉检测方法，包括产品承载装置、图像采集装置、图像处理装置以及上位机；其中，

所述产品承载装置，被配置为：将待检测产品移动至图像采集装置的图像采集位置；

所述图像采集装置，被配置为：对所述待检测产品采用点位启停方式进行连续飞拍，获得所述待检测产品的多帧有序的待检测图像并传输给图像采集处理器；其中，每帧所述待检测图像包括所述待检测产品的至少部分图像；

所述图像处理装置，被配置为：采用并行的处理方式对所述有序待检测图像进行缺陷检测，获得所述待检测产品的部分缺陷检测结果并发送给上位机；

所述上位机，被配置为：对多个所述部分缺陷检测结果进行处理，获得所述待检测产品的完整缺陷检测结果并展示。

从上面所述可以看出，本说明书一个或多个实施例提供的多目标随机阵列飞拍视觉检测方法及检测系统，通过图像采集装置获取检测产品的多帧有序的待检测图像，通过图像检测装置对待检测图像进行缺陷检测，并将检测出的部分缺陷检测结果汇总生成完整缺陷检测结果后通过上位机进行展示，将缺陷检测和运动控制分散开，避免缺陷检测与运动控制在高并发和强算力时会出现资源争抢，降低故障率；缺陷检测由图像检测装置自行实现，变更时无需修改上位机底层代码，不影响视觉缺陷检测部分，扩展性好。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例金线模组的结构示意图；

图2为本说明书一个或多个实施例多目标随机阵列飞拍视觉检测方法的流程示意图；

图3为本说明书一个或多个实施例图像采集处理示意图；

图4为本说明书一个或多个实施例待检测目标单元示意图；

图5为本说明书一个或多个实施例待检测目标单元的缺陷检测示意图；

图6为本说明书一个或多个实施例多目标随机阵列飞拍视觉检测系统的结构框图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如背景技术部分所述，wirebonding的焊接方式有热压焊、超声键合和热超声焊等。以热超声焊为例：主要材料为金线，成分为99.99％的高纯度金，线径一般为0.8mil，1.0mil，1.3mils，1.5mils和2.0mils等。利用超声振动提供的能量，使金丝在金属焊区表面迅速摩擦生热，产生塑性变形，破坏金属层界面的氧化层，两个纯净的金属界面紧密接触，在钢嘴压力作用下，达到原子间紧密键合，形成牢固的焊接，从而得到绑定后整板的金线模组，如图1所示。通过光学检测技术确认金属引线的键合效果时，键合线的测量需面对金属线反光，线细(通常为20-40微米)，以及测量精度要求高等挑战。

然而，现有技术中所采用的aoi视觉检测方法，算法封装在底层，导致参数逻辑步骤不清晰、且调参可视化差，极依赖人眼经验；同时由于基于基础算法，因此为了迎合速度采用低分辨率成像、简易算法、性能折扣，检测项过少，或者局限在特定场景下，解决特性问题、对目前工厂环境下的适应较差。

基于上述原因，本说明书的一个或多个实施例提供一种多目标随机阵列飞拍视觉检测方法，如图2所示，所述检测方法包括：

步骤s101，产品承载装置将待检测产品移动至图像采集装置的图像采集位置。

本步骤中待检测产品为金线模组，产品承载装置为夹持装置。首先，通过导轨的粗定位，将金线模组移动至检测区域，再通过夹持装置将金线模组移动至图像采集装置的图像采集位置进行图像采集。

步骤s102，图像采集装置对所述待检测产品采用点位启停方式进行连续飞拍，获得所述待检测产品的多帧有序待检测图像并传输给图像采集处理器；其中，每帧所述待检测图像包括所述待检测产品的至少部分图像。

本步骤中，图像采集装置可以为aoi相机；采集图像时，产品承载装置的位置不动，图像采集装置从起始位移动，基于上位机提供的导航轨迹对待检测产品进行高速点阵飞拍，从而获得多帧有序的待检测图像，并将待检测图像传输给图像采集处理器。其中aoi相机为12m高帧率彩色相机，aoi相机的运动机构采用点位启停方式搭载aoi相机做飞拍，即运动机构在相机曝光完成后即可移动到下一点位继续拍摄。

步骤s103，图像处理装置采用并行的处理方式对所述有序待检测图像进行缺陷检测，获得所述待检测产品的部分缺陷检测结果并发送给上位机。

其中，图像处理装置搭载图像检测系统，内置图像检测算法，可以对基于待检测图像对待检测产品进行缺陷检测。图像处理装置可以为工业个人计算机(industrinlpesonalcomputer，ipc)。本实施例中，如图3所示，图像采集装置支持在流程间、相机内、状态间的八核十六线程的并行多线程检测，图像采集装置每采集一帧待检测图像即将其传输给图像处理装置，由图像处理装置内部进行并行检测，即图像采集装置同时执行传输当前帧待检测图像的传输以及下一帧待检测图像的拍摄，从而提高检测效率，避免资源之间相互竞争。图像处理装置内部的线程数量可自由配置和自由竞争动态分配，从而实现后台资源自适应。

步骤s104，所述上位机对多个所述计算机的所述部分缺陷检测结果进行处理，以获得所述待检测产品的完整缺陷检测结果。

在本步骤中，上位机将全部的部分缺陷检测结果进行汇总，并筛选出从属于同一待检测产品的部分缺陷检测结果，依据上位机的展示要求进行展示，以供检测人员查看。同时，上位机可以提供基于缺陷判定结果向图像的追溯和关联显示、实现逐个历史产品检测结果的切换预览，显示隶属于当前待检测产品的图像、算子执行属性和判定结果、数据、状态和流程结果信息等。

本说明书实施例所述多目标随机阵列飞拍视觉检测方法，通过图像采集装置获取检测产品的多帧有序的待检测图像，通过图像检测装置对待检测图像进行缺陷检测，并将检测出的部分缺陷检测结果汇总生成完整缺陷检测结果后通过上位机进行展示，将缺陷检测和运动控制分散开，避免缺陷检测与运动控制在高并发和强算力时会出现资源争抢，降低故障率；缺陷检测由图像检测装置自行实现，变更时无需修改上位机底层代码，不影响视觉缺陷检测部分，扩展性好。

可选的，上位机还可以基于缺陷判定结果的焦点向图像追溯和关联显示、实现逐个历史产品检测结果的切换预览，显示隶属于当前产品的图像、算子执行属性和判定结果、数据、状态和流程结果信息等。

可选的，本实施例所述检测方法还可以用于miniled、microled、array阵列等行业应用的缺陷检测。

在本说明书的一个或多个实施例中，步骤s101中产品承载装置将待检测产品移动至图像采集装置的图像采集位置之前，还包括：采集所述待检测产品的id信息。本实施例中，在采集待检测图像之前，先通过usb扫码枪对待检测产品上的id条码进行扫描以获得待检测产品的id信息，并将该id信息发送给各个图像采集装置，图像采集装置可基于该id信息可以确定待检测产品的类型、型号、身份id等特征。类型、型号等数据可确定后续检测时所调用的模板等数据。身份id可用于确定当前待检测产品的身份，后续获得的待检测图像、部分缺陷检测结果均会包括该id信息，以便于图像检测装置可基于id信息识别出从属于同一待检测产品的部分缺陷检测结果，并基于id信息将部分缺陷检测结果汇总生成完整缺陷检测结果。

可选的，步骤s101中产品承载装置将待检测产品移动至图像采集装置的图像采集位置之前，还包括：基于所述待检测产品上的位置识别点(mark点)调整所述产品承载装置的位置，以使所述待检测产品与所述图像采集装置的采集视野对齐。本实施例中，当待检测产品的整体位姿发生偏移时，图像采集装置基于待检测产品的位置识别点(mark点)及预先存储的基准图像确定待检测图像中待检测产品的位姿偏移量，之后基于该位姿偏移量调整产品承载装置的位置，从而实现产品承载装置的精定位以及硬限位，使得待检测产品的位置精度