肖刚 葛屦:基于深度学习的机器视觉在制造业质量检测中的应用研究|《产业转型研究》专刊报道

您所在的位置:网站首页 视觉检测技术的应用领域有哪些方面的问题 肖刚 葛屦:基于深度学习的机器视觉在制造业质量检测中的应用研究|《产业转型研究》专刊报道

肖刚 葛屦:基于深度学习的机器视觉在制造业质量检测中的应用研究|《产业转型研究》专刊报道

2024-07-10 09:39| 来源: 网络整理| 查看: 265

随着百年未有之大变局的演进,世界不稳定性不确定性的增加,全球产业链、供应链正面临重塑的挑战,商业模式正发生颠覆性的变化。在此大环境下,制造业的数字化、智能化转型已经不是“抢答题”,而是关乎从“中国制造”向“中国智造”转变的“必答题”。2021 年国家相关部委发布了《智能制造试点示范行动实施方案》,探索具有行业区域特色的智能转型升级已经成为制造行业乃至整个社会的重要课题。制造业加快数字化赋能不仅为提质增效创造了条件,提高了企业的投资回报率和生产效率;也有利于企业提升产业链上下游协作配套水平,为提高产业链现代化水平打好基础,加快推动制造强国建设。

作为智能制造的重要一环,视觉人工智能系统广泛地应用于智能消费和智能制造等领域,成效显著,领域不断细分。目前机器视觉产品广泛分布在智能汽车、互联网视频、智能手机、智能安防、智能零售等行业,并且呈现持续增长态势并推动多行业产业链的重构。

在工业制造领域,伴随柔性制造系统的推广以及传感、模式识别等技术的快速进度,针对工业需求的视觉和图像技术逐步成熟,制造业信息获取能力进一步加强,机器视觉配合逻辑控制、运动控制、数据采集、通信网络等其他功能,已能够出色地完成图像识别、检测、视觉定位、物体测量和分拣等工作,特别是将机器视觉技术嵌入工业机器人控制系统,通过精准化的识别和抓取,大幅提高了生产过程的柔性和灵活性,为后续工况监测、质量检验等生产环节提供重要的数据支撑。

     

01

基于深度学习的视觉检测

     

通常所说的视觉检测也就是机器视觉,通过将人的视觉功能赋予机器,使得机器代替人工完成高精度、高密度的工作,其具备非接触、高精度、高速度等特点,广泛应用于产品缺陷识别、测量等领域。工业视觉系统一般包括:光源、镜头、相机、采集卡、图像处理软件、控制器、通讯单元等。通过相机在镜头、光源的辅助下将客观事物的图像进行拍照,然后通过采集卡将图像采集后存放在计算机或服务器硬盘中,图像处理软件利用规则算法将图像切分、计算后得出一定的结果,并将结果用于对产品或设备的检测、测量、控制等。

目前工业中使用的现有技术存在一定的缺点或缺陷:检测设备功能单一,兼容性差,只能针对当前型号的产品进行检测,如果需要不同材质、种类、颜色、特点的产品进行检测时,就会需要对光源、镜头、相机、采集卡、图像处理软件、控制器、通讯单元等进行更换或者修改;单个设备不能实现同时完成所有检测面的检测,需要对产品 360 度无死角检测时,需要设立多个工位对产品不同角度进行图像采集;检测周期长,不能对一款产品进行 360 度无死角检测时在极短的时间内给出结论;换模时间长,更换检测产品时,不能提供敏捷的数据标注、模型训练、模型更新及下发管理模式。

作为神经网络的高阶发展产物,深度学习通过大脑仿生使得计算机从经验中学习知识,根据层次化概念体系理解环境,进而去人化地解决难以形式化描述的任务。深度学习的常用模型主要包括循环神经网络、卷积神经网络和稀疏编码等,主要应用于图像处理、数据分析、语音识别等领域。基于深度学习的产品缺陷视觉检测是一种快速、高效、准确率高的缺陷自动识别方法,借助特征可视化手段对深度学习模型提取到的特征进行可视化分析来检测产品瑕疵,进而精准打标,提升分级模型训练的准确度,实现产品缺陷的高效准确分级,解决注塑工业中外观检测的痛点和难点。

           

系统整体架构

     

基于深度学习的机器视觉系统整体架构如图所示,包括了采集系统、管理及控制系统、质检应用系统、模型更新系统以及边云一体的底层计算集群等子系统,系统架构应适于远距离网络传输和多机房现状。各子系统主要工作和具体内容如下:

采集系统主要负责进行样品各表面图像的采集,并将图像数据上传至边云一体的计算设备。包括整体产线采集流程的设计、工位数量和配置;针对不同检测任务和产品的光学设备模组设计和成像方式设计等。

管理及控制系统主要对光学设备模组进行配置管理,同时负责图像的采集上传。管理控制系统内置针对不同塑件产品类型的光学和不良品规则方案,提供接口给前端进行产线的相应配置。

质检应用系统主要包括图像预处理模块、视觉模型库以及基于物理量测量的规则判定模块。系统首先对图像进行增强、拆分等预处理,根据产品类型、检测任务选择合适的模型对图像进行分析识别,最后再针对具有面积、长度等物理量化标准的缺陷进行计算和判定,最终得到良品或不良品的判定结果,反馈给管理及控制系统。

模型更新系统是对模型进行持续优化和下发部署的管理平台,可以利用产线持续采集的数据,通过标注工具进行标注后,对模型进行训练和优化版本升级。

基于深度学习的机器视觉系统整体架构

C7C9

              系统模块数据及服务流程 机器视觉质检系统包括产线上的成像、运动、显示等前端模块;部署在工控机上的控制模块;部署在机房 GPU 服务器集群上的推理及训练服务模块。 进行检测任务之前,产线工人首先需要通过配置前端对产线进行配置,确定检测的产品种类和业务信息。开始检测后,系统通过成像模块采集图像信息,在工控机上通过简单的预处理,将图像通过 5G 网络传输至 GPU 服务器集群,调用推理服务得到缺陷检测结果,工控机的控制模块对缺陷推理服务返回的结果进行处理后,根据良品、待判、严重不良三种类型通过机械结构对产品进行处理。       同时,采集到的图像信息会以一定策略通过分布式的对象存储服务进行留存,供训练服务调用,从而对模型进行持续优化迭代。训练服务同样部署在 GPU 计算集群上。    

通过前端可视化工具可以对模型和采集的图像进行管理,对产品模板和判定规则进行配置,同时还可以在浏览器上对新采集的样本图像进行标注,用于模型的优化迭代和更新。

              关键技术 ① 表面缺陷算法流程    

A899

图像增强:图像增强就是对图像采集系统采集的产品外观图片进行图像增强,采用定制化图像增强算法,以期调整图像中缺陷和背景的对比关系,使缺陷更为明显,方便后续检测算法处理。

图像切分:原始的大图切分为若干个存在重叠区域的小图。将小图并行送入深度算法模型进行 GPU 计算,以充分利用硬件资源,符合边缘集群部署的服务架构。

缺陷检测:以自研缺陷检测模型为基础,针对产品外观检测任务及光学方案采集的图像特点,进行了模型结构及训练参数的优化,以期构建一个通用的缺陷检测模型。在较小的资源需求下,实现高准确率的缺陷检测。

缺陷后处理:针对不同产品外观,构建定制化后处理流程,对缺陷检测模型的输出进行优化和过滤,在保证低漏失率的情况下,进一步降低误警率。

② 表面缺陷技术选型

以自研缺陷检测模型为基础,针对产品外观检测任务及光学方案采集的图像特点,进行了模型结构及训练参数的优化,以期构建一个通用的产品缺陷检测模型。在较小的资源需求下,实现高准确率的缺陷检测。 ③ 算法评估标准  

6224

8192

     

02

基于深度学习的视觉检测的案例分析

     

              部署方案       基于深度学习的机器视觉质检系统主要由成像模块、机械模块、产线交互模块、一台工控机、一台质检 GPU 服务器和可视化前端构成。

工控机负责调度成像模组和机构完成图片的拍摄,并将图片上传至 GPU 服务器,调用部署在服务器上的算法模型和规则处理程序对缺陷进行识别和判定,最终根据服务返回的识别结果发送给运动机构对应的控制信号。

产线交互模块内置不同产品种类对应的运动参数,在换线时用户可通过 HMI 屏或其他显示设备选择不同的产品进行配置,并将信息同步至工控机和 GPU 服务器。

前端可视化模块采用 B/S 架构,质检人员在对待判产品进行复判时,可在浏览器界面通过产品 ID 等信息查询识别结果、缺陷位置图片、产线缺陷统计数据。

              建设效果      

在笔电外壳注塑件生产环节中,划伤、磕碰、擦伤等造成的外观面缺陷以及结构面的漏装、铜钉不良、结构断裂等缺陷,是工件成型之后包装之前必须检测的细节。某大型注塑企业为国际知名笔电品牌注塑件供货商,为了实现品质控制投资 1200 万元建设多条基于深度学习的机器视觉质检生产线,项目主要建设内容包括:光学方案设计、目标缺陷模型开发和训练、GPU 集群部署、人工智能数据标注、智能质量控制算法云平台开发等。

① 技术效果分析

6D8F

企业通过对基于深度学习的机器视觉质检产线的部署实现对产品质量的严格管控,人工智能缺陷检测平台可根据自身的学习能力自主进化,减少人为影响,理论产品漏检率达 0.01%。

② 投资回收期分析

56A4  

其中,C 为项目总投资,L 为产线数,W 为每条产线工人数,S 为每人每年平均用工成本,T 为项目建设周期,为工作班制。通过工程建设,企业最终实现 60 条生产线的缺陷快速检测,每条线减少 2 名工人,不包括建设期的投资回收期为 0.86 年,包括建设期的投资回收期为 1.86 年。

     

03

总结及发展建议

      相比于传统的手动检测,基于深度学习的视觉检测在产品缺陷检测中应用具有更高效、自动的提取特征能力、突出的抽象和表达能力。然而,复杂的工业生产环境、多种多样的生产工艺等因素,造成注塑品外观缺陷种类和特征各不相同。目前,基于深度学习的产品缺陷视觉检测在行业应用上尚无通用的监测算法,针对不同的应用场景,需要分析设计最优的图像采集和检测方案。目前行业内在缺陷类别方面虽然有诸多研究,但对于检出缺陷等级划分行业性标准的研究开展相对滞后。缺陷等级的划定对于缺陷后处理环节和最终的企业效益来说至关重要,如何种程度进行产品修复、何种程度淘汰废弃等。匹配于不同产品工艺和产品性质而进行分析和设计的图像采集和算法以及如何更高效地使用深度学习技术来提高检测效率和性能,将是行业应用的研究热门和未来的发展方向。

我国智能制造系统解决方案市场仍处于起步阶段,无论是在技术、能力、服务上还是在行业影响力上都还与产业转型的需求存在一定的差距,目前问题主要集中在:企业智能化意识未转型,现阶段产业结构抑制智能制造需求;缺乏核心技术,产品和技术创新不足;产业链配套发展滞后,智能设备核心部件依赖进口;高端复合型人才短缺,制约行业发展;企业尤其中小企业资金渠道单一,融资困难,无法独立支撑企业智能化升级。推进智能制造是复杂而庞大的系统性工程,急需一批有实力能创新的系统解决方案供应商,以及各级政策扶持,通过一系列的配套支持共同解难题、谋多赢、促发展,为企业数字化创新赋能,为产业智能化助力。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3