OpenMV 图片对象(目标识别基础)

您所在的位置:网站首页 cross如何读 OpenMV 图片对象(目标识别基础)

OpenMV 图片对象(目标识别基础)

2023-08-29 05:24| 来源: 网络整理| 查看: 265

背景介绍:

Sugar 在《图像处理基础》一文中说过:“OpenMV 在图像里做目标识别的过程就是:不停地取出画面里的每一帧图像,在图像里的每一帧画面上找目标的过程。”

本篇就说一说 OpenMV 怎样在一帧画面上识别目标的。

image 模块

上一篇《从 hello world 读懂 OpenMV 怎样玩》中说到 OpenMV 通过 sensor.snapshot() 从摄像头获取一帧图像,也就是一张当时的图片。得到这个图片后,就可以通过 image 模块里的方法处理图片了,原因是:

通过官方文档可知:sensor.snapshot() 返回一个 image 类的对象。要使用 image 模块提供的方法,按 Python 的规矩就要:

import image

image 可以在当前的图像帧上做各种各样的操作,下面先说一说要进行这些操作需要的基础知识。

像素坐标

OpenMV 的像素坐标系如下:

与其他(OpenCV 等)图像处理系统一样,像素坐标系的原点在图像的“左上角”,x、y 轴的正方向如上图。

image 模块方法示例:打标记

一、 API 介绍

1、image.clear() 清除图像帧上的所有像素点;

2、image.draw_rectangle(x, y, w, h) 以 (x, y) 为起点,画宽 w 高 h 的方形。

二、代码及现象

通过这个示例,非常直观地感受到了 image.clear() 的作用:消除了整个图像帧的像素,把图像变黑了。如果我们想保留图片,在拍摄到的视频画面上画这个方块,那么应该这么写代码:

每获取一帧图像画一个方块,不用擦除之前画的方块,因为每次 sensor.snapshot() 的时候图像帧一更新就把上一次画的方块冲掉了(这里要细细体会一下搞明白哦)。

三、再说两个画画 API 接下来的例子用:

(1) image.draw_cross(x,y) 以像素坐标 (x, y) 为中心画个十字。

(2) img.draw_circle(x, y, diameter) 以像素坐标 (x, y) 为圆心,diameter 为直径画一个圆。

只要了解 Python 的基本知识,对 OpenMV 编程就非常简单,专注点在视觉及图像内容上而非 Python 语法上就对了。如果对 Python 语法还不熟悉的话可以看 Sugar 的 Python 入门系列推文。这里要说明的一点是:就算 Python 语法非常简单,作为一种编程语言,学习其语法也会有一段枯燥的时间。这一点从 Sugar 写 Python 入门系列推文的时候阅读量不大就能看得出来。Python 相对于其他语言来讲算是入门阶段相当短的了,只要熬过那么一小段时间,收获将是其乐无穷的。

image 模块方法示例:找色块

一、API 介绍

1、image.find_blobs(Lab色彩空间下的阀值元组)用于寻找当前图像帧里的目标色块,官方 API 是这样写的:

2、sensor.set_auto_whitebal(False) 关闭自动白平衡。

这是个 sensor 模块的设置,之所以放在这里说是因为这个设置与寻找色块相关,官方文档里是这么说的:

Sugar 对艺术略知一二并不精通,如果问“自动白平衡”是什么,还是下面这两位大佬解释得好:

艺术大佬一,来自知乎,请手动搜索下图中的标题:

艺术大佬二,直接点这个题目《咳咳咳!你真的搞懂白平衡了吗?》

Sugar 的做法是:官方文档让关咱就关了,不多问。哈哈,别学 Sugar 这样不求甚解啊,多了解是好的。

二、image.blob 类介绍

上面的 image.find_blobs() 返回一个 image.blob 对象,下面就来看一下这个对象里都包含哪些信息。

信息含意corners从左上角开始顺时针方向,色块 4 个角的 (x,y) 像素坐标min_conrners这个目前没搞明白先不解释rect以 (x,y,w,h) 形式返回色块的边界框信息x色块边界框的 x 像素坐标y色块边界框的 y 像素坐标w色块边界框宽的像素个数h色块边界框高的像素个数pixels色块里包含的像素点个数cx色块中心的 x 像素坐标(整型)cxf色块中心的 x 像素坐标(浮点型)cy色块中心的 y 像素坐标(整型)cyf色块中心的 y 像素坐标(浮点型)rotation长条形色块的旋转角度,0~PI 弧度,对圆形色块无用rotation_deg以“度”为单位返回长条形色块的旋转角度rotation_rad同 rotation,加了 rad 更易识别单位codemerge=True 时才有效,这个目前没搞明白先不解释countmerge=True 时才有效,这个目前没搞明白先不解释perimeter色块周长上的像素个数roundness色块的圆度,0~1 之间,圆是 1elongation色块的线条度,0~1 之间,线是 1area色块的面积,即:w*hdensity色块边框区域内像素点的数量,0~1之间,较低说明对象锁定不太好extent同 density,就是换个名字而已compactness类似 density,区别是使用色块周长来衡量对象的密度,也是 0~1 之间solidity类似 density,区别是使用最小面积旋转的矩形相对于边界矩形来测量密度,也是 0~1 之间convexity色块的方度,0~1 之间,正方形是 1x_hist_bins色块中所有列的 x 轴直方图,Bin 值在 0 和 1 之间缩放y_hist_bins色块中所有行的 y 轴直方图,Bin 值在 0 和 1 之间缩放major_axis_line色块主轴像素点的元组,贯穿最小面积矩形最长边,可以用 image.draw_line() 绘制minor_axis_line色块次轴像素点的元组,贯穿最小面积矩形最短边,可以用 image.draw_line() 绘制enclosing_circle包围色块最小面积矩形的圆的像素点元组,可以用 image.draw_circle() 绘制enclosed_ellipse包围色块最小面积矩形的椭圆的像素点元组,可以用 image.draw_ellipse() 绘制

三、代码及现象

图上的代码不长,一张图片看得全就不把代码单摘出来了,相信愿意实践的读者可以照着打出来。这里点一处考察 Python 能力的地方:如果去掉代码里 if len(blobs) > 0: 这个条件,则运行会在某个时候报错。问题有三个:

1、会在什么时候报错?

2、报什么错,为什么报这个错?

3、可否用 if blobs: 代替 if len(blobs) > 0:?

如果答不上来或答不全,请到 Sugar 写的 Python 入门系列推文里巩固一下 Python 基础。

PS

颜色阀值的提取使用的是 OpenMV IDE 的一个工具,如下图:

用法不细说了,网上搜一搜或者用鼠标在弹出窗口上拉一拉就知道。

关注作者

欢迎扫码关注我的公众号MultiMCU EDU。

提示:在公众号“关于我”页面可加作者微信好友。 喜欢本文求点赞,有打赏我会更有动力。


【本文地址】


今日新闻


推荐新闻


    CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3