【深度学习】【Atlas 200DK】YOLOv3和YOLOv5部署

您所在的位置:网站首页 yolov5和yolov3比较 【深度学习】【Atlas 200DK】YOLOv3和YOLOv5部署

【深度学习】【Atlas 200DK】YOLOv3和YOLOv5部署

#【深度学习】【Atlas 200DK】YOLOv3和YOLOv5部署| 来源: 网络整理| 查看: 265

【Atlas 200DK】YOLOv3和YOLOv5部署 数据集介绍开发板环境搭建YOLOv3的部署模型训练转换服务器上的结果开发板上的结果python部署c++部署 YOLOv5的部署模型训练转换服务器上的结果开发板上的结果python部署c++部署 遇到的问题

数据集介绍

无论什么数据集开发版移植的流程是差不多的,我们使用的数据集是NWPU VHR-10 Dataset,这是由西工大标注的航天遥感目标检测数据集,该数据集有650张包含目标的图像和150张背景图像,共计800张,目标种类包括飞机、船舰、油罐、棒球场、网球场、篮球场、田径场、港口、桥梁和汽车一共10个类别,为了满足项目要求,将四个篮球场归为一类,所以本项目实际类别有7个类别。我们进行数据增强扩充后总共有2130张,训练集有1420张,下面统计了每一个类别的个数:

类别飞机船只油库操场港口桥梁车辆数量337893071824187983742254

在这里插入图片描述

开发板环境搭建

我们所使用的版本是C73,这个版本是和20.1.rc1兼容的,华为推出了1.3.0.0、1.32.0.0、20.0.RC1、20.1.rc1四个版本。20.1.rc1版本是华为基于全新架构打造的最新版本,更易于开发者阅读、了解、开发属于自己的AI代码。按照以下链接可以完成环境的搭建: 环境搭建教程

YOLOv3的部署 模型训练转换

YOLOv3 source code 因为目前开发板只支持caffe和tensorflow训练的模型的转换,所以我先选用yolov3先训练了一个基础模型并且进行部署和测试。将训练好的模型用freeze_graph.py转换成.pb文件,再利用mindstudio将.pb(大概有246.6MB)转成.om(124.2MB)模型,没有经过量化。(界面中Tools下面Model Converter进行模型转换)

可参考mindstudio官方手册

转换参数设置 在这里插入图片描述 在这里插入图片描述 这里的R是255的倒数,通过这些步骤可以将图片自己归一化。

服务器上的结果

显卡型号:Nvidia GTX 1080 ti cuda版本:9.0 (测试参数设置使用的都是默认的,比如score阈值是0.3,IoU阈值是0.45) 在这里插入图片描述

开发板上的结果

部署到开发板上的过程,前期图方便为完成任务主要用python部署,但是很慢很慢离实时还差得远,之后只能用c++部署,其实从一开始就应该用c++部署的,官方给提供了c++示例代码(但是是基于caffe训练的模型),应该先把流程过一遍先明白开发的顺序是怎样的。整个过程遇到了很多困难但也学到了很多,但回顾总体过程,其实在部署的过程中需要完善的代码主要就是前处理和后处理部分,模型推理部分直接可以用芯片的acl接口完成。用python和c++写的代码都放在了我的github上,欢迎给个star✨,谢谢。

python部署

python部署是真的慢,先上速度的结果。10帧每秒😊图片大小为1024x768左右😊 在这里插入图片描述 上精度。总AP有所提高,说是转成的om模型对算子有一定的优化作用。 在这里插入图片描述

c++部署

上速度,65帧每秒,依然是图片大小为1024x768左右。 在这里插入图片描述 上精度(测精度时图方便我还是用的是python的脚本,把c++处理好的结果存成.txt,我已经写好了会自动生成。然后将这些txt文件放到python那个代码里,用mAP/main.py来计算精度。)

先登录到板子上然后进入~/HIAI_PROJECTS/workspace_mind_studio这个目录里面有个文件,再进去,txt文件就在out文件夹下面把这些txt文件移到python那个mAP/predicted目录下在mAP/下运行python3 main.py就可以得到结果 在这里插入图片描述 部署代码链接 YOLOv5的部署 模型训练转换

YOLOv5 source code 项目选用的是YOLOv5s,分支选择的是v2.0,因为该分支训练的模型已经满足我们的精度要求。

噩梦的开始:pytorch->onnx->tensorflow->om

为了确保转模型成功,主要修改3点:

因为开发板不支持focus操作,所以在训练的时候,将focus操作写在数据处理里面(如果不想掉精度,就不要直接用卷积去替换)。 在这里插入图片描述固定上采样参数 yolov5.yaml中将nn.upsample的参数写死成上采样后的大小; yolo.py中,构建模块的时候要对nn.upsample单独处理一下; 在这里插入图片描述修改detect层,将解码的部分放在后处理。 在这里插入图片描述 服务器上的结果

在这里插入图片描述 损失函数改成focal loss精度的确会有所低。

开发板上的结果 python部署 精度 在这里插入图片描述速度 在这里插入图片描述 YOLOv5s的模型要经过pytorch->onnx->tensorflow->om的转换,转换过程可能会出现不必要的算子,导致执行效率和v3相比较低。 c++部署 精度 在这里插入图片描述速度 在这里插入图片描述 感觉很奇怪,前后处理反而变得更慢了,前处理我主要用opencv来实现focus,具体效率差异还有待研究。

部署代码链接

遇到的问题 用Mindstudio进行编译的时候,有libascendcl.so: cannot open shared object file的错误。 解决方法:

使用Mind Studio的安装用户(比如为ascend), 登录到设备 ssh [email protected] 密码默认为Mind@123

输入ps -ef | grep ada,会显示两个进程 在这里插入图片描述

kill掉/var/ada的进程

cd /var 然后输入./ada &重启ada服务



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3