在python中使用openvino加速部署模型

您所在的位置:网站首页 openvino部署到其他电脑上 在python中使用openvino加速部署模型

在python中使用openvino加速部署模型

2024-05-28 04:36| 来源: 网络整理| 查看: 265

说明: 今天咱家心情不好,咱就事论事得往下一步步的走,不开玩笑的

1、配置openvino运行环境:

如果只在python中去调用openvino的API,配置方法就和你双手画个八字一样简单,放羊娃都会的命令:

pip install openvino

如果你嫌装的慢,就换一个镜像安装,由上面的命令变成下面的命令,注意,我本来不想废话的,但有些杠精他总是来杠,那这样的话是先上面命令再下面吗?… 我都说得很清楚,“由上面的命令变成下面的命令”,不然你看那天上飘的是什么?命令如下:

pip install openvino -i https://pypi.tuna.tsinghua.edu.cn/simple

好了,那么现在环境已经配置好了,说道这里,我又想说,有的杠精你跑到环境1装了openvino,却跑到环境2去检查是不是装了openvino,然后说:没有装上啊,装不上啊,博主你骗我啊等等。此时此刻,我丹田下的一股子气,直接往嗓子眼冒,你说你脑子被门夹伤了,然后跑到医院去,让医生去检查你的脚,事情本身不大,但你的脚臭味太浓了,幸好你不在我身边。

2、模型部署

我想说,模型部署按照模型的格式,分为两种(说到这里,杠精们又来了:啊,不对,有好几种格式,我想说亲亲,哎,冤孽,不解释了算了,你看天上飞的那是啥),分别为onnx和IR格式两种,咱就先按照这两种方法展开来讲。(注意,以下两种方法,什么意思勒,就是他们就像并行的桥梁,每一个都可以过,只要一种就能实现模型的并行推理) (1)onnx格式推理。我不想啰嗦,代码如下:

import time import cv2 import numpy as np from openvino.runtime import Core def input_images(): image_filename = 'the input images ' image = cv2.cvtColor(cv2.imread(image_filename), cv2.COLOR_BGR2RGB) resized_image = cv2.resize(image, (224, 224)) resized_image = resized_image/255.0 input_image = np.expand_dims(np.transpose(resized_image, (2, 0, 1)), 0) # normalized_input_image = np.expand_dims(np.transpose(normalized_image, (2, 0, 1)), 0) return input_image class OpenvinoInference(object): def __init__(self): self.onnx_path = 'your onnx model!' ie = Core() self.model_onnx = ie.read_model(model=self.onnx_path) self.compiled_model_onnx = ie.compile_model(model=self.model_onnx, device_name="CPU") # print(compiled_model_onnx) self.output_layer_onnx = self.compiled_model_onnx.output(0) def predirts(self,datas): predict_data = self.compiled_model_onnx([datas])[self.output_layer_onnx] return predict_data if __name__ == '__main__': normalized_input_image = input_images() model = OpenvinoInference() start_time = time.time() out_data = model.predirts(normalized_input_image)

各路神仙是否看到,里面一个类,一个函数。函数就是读数据的,你随便搞。类才是初始化引擎,加载模型的。这里面的思路是,首先加载了onnx格式的模型,然后,进行了编译,编译好之后再去推理。各路神仙注意 (2)IR格式模型的部署 寡人骂人骂累了,改天再写,爱赞不赞,别想白嫖。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3