【视频分割】【深度学习】Windows10下MiVOS官方代码Pytorch实现

您所在的位置：网站首页 › windows10有多少代码 › 【视频分割】【深度学习】Windows10下MiVOS官方代码Pytorch实现

【视频分割】【深度学习】Windows10下MiVOS官方代码Pytorch实现

2023-03-23 11:09| 来源: 网络整理| 查看: 265

提示:最近开始在【视频分割】方面进行研究,记录相关知识点,分享学习中遇到的问题已经解决的方法。

文章目录【视频分割】【深度学习】Windows10下MiVOS官方代码Pytorch实现前言MiVOS模型运行1.下载源码并安装环境2.下载数据集和模型权重3.运行MiVOS代码总结

前言

MiVOS是由伊利诺伊大学的Cheng, Ho Kei等人在《Modular Interactive Video Object Segmentation: Interaction-to-Mask, Propagation and Difference-Aware Fusion [CVPR-2021]》【论文地址】一文中提出的模型,模块化交互式VOS（MiVOS）框架将交互到掩码和掩码传播分离，从而实现更高的泛化性和更好的性能。在详细解析MiVOS网络之前,首要任务是搭建MiVOS【Pytorch-demo地址】所需的运行环境,并模型完成训练和测试工作,展开后续工作才有意义。

MiVOS模型运行 1.下载源码并安装环境

在Windows10环境下装anaconda环境,方便搭建专用于MiVOS模型的虚拟环境，所有依赖包都安装在这个虚拟环境下。

# 创建虚拟环境 conda create -n mivos python=3.7.7 # 查看新环境是否安装成功 conda env list # 激活mivos虚拟环境 activate mivos

【安装合适的pytorch和torchvision(GPU版)】

# 安装合适的pytorch和torchvision pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117

【MiVOS源码地址】，包含官方安装教程

# githup下载MiVOS源代码到适合目录内，解压文件 # 通过清华源安装MiVOS所需的第三方包 pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple PyQt5 progressbar2 opencv-python networkx gitpython gdown Cython matplotlib

【davis-interactive源码地址】，davis-interactive包是通过执行setup.py代码安装

# githup下载davis-interactive源代码到适合目录内，解压文件 # 在xxxxxxx/davis-interactive-master/目录下执行setup.py代码 python setup.py install # setup.py执行过程也是安装了其他包 # 要是超时,可以提前下载以下davis-interactive的依赖包 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scipy scikit-learn==0.20.3 scikit-image pandas

安装过程可能出现的问题"cl: 命令行 error D8021 :无效的数值参数“/Wno-cpp" 解决方法: 打开setup.py文件

extra_compile_args=['-Wno-cpp', '-Wno-unused-function', '-std=c99'], # 上述修改为 extra_compile_args=['-std=c99'],

执行成功

# 查看所有安装的包 pip list conda list

最终的安装的所有包。

2.下载数据集和模型权重

作者已经把需要手动下载的数据封装到代码中自动执行

# 下载模型权重 python download_model.py # 可以通过执行py代码来下载DAVIS数据集 python download_datasets.py # 可以通过执行py代码来下载BL30K数据集(800G顶不住，我暂时没下) python download_bl30k.py

假如下载太慢或者老挂，可以查看代码获得数据的下载地址手动下载，按照代码里的处理方式重命名文件和更改数据的文件目录结构。

3.运行MiVOS代码 # 运行分割视频 python interactive_gui.py --video --num_objects # 运行分割图片集 python interactive_gui.py --images --num_objects # eg: python interactive_gui.py --images testimages --num_objects 2

【演示视频】

可能出现" pickle.UnpicklingError: unpickling stack underflow"的错误：由于临时文件夹中没有完整缓存整个模型，导致载入失败。解决方法：删除原来临时文件夹中的模型,在C:\Users\xxxx\内其他文件或者自文件中存在.cache文件,进入.cache\torch\hub\checkpoints的目录下: 我的地址则是

C:\Users\XXXXX\.cache\torch\hub\checkpoints

总结

尽可能简单、详细的介绍MiVOS的安装流程以及解决了安装过程中可能存在的问题。后续会根据自己学到的知识结合个人理解讲解MiVOS的原理和代码。

【本文地址】

【视频分割】【深度学习】Windows10下MiVOS官方代码Pytorch实现

【视频分割】【深度学习】Windows10下MiVOS官方代码Pytorch实现

今日新闻

推荐新闻