微软多模态Visual ChatGPT， 免费Google Colab搭建Demo详细实操教程！ |
您所在的位置：网站首页 › imageio下载 › 微软多模态Visual ChatGPT， 免费Google Colab搭建Demo详细实操教程！ |
微软多模态Visual ChatGPT， 免费Google Colab搭建Demo详细实操教程！
|
微软在3.9日在arixv上放出Visual ChatGPT，短短一周不到其github上开源代码已接近16k的stars，可见多模态Chat在AI领域再一次引发了巨大的反响。 今天小源借助Google Colab体验了一把Visual ChatGPT，不同与BLIP2等模型，依赖ChatGPT API强大的NLP能力，其在一些多模态问答推理上甚至超过BLIP2。而且Visual ChatGPT通过Prompt Manager将Image Captioning，VQA，AI绘画等任务串接在一起，功能更加强大。下面将从头开始介绍如何在google colab上搭建Visual ChatGPT，当然如果自己有的GPU的土豪可以直接在本地搭建。不过google colab由于环境在云端，因此方便共享和在线操作（当然最主要还是因为Google Colab GPU免费！！）。 在使用本教程的同学需要先具备以下条件： 已经拥有OPENAI账号能够访问Google Drive 网页  搭建Demo体验示例1）申请API KEY登录OpenAI网站（https://platform.openai.com/），点击右上角View API keys—> Create new secret key，可以生成属于你自己的API，有了这个API，就可以用于开发基于ChatGPT API的应用程序：  登录页面 API KEY申请注意生成的API KEY一定要复制保存好，因为这个申请后只能查看这一次，后续无法再次查看同时还可以在左侧栏Usage 中看到token的使用量情况，数据5分钟更新一次。OpenAI官方针对每一个新注册的账户，提供$18免费token使用额度，有效期一个月。 2）进入google drive, 新建colab进入google drive之后，在新建>更多>Google Colaboratory中新建一个colab  新建colab进入colab（.ipynb文件）之后，首先修改设置，点击菜单栏中的修改>笔记本设置，将硬件加速器由CPU改为GPU，然后点击保存，保存后如图所示。  colab设置GPU环境3）在创建colab中Python 3.8 conda虚拟环境 由于colab默认使用Python3.9 torch==1.13.0的环境，需要重新创建一个Python 3.8 conda虚拟环境。在刚刚新建的colab文件中分别运行如下两个脚本即可： %%bash MINICONDA_INSTALLER_SCRIPT=Miniconda3-4.5.4-Linux-x86_64.sh MINICONDA_PREFIX=/usr/local wget https://repo.continuum.io/miniconda/$MINICONDA_INSTALLER_SCRIPT chmod +x $MINICONDA_INSTALLER_SCRIPT ./$MINICONDA_INSTALLER_SCRIPT -b -f -p $MINICONDA_PREFIX conda install --channel defaults conda python=3.8 --yes conda update --channel defaults --all --yes导入刚刚新建的Python 3.8 conda虚拟环境包 import sys sys.path.append("/usr/local/lib/python3.8/site-packages")4）安装依赖包在当前目录新建如下requirement.txt依赖文件（不要使用官方的requirement.txt） torch==1.12.1 torchvision==0.13.1 numpy==1.23.1 transformers==4.26.1 albumentations==1.3.0 opencv-python==4.5.1.48 imageio==2.9.0 imageio-ffmpeg==0.4.2 pytorch-lightning==1.5.0 omegaconf==2.1.1 test-tube>=0.7.5 streamlit==1.12.1 einops==0.3.0 webdataset==0.2.5 kornia==0.6 open_clip_torch==2.0.2 invisible-watermark>=0.1.5 streamlit-drawable-canvas==0.8.0 torchmetrics==0.6.0 timm==0.6.12 addict==2.4.0 yapf==0.32.0 prettytable==3.6.0 safetensors==0.2.7 basicsr==1.4.2 langchain==0.0.101 diffusers gradio openai accelerate然后在colab中运行安装如下命令： !python3.8 -m pip install -r requirement.txt5）下载权重使用官方的下载download.sh脚本，为了节约磁盘占用，将ControlNet的权重取消下载，修改后如下： git clone https://github.com/lllyasviel/ControlNet.git ln -s ControlNet/ldm ./ldm ln -s ControlNet/cldm ./cldm ln -s ControlNet/annotator ./annotator cd ControlNet/models #wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_canny.pth #wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_depth.pth #wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_hed.pth #wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_mlsd.pth #wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_normal.pth #wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_openpose.pth #wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_scribble.pth #wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_seg.pth cd ../../之后在colab运行该下载脚本,同时创建图片存放文件夹： !bash download.sh !mkdir ./image6）设置API KEY在colab中通过设置环境变量的形式设置OPENAI的API KEY（刚刚申请的） %env OPENAI_API_KEY=Your OpenAI API Key7）运行官方脚本最后一步，在colab当前文件夹下新建一个visual_chatgpt.py文件，将官方的visual_chatgpt.py文件（https://github.com/microsoft/visual-chatgpt）复制过去，然后运行即可： !python visual_chatgpt.py运行成功后会显示出内网和外网访问链接，如下所示，在浏览器中打开public URL：  成功后public URL注：public URL打不开可以将https改为http再尝试 |
【本文地址】
今日新闻 |
推荐新闻 |