Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ?我一口气给你推荐 4 款免费软件

您所在的位置:网站首页 m1芯片的ipad能装mac系统吗 Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ?我一口气给你推荐 4 款免费软件

Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ?我一口气给你推荐 4 款免费软件

2023-04-09 20:21| 来源: 网络整理| 查看: 265

火热的 Stable Diffusion

AIGC 的浪潮席卷全球,人人都是艺术家的时代来临了。然而,一直以来,AI 都和显卡,尤其是 Nvidia 支持 CUDA 的显卡密不可分,想在 Mac 平台上训练与使用 AI,都要费一番功夫。

不过,随着苹果软件硬件的更新,Mac/iPad/iPhone 上玩 Stable Diffusion 也逐渐成为可能。主要有两种方式:

Core ML Stable Diffusion:苹果专门为 Stable Diffusion 推出的工具,作用有两个:一是将模型转换为 CoreML 格式,二是以 Swift 代码调用 CoreML 模型实现图像生成。可以支持 CPU、GPU 和 NE 等多种运行方式。 Maple Diffusion:网友制作转换工具,将 .ckpt (PyTorch model checkpoint)文件转换为 MPSGraph,可以通过苹果 MPS(Metal Performance Shaders)在 GPU 上运行计算和推理。

下面我们来仔细说说,这两个派别的代表性 App。

CoreML 派:基于苹果 Core ML Stable Diffusion 一、Swift Core ML Diffusers 🧨

开源代码地址 Mac App Store 直接下载

这是来自 Huggingface 的开源 Demo,它利用苹果的转换工具,将 Stable Diffusion 转换为 CoreML 格式,保存在 Huggingface 上,使用时下载对应版本的 CoreML 模型来生成图像。

优势:开源,支持 GPU、NE、GPU+NE 等不同运行条件,支持 iOS 版(需自行编译),CoreML 速度快 缺点:不支持本地模型直接导入,示例中模型较少需自己添加

兼容性和性能

macOS Ventura 13.1 iOS/iPadOS 16.2 Xcode 14.2(自行构建)

~8s in macOS on MacBook Pro M1 Max (64 GB). Model: Stable Diffusion v2-base, ORIGINAL attention implementation, running on CPU + GPU. 23 ~ 30s on iPhone 13 Pro. Model: Stable Diffusion v2-base, SPLIT_EINSUM attention, CPU + Neural Engine, memory reduction enabled.

二、Mochi Diffusion:

开源代码地址 Github 直接下载 Mac 版

这是网友利用苹果 Swift 调用 CoreML 制作的开源 Demo,使用时需要自行下载 CoreML 格式模型,放入指定文件夹下来运行,也可以自行下载 Stable Diffusion 利用苹果转换工具转换后再导入。这里 有很多转换好的 CoreML 模型。

优势:开源,支持 GPU、NE、GPU+NE 等不同运行条件,支持本地模型直接导入,CoreML 速度快 缺点:无 iOS 版

兼容性

Apple 芯片的 Mac macOS Ventura 13.1 Xcode 14.2 (自行构建)

MPSGraph 派:基于Maple Diffusion 三、Waifu Art AI

Mac App Store 直接下载

搭载了Aniplus V1模型(这是一个以Stable Diffusion 1.5 + Waifu Diffusion 1.3 + TrinArt Characters v1为基础特化训练的二次元绘画风格模型,并非 NovelAI 的改版),作者在其中加入了画风选择和基本的中文输入翻译系统。详情见这里

优势:支持 Mac/iPad/iPhone,界面有中文 缺点:不开源,模型不可选择,参数少

兼容性

macOS 12.3 iOS/iPadOS 16.0 ,6 GB 内存以上设备,例如 iPad M1/M2,iPhone 13 Pro,iPhone 14 或者 iPhone 14 Pro。

四、Draw Things

Mac App Store 直接下载

几乎是最强大的一个 Stable Diffusion 应用了,五星推荐。作者讲述制作过程:Stretch iPhone to its Limit, a 2GiB Model that can Draw Everything in Your Pocket

优势:支持 Mac/iPad/iPhone,可选参数多,可选模型多,在 iPhone 上只需 2GB 内存 缺点:不开源,导出模型与其他不通用,速度稍慢于苹果 CoreML

兼容性

macOS 12.4 iOS/iPadOS 15.4 ,A12 芯片,2GB 以上内存

总结

有了以上 4 个应用,相信大家都可以在自己的 mac/iPad/iPhone 上愉快的玩耍了。不过还需要注意的是以上软件有着不同的兼容性要求:

对 iPhone 和 iPad,主要限制一般为 A12 以上芯片,4GB 甚至 6GB 内存,同时对 iOS/iPadOS 版本也有要求 对 Mac,主要限制为系统版本,M1/M2 系列芯片为最佳。另外有些模型对 Intel 芯片有隐形限制,有时出图混乱,请根据自己的硬件和软件自行测试

另外,这些软件都会面临初次使用时加载慢的问题,下载好模型第一次出图特别慢,后续会变快。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3