对谈 是 Mixlab 与 ComfyUI 中文社区共同发起的语音连麦活动，关注 AI+ 具体应用领域。希望能快速跟进 AI 与不同领域相结合的落地方式，并创造新的可能性。

ComfyUI 爱好者中文社区

帮助优秀的 AI 创作者，提升个人品牌价值。

Mixlab 无界社区

开源、跨界线上孵化平台

N3：生成式 AI 与实时互动游戏

本期主要探讨：如何通过 ComfyUI 和其他技术（如ChatGPT、TTS）创造出有趣的游戏体验 ？

社区创建者 Shadow：

“我们可以用工具去「测试我们各种各样的想法」，把我们的创意变成产品。”

对谈嘉宾之一 Rui：

“现在的这个游戏它还是跟以前的不大一样。因为之前的那个剧情走向，只有几种选择。现在「借助 GPT，可以实现无限种可能」，画面还能实时生成。”

嘉宾 Rui 在本次连麦里，向大家展示了他使用 ComfyUI 创作的一款以《西游记》为主题的，实时互动游戏《西游大绘战》—— 这是一款将 AI 技术和游戏融合的游戏。

Rui 刚开始只是突发奇想，在绘画软件里搭了个互动对话游戏，结果的结果是：零代码，一天搞定！⚡️ 他通过 ComfyUI 做了一个与 GPT 实时互动来影响剧情的游戏，而故事的背景选的是《西游记》，引入了诸如，文本转语音（TTS）、ChatGPT、Stable Diffusion（SD) 等多种 AI 技术来进行创作。

在 ComfyUI 工作流中构建“西游记”

来，先给 ‘工具们’ 分工

你将扮演刚出生的美猴王，孙悟空。

GPT 负责剧本编写

SDXL 和 Dall.E3 负责创作插图

MS-TTS 负责提供各种声音的口语对话

经过这一系列的布置和设计，一切都像一幅卷轴画一样，呈现在你的眼前。

继续在 GPT 提供的 4 个选项里选，游戏将继续展开。在这个过程中，GPT 都能全程陪你，自由地改变故事情节，将想象力直观呈现出惊人的效果。

看到这里，大家一定已经有很多很好奇啦，比如：

所谓「技术的融合」是怎么做到的 ？

Rui 首先利用 ChatGPT 生成具有逼真性和相关性的对话，使游戏角色能够根据玩家的行动和选择作出有意义的反应。

同时，将文本转换为语音，为游戏角色提供了更加自然和生动的语音，增强了玩家的沉浸感。

再通过 GPT 生成 Stable Diffusion 的 Prompt，用于创造游戏中的视觉元素，如背景、角色和场景，使得游戏的视觉效果能够根据玩家的行为进行动态变化。

如何处理并优化 AI 生成的内容 ？

Rui 说，AI 技术在生成创意内容时非常好用，但同时也需要人的引导、调整以达到最佳效果。他也是通过不断试验和调整，才找到平衡 AI 自动生成和手动调整之间的最佳方式。

AI 如何改变游戏的叙事和互动 ？

AI 生成剧情充满无限可能性，与传统的线性剧情游戏相比，AI 实时生成的剧情可以提供更多元化和个性化的游戏体验，这种技术不仅限于文字，还可以结合图像生成，创造一个丰富、多模态的游戏世界。

点击图片阅读详细的工作流

学习 ComfyUI 的小 tips

Rui 指出，作为没有技术背景的设计师，可能最初接触 ComfyUI 会感到有些困难，其实不必太过担心。他给了 4 个建议：

首先，很多教程可能已经过时或不准确，特别是对于设计师来说，这是一个学习上的障碍点。他提议创建更基础的教程，尤其是关于环境设置的教程，大家可以查阅社区创建的教程。

其次，我们需要理解 SD 的整个生成流程和原理，这是灵活使用 ComfyUI 的基础。

另外，学习 ComfyUI 需要更多实践多探索，跨界学习。大家可以利用开源社区的资源，了解 ComfyUI 各个节点的参数和功能，这对于学习和使用 ComfyUI 也非常有帮助。

在连麦直播中，Shadow 和熊叔也提供了一系列学习建议，希望大家都通过自己的努力，成为 AI 时代的超级个体：

Shadow：

探索各类技术工具的同时，进行系统性的学习，比如Python 和JavaScript 的系统性。

熊叔：

要克服对未知学习信息的恐惧，利用 AI 技术解决具体的问题。

《西游大绘战》不仅是一款游戏，更是一个展示 AI 技术和创新思维如何结合，以创造独特体验的典范，我们也已经看到 AIGC 和实时互动游戏的巨大潜力。

嘉宾介绍

Rui zhang

Rui ，资深游戏设计师和管理人，曾在多家知名游戏公司担任重要角色。随着 AI 技术的不断发展，他开始探索将 AI 技术融入游戏设计/实时互动游戏领域。他 ComfyUI 工作流的作品，还在 Mixlab 和 ComfyUI 中文社区获得了广泛的关注。

- N3-

欢迎和我们预约下一期对谈主题：