用微信扫码二维码

分享至好友和朋友圈

Project Mellon 是一个轻量级的 Python 软件包，能够利用强大的语音 AI（NVIDIA Riva）和大型语言模型（LLMs）（NVIDIA NeMo 服务），简化沉浸式环境中的用户交互。NVIDIA 在 GTC 2023 上宣布，Project Mellon 现已支持开发者进行测试。基于此，开发者可开始探索如何创建由自然语言语音指令控制的、解放双手的扩展现实（XR）体验。

正如 J·R·R·托尔金（J.R.R.Tolkien）在《都林之门（Doors of Durin）》中的谜语—“请说，朋友，而后进入”所示，文字可以移山倒海。Project Mellon 背后蕴含着一个基本理念，即以更实用有效的方式来利用语音 AI 和 LLM 之力打开虚拟世界的大门，并在其中完成更多的事情。

在 XR 中，用户界面可能非常复杂且难以使用，会破坏虚拟、混合和增强现实的本质—即沉浸式体验的自然感。Project Mellon 可赋能多类应用程序（无论是 XR 还是平板生态）开发者，轻松地将自然语言理解作为以人为本且可解放双手的新型用户界面，添加至其开发的软件之中。

Project Mellon 平台包含以下组成部分：

Project Mellon 1.0 发布的主要功能包括：

ESI 集团解决方案和技术专家 Jan Wurster 在 GTC 主题演讲—“在虚拟现实中与 AI 协作：沉浸式数字助手（会议代码：[S51355]）”中表示：“我们发现，通过集成对话式 AI 与 NVIDIA Project Mellon，可以降低使用 XR 展开协作的技术门槛，并为 IC.IDO Weave 用户提供更加人性化的体验。通过输入自然语音，我们的虚拟 AI 助手可以帮助团队完成复核任务、查询可用情况或发现相关问题，这些功能无需记住特定指令、仅需输入自然语言就可使用。”

（2023 年 4 月 10 日前登录 GTC 官网，即可观看演讲回放，了解其团队如何在动态、协作的 XR 环境中，在使用对话式 AI 的过程中受益）

Project Mellon 现已可供开发人员使用。观看 Project Mellon 相关演示，了解如何利用自然语音指令，驱动设计审查、更改实时配置、控制机器人以及操纵相机和场景元素。

了解如何启用 Project Mellon 进行开发

人工智能正在改变人类与工作及工具进行交互的方式。开发人员可以通过语音 AI 和 Project Mellon，简化并提升用户体验的人性化水平，且不再需要培训用户操作虚拟现实（VR）中的每一项功能。用户可以在虚拟现实应用程序中，用自己的语言来控制 XR 体验。

点击“https://developer.nvidia.cn/project-mellon”，申请试用 Project Mellon。

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.