ChatGPT毫无疑问是文字领域的最强王者，最新出的GPT4已经可以识别理解图片内容了。跟小伙伴聚餐时就脑暴畅想，给GPT4一个完善的硬件环境，比如接一个摄像头，周围景象根据摄像头的图片帧数据流识别内容，转换成肢体语言，操控硬件肢体，岂不就是未来的机器人 ？

GPT4现在也更容易改设定了，最简单的集成进语音音响，设定其当一个心理咨询师，跟病人交流解惑，也是个很好的方向。

越想越兴奋，周末实践了小爱音响接入ChatGPT的可行性，先给大伙看看效果：

实践证明智能音响是有开放相关接口方便接入的，下面讲讲原理以及应用畅想。

其实网上已有ChatGPT+小爱同学的相关折腾，总结下思路：

可以把小爱同学破解了，破解之后拦截对话，如果对话包含 GPT 就用破解的小爱发送请求到 ChatGPT, 再把 ChatGPT 的回复截包，读出来。

最大困难是小爱的破解方式，需要一定硬件知识。小爱是有办法通过串口来 hook 再刷固件的，需要学习串口通信，可以用树莓派做实验，去淘宝买usb2ttl学习。还需要焊接。还可以用拆件后的USB来烧固件，但小米把windows系统小爱刷机给封了。算是最折腾的一种方式。

可以尝试去用路由 openwrt 截包再发送，但是 https 获取 payload 还是有些困难的。

可以用 Siri -> 捷径 -> 获取你说的话 -> 发送 ChatGPT -> 小爱 or 直接 Siri 自己来。

用轮询来不断获取最新的聊天记录，如果有新的符合要求我就发送给 ChatGPT --> 再用 tts 让小爱同学朗读，但因为朗读需要时间，所以轮询也没那么笨了。

总结下来第4种方式比较可行。思路如下：

clone项目按照README.md安装依赖pip install -U xiaogpt。

设置小爱同学的账号密码:

之后执行micli list获取账号绑定的小爱设备，从中拿到did填入项目配置中：

总结项目需要的配置如下：

打箭头都是需要配置的，其中haderware是小爱音响底部的型号。midid这是上面查到的did信息。 之后执行以下命令即可启动小爱同学的ChatGPT对话。

目前默认用gpt-3.5-turobo的api，其他详细配置（比如用gpt3、用流式响应、禁用小爱同学播报等）可看项目README。

跟语音音响结合自然要发挥音响的优势--语音播报，同时用ChatGPT可以回答智能助手小爱同学无法回答的内容。

小爱可以持续对话，但是只能接受固定化、机械式的命令，不像ChatGPT能实现更人性化的对话。而且内容质量会高很多。

能让其播报小爱同学没有的一些英语演讲稿。

可以让ChatGPT实现小爱同学已有的成语接龙游戏，其接龙的同时还会进行解释，可以涨更多知识~

小爱同学现在是没有角色设定对话的，比如让其做一个心理医生，请会直接给你推荐自闭症专题。ChatGPT有趣的应用之一就是让其扮演角色，结合语音音响的即使对话与上下理解，可以达到真人对话的体验。

可以训练ChatGPT让其将我们的输入转化为小爱同学接受的指令，即能让小爱同学分析我们的自由对话做出家居联动控制。比如说“我好热”，小爱同学就会帮你打开空调，让小爱同学不再冷冰冰，更像一个服务型机器人。

如果曾尝试过与这些智能家居机器人聊天，就知道如何轻松地提出问题，并获得各种格式的回复。难点在于，在控制智能家居时，需要交代清楚具体与哪个组件交互。怎么解决这个问题？--这就需要一些prompt技巧了。可以要求 GPT-3 解释和分类你的请求，然后以结构化的数据格式响应请求。

可以参考下面给 ChatGPT 的提示去实现成功交流。内容大致如下：

首先，发送到智能家居系统的请求，返回的 JSON 格式的响应可被应用程序代码解释，并执行动作。这些请求应被分类为四大组：

有关 JSON 响应的细节：

如果问题涉及个人，智能家居系统必须发挥情感大脑的作用，成为一个更加聪明的AI，且永远不会暴露个人身份。此外，智能家居系统还应提供其他领域的帮助，比如看孩子、自由时间、心理健康等。该系统目前服务的房屋位于英国圣奥尔本斯。当前时间为：2023年3月19日 11：56：31 GMT+0000。

智能家居系统的属性：

响应为 JSON，不包含任何文本（换成英语描述，会更智能化）。

如上，我们描述了请求的类型、响应的确切结构，并要求智能家居系统充当情感 AI，即使是涉及个人的问题也能提供建议。我们还提供了一些关于时间、地点以及房屋内的设备和房间的详细信息。有了这些，我们就能收到结构完美的响应了。

比如问“刚发现我在昏暗的办公室内录制这段视频。你能帮帮忙吗？”

训练后gpt3可输出

最完美的体验是其能根据自己的知识帮你控制家居，如要求“将卧室的温度设置为你认为可以帮助我更好地入眠的温度。”，接入小爱同学或者siri的智能家居就可将卧室温度设置成了舒适的 19 度。

如果是用小爱或者苹果全家桶，甚至可以用语音控制电脑软件应用。

还可参考更多有趣的ChatGPT prompt咒语(prompt咒语大全、aigc导航大全)，畅享更多智能音响跟ChatGPT结合的应用场景。

小伙伴们都感叹软件已经成熟了，如果硬件跟上结合应用，将是一波真正激动人心的AI巨浪！

Reference