在该项研究中，研究团队通过立体定向脑电技术（SEEG）采集所有普通话汉字发音过程对应的大脑内神经活动信号，结合深度学习算法和语言模型，实现了对全谱汉字发音的解码，建立起覆盖所有汉语普通话字符发音的汉语脑机接口系统，实现了大脑活动到完整普通话句子的端到端输出。

汉语作为一种象形和音节结合的语言，具有超过50000个字符，与由26个字母组合而成的英语具有显著不同，因此这对于现有的语言脑机接口系统来说是一个巨大的挑战。为了解决这一问题，在过去三年时间里，研究团队深入分析汉语本身的发音规则和特点。从汉语发音音节的声母、声调和韵母三个要素出发，结合拼音输入系统的特点，设计了一种全新的适用于汉语的语言脑机接口系统。研究团队通过设计覆盖所有407个汉语拼音音节以及汉语发音特点的语音库并同步收集脑电信号，构建了超过100小时的汉语语音-SEEG数据库。通过人工智能模型训练，该系统构建了针对汉字发音音节三要素（包括声母、声调和韵母）的预测模型，并最终通过一个语言模型对所有预测得到的元素进行整合，结合语义信息生成最可能的完整汉语句子。

研究团队对这一脑机接口系统在模拟日常汉语环境中的解码能力进行了评估。在超过100次随机选择的2个字符-15个字符的复杂交流场景解码测试后，所有参与者字符错误率中位数平均仅为29%，部分参与者通过脑电解码得到的句子完全正确率达到了30%。相对高效的解码性能得益于三个独立音节元素解码器的优秀表现和智能语言模型的完美配合。特别的是在分类21个声母方面，声母解码器的准确率超过了40%（超过3倍基准线），并且Top 3正确率几乎达到了100%；而用于区分4个声调的声调解码器的准确率也达到了50%（超过2倍基准线）。除了三个独立音节元素解码器的突出贡献以外，智能语言模型强大的自动纠错能力和上下文联系能力也让整个语言脑机接口系统的表现更为突出。

这项研究为汉语这种意音文字语言的BCI解码研究提供了全新视角，也证明通过强大的语言模型可显著提高语言脑机接口系统的性能，为未来的意音文字语言神经假肢研究提供了新的方向。该项工作也预示着神经系统疾病患者很快就能通过意念来控制计算机生成汉语句子，重获交流能力！

参考内容

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1.full.pdf返回搜狐，查看更多