Language: Chinese | English

昆明理工大学 信息工程与自动化学院（昆明 650500）, School of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, P.R.China

昆明理工大学 信息工程与自动化学院（昆明 650500）, School of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, P.R.China

昆明理工大学 信息工程与自动化学院（昆明 650500）, School of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, P.R.China

昆明理工大学 信息工程与自动化学院（昆明 650500）, School of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, P.R.China

脑控是一种新的控制方法。传统脑控机器人主要是控制单个机器人完成特定任务，而脑控多机器人协作（MRC）任务是一个有待研究的新课题。本文介绍了参加世界机器人大赛“脑—机接口（BCI）脑控机器人比赛”获得“创新创意奖”的一个试验研究，试验设置了 2 个脑开关，采用基于稳态视觉诱发电位（SSVEP）的 BCI（SSVEP-BCI）控制人形机器人和机械臂完成协作任务。通过 10 名受试者的控制试验结果表明，通过适当设置脑开关，采用性能优良的 SSVEP-BCI 能够实现 MRC 任务的有效完成。本研究可望为未来实用化的脑控 MRC 任务系统的研究提供启发。

Brain control is a new control method. The traditional brain-controlled robot is mainly used to control a single robot to accomplish a specific task. However, the brain-controlled multi-robot cooperation (MRC) task is a new topic to be studied. This paper presents an experimental research which received the "Innovation Creative Award" in the brain-computer interface (BCI) brain-controlled robot contest at the World Robot Contest. Two effective brain switches were set: total control brain switch and transfer switch, and BCI based steady-state visual evoked potentials (SSVEP) was adopted to navigate a humanoid robot and a mechanical arm to complete the cooperation task. Control test of 10 subjects showed that the excellent SSVEP-BCI can be used to achieve the MRC task by appropriately setting up the brain switches. This study is expected to provide inspiration for the future practical brain-controlled MRC task system.

脑控是一种新的控制方法，而直接脑控机器人是脑控与机器人控制交叉融合的一个重要应用[1-3]。科学家和工程学家已认识到，脑—机器人交互是一种新型的人—机交互技术，可能通过脑—机接口（brain-computer interface，BCI）架起人脑生物智能与机器智能之间的桥梁[4]。这方面的探索研究不仅具有重要的脑科学意义，也具有潜在的应用前景。

通常，传统的脑控机器人主要集中于脑控单个机器人来完成特定任务，例如：脑控智能小车、机械臂、轮椅、仿人型机器人等外部设备[5]。这些试验研究可用于帮助运动残障人士控制外部设备或机器人，从而借助于外部设备改善其生活质量，同时相关研究也为正常人开辟了一条人脑与机器人直接关联的道路。然而，在实际应用中，对于较复杂、需要不同操作系统协作的任务，难以借助单一机器人来完成，而且需要采用直接脑控的方法来进行协调控制，这就需要探究直接脑控多机器人协作（multi-robot cooperation，MRC）来完成任务，这是一个尚待探索的新课题[3]。

在直接脑控 MRC 任务中，为实现多机器人之间的灵活转换与配合，脑开关的设计是一个需考虑的关键因素之一。所谓的脑开关是指通过检测脑电信号中的特定特征并将其视为控制状态，以确定系统的开启或停止的一种控制模式[6]。不仅系统的起停需要用脑开关来控制，多机器人之间的灵活切换也需要脑开关来实现。同时，脑开关的引入还可以大大减少刺激界面中的目标个数，即相对提高指令识别率，可以更好地实现多机器人之间的灵活控制与相互配合。然而，脑开关存在一个重要问题，即其运算分析过程复杂，尚不够简便快捷。

此外，从实用性角度出发，在直接脑控 MRC 任务中，需要一种稳定、准确和快速的 BCI 系统。在已有的 BCI 范式中：基于运动想象的 BCI 可分类的类别数有限，单次识别率不高且不稳定，需要一定量的训练，并存在 BCI 盲的缺陷，其传输的比特率也有限[7-8]；基于事件相关电位 P300 的 BCI 虽然可分类目标数多，但往往需要多次叠加来识别，传输的比特率也有待提高[9]；相比之下，基于稳态视觉诱发电位（steady-state visual evoked potentials，SSVEP）的 BCI（SSVEP-BCI）不仅可分类目标数多、单次识别率高、传输的比特率较高，而且所需训练次数较少甚至无需训练，整体效率明显高于其他 BCI 范式，因此从实用性考虑，SSVEP-BCI 具备了优于其他 BCI 范式的优良特性，这也表明了其更符合脑控 MRC 任务的需要[10]。

为探求有效的脑控 MRC 方法，本文拟采用稳定性、准确性和快速性较好的 SSVEP-BCI 技术，利用性能优良的典型相关分析（canonical correlation analysis，CCA）算法，并创建多个一键式 SSVEP 脑开关，实现实时脑控 MRC 作业。本文致力于解决 BCI 面向实际应用中的复杂难题，并可望为未来实用化的脑控 MRC 任务系统提供启发和思路。

本文试验共选取 10 名受试者，随机编号为 S1～S10，其中 6 名男性、4 名女性，年龄介于 22～27 岁之间，健康状况良好，视力正常（或矫正后正常）。试验开始前，对每名受试者进行训练，使其能熟记各指令内容并可达到灵活运用的程度。此外，还教授受试者 SSVEP 相关的理论知识以及注视屏幕的注意事项。所有受试者对试验研究均知情同意，研究得到昆明理工大学学校道德委员会批准。

如图 1 所示为脑控 MRC 任务试验研究平台，包括人形机器人、机械臂、SSVEP 刺激呈现界面、计算机、视频反馈装置（Ipad）、脑电信号采集装置。本试验所用脑电信号采集装置为 Neusen.W（32 通道，博睿康科技（常州）股份有限公司，中国），由脑电帽、脑电信号放大器（无线）及无线路由器三部分构成。脑电帽导联位置符合国际 10-20 标准，记录电极为 Pz、P3、P4、PO3、PO4、PO7、PO8、O1、Oz 和 O2，参考电极为 CPz，接地电极为 FPz；调整电极阻抗在 5 kΩ 以下，采样频率设置为 250 Hz。本试验所用机器人包括机械臂（LSC-6，深圳市幻尔科技有限公司，中国）以及人形机器人（Super-M，北京智能佳科技有限公司，中国）。

The experimental research system on brain-controlled MRC task

脑控 MRC 任务试验研究平台

试验选用 SSVEP 触发脑电信号的刺激范式，利用矩阵实验室软件 Matlab R2015a（MathWorks Inc.，美国）中 Psychtoolbox 工具箱实现。所用液晶显示屏（呈现刺激界面）刷新频率为 60 帧/s，如图 2 所示，界面呈现的刺激目标为 12 个闪烁方块，每个方块有其特定闪烁频率，对应的分别为：8、10、8.5、13、9、11、9.5、14、13.5、10.5、15、12 Hz。

The stimulation of SSVEP

SSVEP 刺激范式

为有效完成脑控 MRC 任务，试验对图 2 中的 12 个刺激目标（闪烁方块）分别设定对应的控制指令，如表 1 所示。人形机器人利用指令（包括 2 个脑开关指令）可以控制运动方向【左转 45°、前进一步（5 cm）、右转 45°、左跨一步（5 cm）、后退一步（5 cm）、右跨一步（5 cm）】以及执行特定动作（下蹲、起立）。其中，2 个脑开关指令为：① 总控制脑开关，用于控制整个试验进程的开启与停止；② 转换脑开关，用于实现多机器人（控制对象）之间相互切换。机械臂利用指令（包括 1 个脑开关指令）可以实现整体左转 45°、整体恢复中立、整体右转 45°、后臂前倾 45°、后臂复位、中臂前倾 45°、中臂复位、前臂前倾 45°、前臂复位、手爪张开和手爪咬合等 11 个动作，其中脑开关指令为转换脑开关，用于转换控制对象。人形机器人和机械臂均采用蓝牙与试验研究平台相连接。

脑控多机器人指令

在 SSVEP-BCI 的研究中，通常有同步和异步两种控制方式。在同步方式下，受试者不能自己掌控试验时间，必须以计算机/系统的控制节奏为导向，配合其执行操作。然而，人们在实际应用中往往需要选择自定节奏的控制方式，即异步方式，也就是说，在异步 SSVEP-BCI 系统中，受试者可以按照自己的意愿及控制需求，实现在线实时地对系统进行操作，其时间由自己掌握。本研究实现的是 MRC 任务，利用人形机器人与机械臂协同合作将货物运送至指定地点，即需实现多机器人之间的相互合作，完成单个机器人不能完成的复杂任务。为使脑控 MRC 任务更为人性化并贴近实际应用，因此本研究采用异步 SSVEP-BCI 方式，受试者可自定节奏地对系统进行控制。在该方式中，采用在线异步刺激，即界面不间歇闪烁，无需触发脉冲，时间窗长设定为 2 s，每 0.5 s 对数据进行一次分析得出最大相关系数，当最大相关系数大于（或等于）设定的阈值时，对应的指令被存储为一个待定指令，当最大相关系数不满足阈值条件时，将被存储为一个空指令。这里采用三指令判定原则，即只有当存储的 3 个连续的待定指令相同时，系统才会判定其为一个目标指令并输出。由此可知，系统识别并输出一个目标指令的时间为 1.5 s。

一般而言，阈值是在线异步 SSVEP-BCI 系统成熟的标志，是区分受试者处于任务状态与非任务状态的关键。在本研究中，当脑电信号经 CCA 算法处理后得出最大相关系数，首先会将其与阈值进行对比，若值大于（或等于）阈值，则系统认定受试者为任务状态，那么最大相关系数对应的指令将被存储为一个待定指令，若值没有达到阈值标准，则系统认定受试者为非任务状态，此时将存储一个空指令。另外，本研究在既定试验策略下对 SSVEP-BCI 系统调试发现，在阈值的选取范围（0～1）内：当选取阈值为 0.5（或小于 0.5）时，系统会出现指令频发的状况且错误率偏高；当阈值为 0.7（或大于 0.7）时，虽然指令的错误率很低，但识别指令的时间会延长很多；只有当阈值为 0.6 时，能更好地满足系统的要求，因此本文根据试验调试将阈值设定为 0.6。

当识别指令后，系统会播报语音（“滴”声后报出具体指令/动作），受试者在“滴”声后应立即停止注视，观察反馈视频中机器人动作，进而规划下一个指令的实施，此处“滴”声持续时间约 0.2 s。另外，为防止指令连发，以及考虑到机器人执行指令所需时间，系统设定为输出一个目标指令后，停止 1 s 接收指令数据。

此外，本研究中引入了实时视频反馈环节，在刺激屏幕下方增加一个显示屏，实时反馈 MRC 任务的执行情况，受试者可根据现场情况自行调整路线及控制策略，该实时视频反馈有助于受试者完成脑控 MRC 任务。

用脑电信号控制的开关在 BCI 中具有重要的作用及意义[11-12]。本试验旨在探索脑控 MRC 任务，为贴合实际应用，符合未来用户对 MRC 任务的需求，实现多机器人之间控制的相互转换，特设计出两个实用、便捷且易实现的脑开关，即一键式 SSVEP 脑开关切换，包括：总控制脑开关与转换脑开关。两个开关均为基于 SSVEP 设置的，当受试者注视屏幕上对应的脑开关闪烁方块时，其脑电信号中会出现与刺激相应的频率成分或倍频成分，通过计算机对受试者脑电信号分析，可以识别出相对应的脑开关指令，进而有效控制完成 MRC 任务。

总控制脑开关控制整个试验的开始和结束，识别成功后，系统语音播报“试验开始/试验结束”，且只有在试验开始后，受试者才可以对任务系统进行试验操作。而在试验开始前及结束后，系统只能识别总开关指令，不接收其余指令。此脑开关的设计不仅可大大减少对系统的误操作，而且使得受试者掌握了试验的主控权，可以自主地控制试验流程。

转换脑开关用于转换控制对象，识别成功后自动切换控制对象，系统语音播报“机器人/机械臂”提醒受试者停止注视刺激目标。转换脑开关的设计使得受试者可随意在多机器人之间跳转，实现对每个控制对象的灵活控制，其过程更加人性化，也更贴近于实际应用。

综上所述，本研究设计的两个脑开关不仅可以“随心所欲”地控制试验进程，还可以实现多机器人之间稳定、准确和快速的切换，使得脑控 MRC 任务更为方便、可靠和高效。

CCA 算法是利用两个综合变量之间相关关系来表现两组指标之间整体相关程度的多元统计分析方法[13]。将 CCA 算法应用到 SSVEP 的分析之中，是根据 SSVEP 的频率与刺激的固定频率相同或成倍数这一特性来实现多分类的[14]。两组多变量分别为X和Y，首先定义X∈RC×N 为脑电数据的多通道信号，其中 C 为通道数，N 为每个通道的采样点数；定义Y∈R2Nh×N 为每个刺激频率对应的参考信号，其计算如式（1）所示：

其中，f 为刺激频率，S 为脑电信号采样频率，Nh 是 f 的谐波个数，构建了基于基频以及 Nh 倍频正余弦向量。刺激范式中的刺激频率共有 12 个：f1，f2，…，f12，分别对应于不同的接口命令 Qi。通过测量 C 个通道中的脑电信号来监测用户的脑电活动。在频率 fi 处检测到最强的脑电活动被解释为用户选择相应命令 Qi 的意图。

CCA 算法通过寻找一对系数矩阵（W和V），使得经过x = WTX与y = VTY变换后，两组向量x和y相关性最好。两组向量的相关性计算如式（2）所示：

SSVEP 的识别问题实质上是对采集到的脑电信号主要频率的判断。分类过程如图 3 所示，通过 CCA 算法分别计算采集到的脑电信号与 12 个频率成分不同的参考信号之间的典型相关系数 ρ1，ρ2，...，ρ12，比较这 12 个典型相关系数，得到最大系数 ρk，当 ρk 大于（或等于）设定阈值时，其对应的频率即是受试者所注视的目标的频率。如式（3）所示，相关系数最大者对应的频率 f 即为目标字符的刺激频率（以符号 ftarget 表示）。

CCA for SSVEP classification diagram

CCA 用于 SSVEP 分类示意图

近年来，关于 BCI 的研究中，应用于 SSVEP-BCI 的算法主要有：CCA 算法、功率谱密度、套索算法、频率幅值、最小能量组等[15-18]。其中 CCA 算法有较多的优势，因其快速、高效、高信噪比等特点，应用最为广泛。CCA 算法是一种针对频率多分类的高效识别方法，可以快速准确地判断出刺激频率大小。自 2009 年 Bin 等[14]首次提出了将 CCA 算法应用到 SSVEP 脑电信号的检测以来，这种方法就很快得到推广，与传统分析方法相比，CCA 算法有较多的优势，不仅有较高的适用性、更好的信噪比，还具有较低的计算复杂度，这往往决定了在线 BCI 技术的可行性，同时 CCA 算法还考虑了 SSVEP 脑电信号的谐波特性，这是很多方法难于做到的，此种种优势都体现出其应用的先进性。故而，这种方法通常被认为是一种性能优良的、适用于 SSVEP-BCI 的分类算法。

在准备阶段，相关人员会教授受试者试验任务、SSVEP 相关的理论基础知识以及试验注意事项等内容，另外，受试者需熟记各刺激目标对应的指令内容，并达到可灵活运用的程度，熟悉了试验内容及指令后，每名受试者可进行 3～5 次预试验（初步训练脑控 MRC 任务试验）来熟悉搭建的试验研究平台。

为探索此试验系统对于脑电信号采集、目标指令输出的准确性、稳定性与快速性，同时验证 SSVEP 刺激界面及其刺激频率的规划排布的有效性，在正式试验（脑控 MRC 任务）之前，首先进行指令测试试验，试验内容与形式较 MRC 任务要简单且易于开展。具体试验流程为：首先计算机驱动 SSVEP-BCI 程序，显示器呈现 SSVEP 刺激界面，受试者端坐于试验桌前，正面朝向刺激界面，此时 12 个刺激目标不间歇闪烁，受试者在调整好自身状态后，由工作人员指挥开始指令测试试验，首先注视第一个刺激目标，受试者的脑电信号将经无线路由发送至计算机，随后计算机对接收到的脑电数据进行分析，当识别出目标指令后，以“滴”声的形式对受试者提醒，此为一次注视结束，受试者应立即停止注视，转为注视下一个刺激目标，直到对 12 个刺激目标全部注视完毕，为一次完整试验，该试验重复 3 次。

指令测试试验采用 1.2 节中所描述的 SSVEP-BCI 系统，其不同于 MRC 任务试验之处为省去了控制多机器人的环节及视频反馈装置，另外，对于系统在识别指令后的语音播报，考虑到错误指令的播报会对受试者存在心理影响，故而简化为“滴”声，提醒受试者当前注视结束。试验中注视刺激目标的顺序为：从左到右、从上到下依次注视刺激界面中的 12 个刺激目标，此为一次试验顺序，将会识别出 12 个目标指令，试验总计 3 次，则受试者共识别出 36 个目标指令。试验全程有工作人员计时，并在试验结束后统计指令信息。

指令测试试验结束 15 min 后开始脑控 MRC 任务试验。

如图 4 所示为脑控 MRC 任务路径。试验开始时，系统默认控制对象为人形机器人，受试者首先触发（开启）总控制脑开关，机器人从起点出发，到达指定地点（取货地点）后，执行下蹲动作（为装货做准备）；之后，通过转换脑开关将控制对象切换为机械臂，由机械臂将物品（木块）夹起并放置在机器人背后的背篓内；随后，再进行控制对象的转换，机器人起立，将物品运至指定地点（终点），再一次触发（关闭）总控制脑开关，以此完成物品的运送。

The brain-controlled MRC task runway

脑控 MRC 任务路径

脑控 MRC 任务的过程如下：首先计算机驱动 SSVEP-BCI 程序，显示器呈现 SSVEP 刺激界面，多机器人（控制对象）均通过蓝牙与计算机相连接；按下空格键后，SSVEP 刺激范式开始不间歇闪烁，受试者开启总控制脑开关后，试验开始计时。试验过程中受试者根据反馈视频，对机器人进行实时控制（默认初始控制对象为人形机器人），受试者选择并注视期望指令对应的刺激目标，脑电信号将经无线路由器发送至计算机。随后计算机对接收到的脑电数据进行分析，并将识别结果对应的控制指令首先以声音的形式进行播报提醒，同时通过蓝牙串口将指令发送至控制对象（多机器人），从而实现对多机器人的实时控制与策略调整。试验过程中，受试者会根据反馈视频拍摄的多机器人的执行情况及所处位置做出适当的路径和控制规划的调整，从而一步步地控制多机器人完成指定协同任务。

试验过程中，工作人员会对整个试验过程进行录像，每次试验结束后，组织受试者观看录像并分辨出错误的指令。此外，另一名工作人员对受试者相关的试验数据进行记录，包括：试验耗时、碰撞障碍物次数等。

对于本文所提出的直接脑控 MRC 任务研究平台，分别进行了指令测试试验与脑控 MRC 任务试验。如表 2 所示，呈现了 10 名受试者的指令测试试验（每人 3 次试验）的用时、单指令平均触发时间、指令准确率、最大值、最小值、均值 ± 标准差。

脑控系统指令测试试验情况

每名受试者经过熟悉指令与初步的训练后，在既定的控制策略下对多机器人均进行了 3 次控制试验。如表 3 所示，呈现了 10 名受试者脑控 MRC 任务的试验用时、总指令数、错误指令数、指令准确率、碰触障碍次数（即碰壁次数）、脑开关触发次数、脑开关错误触发次数、脑开关准确率、最大值、最小值、均值 ± 标准差（或均值）。

受试者脑控 MRC 任务试验

BCI 与机器人学的一个重要交叉融合是直接脑控机器人，这一技术有望实现人脑—机器人之间的直接交互，更进一步的是促进脑—机器人的智能交互融合。传统的研究大多是脑控单个机器人完成特定任务，然而真实场景的应用往往涉及多个机器人共同协作完成任务。为此，直接脑控 MRC 是一个有待研究的新课题，尚需深入探索，相关研究必然具有一定的科学意义和潜在的应用前景[19]。

直接脑控 MRC 任务要求 BCI 范式稳定、准确和实时，才能安全、可靠和高效地完成任务。在若干 BCI 范式中，本文选用性能优良的 SSVEP-BCI 范式，其在实时控制与应用方面，具备了其他范式无可比拟的优势。在该范式中，人眼注视特定频率的视觉刺激时，受试者大脑视觉皮层会即时出现一个与刺激频率相关的响应[20-21]。与 BCI 中的运动想象和 P300 范式相比，SSVEP 具有高信噪比，能够可靠和快速地进行分类，受试者也无需大量的训练[22-24]。由于 SSVEP-BCI 范式可以提供大脑和计算机之间稳定、准确和实时的通信，故有利于提供灵活多样的脑控机器人命令。

基于 SSVEP-BCI 范式，本试验为脑控人形机器人的运动规划了 8 个指令：运动方向【左转 45°、前进一步（5 cm）、右转 45°、左跨一步（5 cm）、后退一步（5 cm）、右跨一步（5 cm）】和特定动作（下蹲、起立），分别与刺激目标 TL \、UP ^与 TR ^、HQ /、HF 、QF D、ZK I 相对应；为脑控机械臂规划了 11 个指令：整体左转 45°、整体恢复中立、整体右转 45°、后臂前倾 45°、后臂复位、中臂前倾 45°、中臂复位、前臂前倾 45°、前臂复位、手爪张开和手爪咬合，分别与刺激目标 TL \、UP ^、TR ^、HQ /、HF 、QF D、ZK I、ZY ©相对应。

在解码 SSVEP 刺激目标的若干算法中，CCA 算法由于其高效、鲁棒且实现简单等特点被广泛应用于 SSVEP-BCI 系统中。CCA 算法能够使 SSVEP 脑电信号和刺激频率间的相关系数最大化，故而在 SSVEP 脑电信号的频率识别方面具有很高的准确率，另外，相比于其他常规算法（功率谱密度、频率幅值、套索算法、最小能量组等），CCA 算法所具备的先进性不仅体现在具有高适用性、高信噪比、分类精度高等优点，还体现在计算时考虑了 SSVEP 脑电信号的谐波特性，这是很多方法无法顾及的[14-18]。除此之外，CCA 算法还具有较低的计算复杂度，这就意味着 CCA 算法所需的计算成本低，其运算更适用于在线实时 SSVEP-BCI 控制系统。综上，本研究选用 CCA 算法计算脑电信号与特定刺激频率相关性最大值，从而有效识别出受试者的注视意图[25]。

从表 3 所示的 10 名受试者脑控 MRC 任务完成情况可知，系统整体平均用时为（442.4 ± 102.6） s，所用指令总数为（52.4 ± 5.15）个，错误指令为 1.53 个，指令识别准确率为 94.93% ± 5.06%。在试验过程中，机器人碰撞障碍物的次数（即碰壁次数）为 0.6 次；设计的总控制脑开关触发指令数为 2.2 次，错误触发次数为 0.1 次，准确率达到 97.5% ± 7.5%；转换脑开关（转换控制对象）触发指令数为 2.47 次，错误触发次数为 0.23 次，准确率达到 95.97% ± 10.46%。综合试验结果表明，基于 SSVEP-BCI 系统的 CCA 算法，可以稳定、准确和高效地完成脑控 MRC 任务，并验证了总控制脑开关控制整个试验进程的高效性以及转换脑开关在多机器人之间切换的稳定性及其精度。

此外，本研究采用在线实时异步 SSVEP-BCI 方式对多机器人进行控制，由受试者决定发出指令的时间。与同步 SSVEP-BCI 方式相比，异步方式的主要优势是受试者自定节奏进行控制，这种方式更贴近于实际应用，如控制轮椅运动、控制机器人完成任务等[26]。由表 2 脑控系统的指令测试试验结果可知，3 次指令测试的平均指令识别准确率分别为 99.17% ± 2.5%、98.33% ± 3.33%、95.83% ± 5.59%，识别目标指令高效而准确，验证了此试验系统对于脑电信号采集、目标指令输出的准确性、稳定性与快速性，也反映出 SSVEP 刺激界面及其刺激频率的规划排布的有效性。异步方式的实现是 BCI 技术实用化的关键之一，Ramli 等[27]采用有限状态机，以脑电信号与眼电信号相混合来异步导航轮椅，准确率达到 97.88%。Merino 等[26]在异步 SSVEP-BCI 中采用 CCA 算法相关系数的似然比检验，结果表明比支持向量机分类器在检测错误率方面有很大的改进。本研究分析 SSVEP 数据时，利用滑动时间窗（设定为 2 s），每 0.5 s 对数据分析一次，得到最大相关系数，当最大相关系数大于（或等于）设定的阈值（0.6）时，对应的指令被存储为一个待定指令，当最大相关系数不满足阈值条件时，将被存储为一个空指令。这里采用三指令判定原则，即只有当存储的 3 个连续的待定指令相同时，系统才会判定其为一个目标指令并输出。由此判定原则可知，系统识别并输出一个目标指令需 1.5 s。另外，为有效防止指令连发问题，以及考虑到机器人执行指令所用时间，本试验设定每次接收到一条输出指令后，停止 1 s 接收数据，该方法提高了系统指令的正确率以及脑控多机器人协作系统的高效性。

为实现脑控 MRC 完成任务，除了异步 SSVEP-BCI 方式，本研究另设置了两个一键式 SSVEP 脑开关，包括总控制脑开关与转换脑开关。总控制脑开关可随时开始/停止（或暂停）系统的试验进程，可确保系统的安全性、可靠性和稳定性；转换脑开关可平稳地实现多机器人（控制对象）之间的切换。两个脑开关均为基于 SSVEP 而设计，这意味着两者都有 SSVEP 所具有的优势，其稳定、准确和快速等特点是几种无创 BCI 中较为突出的，而且这种脑开关的实现更为方便快捷。另外，尽管脑控开关的设计与其余任务在刺激参数的设置上没有本质的区别，但是在功能映射上却是不同的，具体体现在：脑开关主要是实现任务系统的启动与停止（或暂停任务的执行），特别是实现控制对象的转换，这对于完成协作任务起着至关重要的作用，而其他 SSVEP 按钮在功能映射上是实现对任务系统中各个机器人的具体功能（其余任务）控制。因此综上所述，在构建直接脑控 MRC 任务系统中，本研究所设计的脑开关展现出了其独特优势。

由表 3 试验结果可知，两个脑开关指令的准确率分别为 97.5% ± 7.5% 和 95.97% ± 10.46%，这表明所设定的一键式 SSVEP 脑开关识别率高、稳定性好，能方便快捷地实现所需功用。目前已有若干对脑开关的研究，Liu 等[28]设定了一种脑切换模式，在这种模式下需要用户紧盯刺激目标，其控制方式为同步方式，缺乏灵活性，检测脑开关指令需约 15 s，且实现过程较为复杂。本研究采用一键式 SSVEP 脑开关，受试者可以自定节奏，随时切换控制对象，脑开关指令触发时间最少 1.5 s 触发，且控制精度更高，脑开关的实现也更为方便快捷。Spyrou 等[29]采用多预测组合模型和独立于受试者（subject independent，SI）的分类模型相结合的方法实现脑开关，对于训练和保持数据集，同步准确率分别为 86% 和 85%，而异步准确率仅为 69% 和 66%。Blokland 等[30]采用脑电信号和功能性近红外信号的两种信号组合系统来改善脑开关性能，准确率提高至 79%，该脑开关的实现相对复杂。Lim 等[31]基于 SSVEP 利用彩色视觉刺激设计了一种紧急呼叫系统，其目的是验证 SSVEP 脑开关的实用性。Pan 等[32]提出了基于伪密钥的方法来区分基于异步 SSVEP 脑开关的控制状态和空闲状态，达到开启/关闭系统的效果，作用相当于本研究中的总控制脑开关。与上述研究相比较，本试验所提出的一键式 SSVEP 脑开关在快速性、稳定性、准确性方面表现出良好的性能。

综上所述，对于直接脑控 MRC 任务，本文所提试验方案及其脑开关的设计有效可行。也需要指出，本试验的脑控 MRC 任务不同于控制虚拟机器人，在脑控过程中需要受试者结合现场情况及时做出策略调整，如遇地面不平、地面摩擦情况改变等可能影响机器人的导航走向，又或者由于货物的特性会引起机械臂的夹取问题等。

本文针对直接脑控 MRC 任务这一新课题进行试验研究。为实现这一任务，选用稳定性好、准确性高和反应灵敏的多指令 SSVEP-BCI 范式，并采用性能优良的 CCA 算法识别目标刺激；为面向实际应用，采用异步方式的 SSVEP-BCI，以方便受试者自定节奏进行脑控机器人操作；为确保系统的安全、可靠性以及机器人之间的协作性，设置了两个一键式 SSVEP 脑开关：① 是总控制脑开关，以控制系统的启动/停止；② 是转换脑开关（切换控制对象），以在机器人之间灵活切换。本试验研究表明了直接脑控 MRC 任务的可行性，所提方法可望为未来实用化的脑控 MRC 任务系统提供启示。

在本研究的基础上，本课题组计划未来可开展：① 采用混合 BCI 范式设计新的控制策略，如有效结合 SSVEP 与运动想像范式，进一步提高脑控 MRC 任务系统的性能；② 寻找并优化更为高效的指令识别算法，提高准确率；③ 进一步优化 SSVEP 刺激范式，减轻受试者的视觉疲劳，提高其舒适度。

注：世界机器人大赛 BCI 脑控机器人大赛获奖情况说明（“创新创意奖”）

http://www.worldrobotconference.com/cn/yqs/BCInaokongjiqirendasai/

国家自然科学基金资助项目（81470084，81771926，61763022，61463024）；云南省应用基础研究计划资助项目（2013FB026）；云南省级人培资助项目（KKSY201303048）；云南省教育厅重点资助项目（2013Z130）；昆明理工大学脑认知与脑机智能融合创新团队建设项目资助