学术分享丨基于EEG–EMG人机接口的下肢外骨骼控制

随着学会的队伍不断发展壮大，分支机构的发展愈发完善，丰富多彩的分支活动与学术分享也频频呈现。今年以来，CAAI认知系统与信息处理专委会积极倡导学会“疫情防控不放松，学习充电不间断”的理念，邀请年轻学者结合本专委会自身领域研究精选相关文献进行研究与再解读，本期与大家分享《基于EEG–EMG人机接口的下肢外骨骼控制》。

近年来，外骨骼被视为下肢功能受损患者临床康复的有力工具。近期IEEE Access发表了“Real-Time EEG–EMG Human–Machine Interface-Based Control System for a Lower-Limb Exoskeleton”，文中介绍了一种基于集成了人机接口的下肢外骨骼的康复技术。人机接口记录并处理了基于脑机接口的足部运动想象（EEG）以及记录腿部肌肉的多通道肌电图信号（EMG）。针对在外骨骼行走患者中复制自然模式的运动控制的康复技术设计，文中展示了多模态信号的联合使用如何提高人机接口的准确性、性能和可靠性。该研究还涉及了多模态人机接口数据收集、处理和分类的算法。这个系统可以在一个运动过程中实时分析多达15个信号。以EMG信号为补充反映了运动意图，使控制系统可以启动和区分左右腿的运动，可靠性高。

1. 系统总体方案设计

基于脑电图-肌电图人机接口的外骨骼控制系统主要包括以下几个部分：(1)脑电图和肌电图信号记录模块；(2)脑电图和肌电图信号的处理和分类模块；(3)外骨骼的控制系统;(4)下肢外骨骼。

信号记录模块记录被试进行运动想象时的脑电图信号和腿部运动时的肌电信号。将脑电图和肌电图数据发送到处理分类模块，用一个特征提取程序对原始数据进行预处理。分类器通过分析被处理过的数据去识别动作意图。在预测运动意图后，控制系统向外骨骼发送响应命令，最终执行目标运动。基于人机交互的外骨骼控制系统的设计方案如图1所示,(a)基于脑电信号的人机接口和(b)基于肌电信号的人机接口。

图1 在线下肢外骨骼控制系统

A. 脑电图信号记录模块

脑电图信号是用经认证的NVX 52放大器(LLC“医疗计算机系统”，俄罗斯)记录的。七个电极用于记录脑电图(C5，C3，C1，Cz，C2，C4，C6)，按照国际10-10方案排列（如图2所示）。与其他方案(例如，10-20)相比，这种方案提供了感兴趣区域的更致密的涂层。将参考电极放在耳垂上。接地电极放在前额。信号采样率为500Hz。电极下的电阻不超过10 kΩ。

图2 10–10系统中的脑电图电极分布

B. 肌电信号记录模块

一次性凝胶电极连接到NVX 52放大器的电线上。每个肌电图通道使用两个电极，这两个电极有一个共同的参考点。每条腿上有四个肌电图通道，分别记录肌筋膜张肌(MTFL)、股直肌(MRF)、股二头肌(MBF)和腓肠肌（MG）的肌电图。腿部肌电图电极的位置如图3所示。

图3 腿部肌电图电极的位置

C. 下肢外骨骼

图4所示的下肢外骨骼是由科学和生产公司“MADIN”(俄罗斯下诺夫哥罗德)与国家研究罗巴切夫斯基州立大学(俄罗斯下诺夫哥罗德)合作设计的。外骨骼旨在帮助康复训练或行走辅助。

外骨骼由机械体和控制及传感器系统组成。机械主体包括一个安装有控制单元和电池的框架，以及连接到框架上的两条腿。每条腿由一个股骨和膝盖驱动装置组成，通过滑动装置连接。腿的长度可以调节，以适应不同身高的病人。每条腿的末端都有一个带回位弹簧的鞋垫。驱动装置包括减速器、电动机和模拟角度传感器，由连接到中央控制单元的驱动控制器控制。控制单元命令驱动器执行所需的运动，同时分析来自传感器的读数，以控制设定运动的精度。外骨骼可以执行站立、坐下和各种行走等动作。运动启动可以由肌电信号和/或脑电信号分类器产生的控制信号来执行。出于安全原因，在分类结果不正确的情况下，总是可以从按钮控制台截取系统控制。

图4 集成了多模态人机接口的下肢外骨骼的实验室设备

2. 方法

原始的脑电图和肌电图数据分别用频率范围为8-15Hz和10-300Hz的带通滤波器滤波。我们还应用了 Notch滤波器来消除50 Hz的电源电压干扰。在特征提取方面，EMG采用均方根（RMS）提取特征，EEG采用公共空间模式（CSP）提取特征。基于EMG和基于EEG的分类都是使用线性判别分析（LDA）方法进行的。图5显示了使用LDA方法进行分类的示例。应该注意的是，这里我们执行了基于EMG的多类识别。(a)根据命令的背景对输出类别进行排序；(b)分类结果模糊矩阵。一个类别的准确度显示在绿色单元格中，错误分类结果占目标类别样本数量的百分比显示在红色单元格中。LL:表示类别为左腿；RL:表示类别为右腿。

图5 基于EMG分类的例子

3. 实验

实验中招募了8名健康的志愿者，通过对研究对象的采访，找出他们的哪条腿占主导地位。实验时间不超过90分钟。实验由两部分组成，第一部分包括训练和测试人机接口仅使用足部的运动想象控制外骨骼的性能。第二部分，进行真实的足部运动动作的测试。

A. 基于运动想象的人机接口

在我们的研究中，为了提高分类的准确性，我们使用了仅基于一只优势足的运动想象。在整个训练和测试过程中，受试者穿着外骨骼站立。

图6 运动想象命令的显示界面

分类器的训练期间，当被试者集中注意力于呼吸时，让被试者执行两个命中的一个：想象优势腿的运动或者休息。通过显示器向对象发出命令。显示器上图像的例子如图6所示，一个“右/左”箭头的图像表示相应的腿部运动，一个十字表示休息状态。在监测期间，受试者在休息（与训练期间的休息不同）期间和准备阶段显示器上均无任何图像。每个4-s命令被呈现5次。间刺激间隔为3s(此时显示器无图像)。分类器训练时间为1 min 10 s。一个训练会话的组合如图7中的a所示。

当训练完成后，每个受试者都有三次控制外骨骼的测试。每个命令在测试会话中重复5次。指令持续时间为4s，刺激间期增加到10s。指令是随机的。测试时，分类器每0.5s分析一次信号，并将分析结果通过视觉反馈给操作员。如果分类器识别出任务与给定的命令一致，那么从屏幕中心的圆圈开始的绿色标尺就会一直填充到屏幕的边缘，当识别到是另一种任务时，绿色标尺便会停止填充。如果4s的分类都争取，则下肢外骨骼会往前走一步，否则不会进行任何动作。测试阶段的会话如图7中的b所示。

图7 (a)为训练阶段的会话；(b)为测试阶段的会话；FB：反馈结果

B. 基于EMG的人机接口

为了训练分类器，将三个运动类中的一个随机呈现给测试对象:“尝试用左脚走路”(LL类)、“尝试用右脚走路”(RL类)和“中立位置”(rest)。与前一个案例一样，受试者也会看到相应的图像(图5)。每个类别的命令持续3秒，间隔10秒。训练时间为220秒。在测试过程中，通过外骨骼的反应对受试者进行反馈。在正确分类的情况下，外骨骼运动相应的足部。在分类不正确的情况下，外骨骼没有执行任何动作。

4. 结果

A. 基于下肢运动想象的对外骨骼的EEG实时控制

只是区分足部动还是不动的意图，分类结果如图8所示。平均准确率78.3%。

B. 基于下肢真实运动的对外骨骼的EEG实时控制

也是只区分运动（不区分左右腿，左右腿的运动都算运动）和静止，分类结果如图9所示，其中(a)为二分类结果（不区分左右腿，类别只分足部的运动和休息两类），(b)为三分类结果（类别分左腿运动，右腿运动以及休息三类）。二分类平均准确率为78.13%，三分类平均准确率为51.31%。三分类的准确率虽然比机会概率33.3%高，但仍不足以控制外骨骼。

C. 基于下肢真实运动对于外骨骼的EMG实时控制

基于足部真实运动的EMG的分类结果如图10所示，其中ALL 4:使用全套肌电图通道，仅使用一个肌电图通道时:TFL:阔筋膜张肌；RF:股直肌；BF:股二头肌；G:腓肠肌。使用所有通道信息（ALL 4）的三分类准确率为83.4%，使用特定的3个通道（TFL + RF + BF）的三分类的准确率最高，为85.8%。

图10 基于足部真实运动的EMG的分类结果

D. 对基于EEG-EMG的多模态人机接口的离线分析

与检测足部运动想象不同的是，我们可以结合脑电图和肌电图信号来预测足部的真实运动。我们开发了两种结合EEG和EMG的方案（如图11所示）:(i)基于CSP特征提取和LDA分类的人机接口(图a)和(ii)基于单独特征提取和分类的人机接口，其结果通过逻辑算子“and”和“OR”进行组合(图b)。这里我们使用了基于EEG和EMG的两类分类(1:不区分左右侧的足部运动;2: 休息)（动与不动），不考虑三分类，因为EEG三分类效果太差。

图11 两种结合EEG和EMG的方案

图11 a所示的融合两种信号方案的分类结果的准确率为80%，可以认为是基于EEG分类结果（二分类：78.13%）以及基于EMG分类结果（二分类：89%）的一种“平均”。对于图11b所示的方案b，文中使用了真阳率（TPR）、假阳率（FPR）、真阴率（TNR）、假阴率（FNR）以及平衡准确度（BA）等分类性能指标。结果见表1，并在图12中可视化。我们可以看到，单独利用EMG和“或”组合是运动试验分类中最好的信号类型。而在静止状态的分类中，“与”和EMG信号的组合优于EEG和“或”类型的信号。对于假阳性，“与”组合和EMG信号是最准确的，这些类型的信号明显优于EEG和“或”组合类型的信号。对于假阴性，“或”组合最准确，而“与”组合最不准确。

图12 在FPR 和TPR中的分类结果

表1 不同分类条件下的结果

5. 结论

文中模拟了受试者控制与多模态人机界面结合的外骨骼的真实条件。文中还提出了一种基于足部运动想象或足部真实运动的多模态人机接口的控制系统。所有实验都是在受试者穿戴外骨骼并使用多模态人机接口进行控制的在线程序中进行的。文中还表明，少量的脑电图电极(七个电极)足以提供有效的在线控制。在实验中，基于足部运动想象的EEG的分类准确率为78.3%,与基于足部真实运动的EEG的分类准确率（78.13%）很接近。基于足部真实运动的EMG的两/三分类准确率分别为89%/83.4%。

基于从EEG+EMG组合中用CSP提取特征并随后进行LDA分类，我们获得了等于80%的准确率。文中证明了用于检测外骨骼操作者的运动意图的多模态方法可以通过降低FPR或者提高阳性检测率来提高运动预测的可靠性。文中关EEG和EMG组合的发现可以进一步应用于机器人外骨骼使用的临床康复协议中，涉及到个体需求、神经肌肉障碍和康复治疗状态等领域。以后的工作中，可以使用经颅磁刺激，刺激特定的表征区域，以改善从中心到外围的控制信号传导。

本文由CAAI认知系统与信息处理专委会供稿