使用感觉诱发电位对装置的eeg控制
2019-11-22

使用感觉诱发电位对装置的eeg控制

公开了使用感觉诱发电位(SEP)(例如,视觉诱发电位)对装置进行EEG控制。在某些实施例中,系统接收多个EEG信号样本;使用多个EEG信号样本生成刺激锁定的平均信号;以及判断是否响应于刺激模式而诱发多个EEG信号样本。

图7示出根据某些实施例具有非接触式EEG传感器的EEG检测系统。如图所示,EEG检测系统130为由用户戴上的帽或罩的形式,其包括电池710(例如,可再充电的锂离子电池),EEG电路720和到EEG传感器的布线730(非接触式EEG传感器安装于帽内部且因此在由用户戴上帽的此描绘图中不可看到)。在某些实施例中,EEG检测系统130与其它设备/装置,诸如EEG控制系统110无线通信(例如,蓝牙或另一无线协议)。在某些实施例中,电池710、EEG电路720和到EEG传感器730的布线更紧密地集成到帽/罩和/或其它头戴式设备内(如在上文中类似地讨论)且在某些实施例中,当由用户戴上时通常是不可见的。应了解,可使用各种其它设计和头戴式设备来提供本文所公开的EEG检测系统130。

在某些实施例中,该系统用于使用由用户观看闪光所诱发的某些EEG信号来控制装置。举例而言,也可基于所检测的SEP向另一装置(例如,娱乐系统、教育系统、医疗系统、用于汽车的应用和执行应用的计算机)提供控制信号。举例而言,该系统可包括若干个闪光,每个闪光都表示用于控制装置的命令。当用户观看闪光之一时,可使用刺激锁定的平均技术来确定EEG信号中的独特标记存在于用户记录的EEG信号模式中。举例而言,计算装置(例如,编程计算机/膝上型计算机/上网本/便携式计算装置、微控制器、ASIC和/或FPGA)可执行高效且有效的算法(例如,分类器),其持续地检查对应于每个闪光的唯一EEG信号标记。在某些实施例中,算法实时地执行这些判断(例如,在事件的大约3秒内计算这些判断,在此情况下为闪光(或多个闪光)事件(或多个事件))。在某些实施例中,调整各种参数来使得EEG信号最大且提高视觉诱发电位检测速率,诸如光亮度、颜色、间距、频率、占空比和由光所用的视场量。当检测到视觉诱发的电位时,将相对应的命令发送给受控制的

计算所述刺激锁定的平均信号的第一峰值,其中基于所述刺激锁定的平均信号的最大值减去最小值来确定所述第一峰值;以及

可使用各种技术来检测特征性形状,包括在从开始的某延迟处与阈值比较,求某段时间上的平均EEG信号的积分且比较该结果与阈值,或者创建区分是否正在注意光的分类器(classifier)。作为另一实例,可构建理想平均值的原型(B卩,当正在注意光时)且乘以实际平均值。高值结果将指示受到注意的光。可以多种方式来构建原型,包括当已知用户正在观看光时计算EEG平均值、或者当已知用户正在观看光时构建EEG数据的自动回归(regression)模型、和使用该自动回归模型的系数作为原型的数据要素。

处理器,其被配置为:

依靠由思想或高层次感知生成EEG电位的技术是缓慢的。举例而言,利用P300事件相关的电位(ERP),用户必须识别相对稀少的事件,其中所述相对稀少的事件需要事件在时间上相对远地间隔开(例如,十个事件将间隔超一分钟),这限制了利用基于EEG的控制所执行的判断/行为的速度。 因此,需要一种能高效地且有效地判断基于EEG信号的刺激诱发事件(例如,SEP,诸如视觉诱发的电位)的系统和方法。

在上面所公开的方案中,优选地,实时地执行是否响应于刺激事件模式而诱发所述多个EEG信号样本的判断。

图8A-8B示出根据某些实施例用于SEP的EEG系统的LED灯。如图所示,图8A示出LED灯650,其中,关掉了所有四个LED灯(例如,未开启闪烁)。如图所示,图8B示出LED灯650,其中,开启了所有四个LED灯(例如,闪烁开启)。如图所示,LED灯650安装于盒形设备中,其例如能以代表给用户的命令的模式闪烁。在某些实施例中,LED灯系统650的四个单独的LED灯中的每个LED灯都可独立地开启/关闭闪烁。在某些实施例中,LED灯系统650的LED灯以不同的固定频率闪烁。在某些实施例中,LED灯系统650的LED灯以固定模式以可变频率闪烁。在某些实施例中,四个LED灯中每一个以不同频率闪烁。在某些实施例中,LED灯中每个灯的频率以IHz或2Hz来分开(例如,可以下列频率来设置四个LED灯:9Hz、IOHz、11Ηz和12Hz或其它频率,诸如在8Hz至20Hz的范围或者可有效地检测SEP的某些其它频率范围)。在某些实施例中,在LED灯系统650中包括少于四个或多于四个LED。在某些实施例中,闪烁模式受到控制器620控制(例如,使用FPGA控制器,诸如执行Verilog代码的XilinxFPGA芯片来控制闪烁频率)。

可使用各种技术来检测特征性形状,包括在从开始的某延迟处与阈值比较,求某段时间上的平均EEG信号的积分且比较该结果与阈值,或者创建区分是否正在注意光的分类器(classifier)。作为另一实例,可构建理想平均值的原型(B卩,当正在注意光时)且乘以实际平均值。高值结果将指示受到注意的光。可以多种方式来构建原型,包括当已知用户正在观看光时计算EEG平均值、或者当已知用户正在观看光时构建EEG数据的自动回归(regression)模型、和使用该自动回归模型的系数作为原型的数据要素。

在上面所公开的方案中,优选地,所述多个EEG信号样本中的每一个是EEG信号样本的时间序列。

在上面所公开的方案中,优选地,所述刺激事件模式包括周期性地发出闪光的多个光源,包括以第一固定频率发出闪光的第一光源和以第二固定频率发出闪光的第二光源。

在上面所公开的方案中,优选地,所述刺激事件模式包括以固定频率周期性地发出闪光的多个光源。

在上面所公开的方案中,优选地,所述刺激事件模式包括以多个频率周期性地发出闪光的光源,包括以第一频率的第一闪光和以第二频率的第二闪光。

图6是不出根据某些实施例的用于SEP的EEG系统的另一方块图。如图所不,用于SEP的EEG系统100包括:计算机610,其被配置(例如,编程)为对所检测的EEG信号执行SEP判断算法;控制器620,其用于控制LED(闪烁)灯系统650(例如,控制灯闪烁的开始和偏移(offset)的定时和哪些灯以哪种模式闪烁);以及EEG电路630,其用于从EEG传感器136和基准EEG传感器138接收(且在某些实施例中处理)所检测的EEG信号。如图所示,四个LED灯设于LED灯系统650中。在某些实施例中,提供一个或多个LED灯。控制器620还包括FPGA622(或在某些实施例中,任何其它形式的处理器或在诸如ASIC或编程处理器的处理器上执行的软件)。在某些实施例中,控制器620控制LED灯650且还与计算机610和EEG电路630通信。在某些实施例中,控制器620控制闪光且从EEG电路630接收EEG信号(样本)数据。在某些实施例中,控制器还将所接收的EEG信号数据与光定时数据(例如,LED灯系统650的闪烁开始/偏移)组合为串行流,该串行流被发送给计算机610用于进一步分析和处理(例如,使用实时SEP判断算法)。在某些实施例中,控制器620还发送控制信号给受控制的装置(例如,装置150)。

在某些实施例中,EEG检测系统130检测用户的EEG信号,且EEG控制系统110包括处理器,该处理器被配置为对由EEG检测系统130所检测的EEG信号执行SEP判断算法(例如,实时分类算法/分类器)。在某些实施例中,使用各种SEP判断技术(例如,时域SEP判断算法/分类器),如本文所公开的那样。

使用感觉诱发电位对装置的eeg控制

公开了使用感觉诱发电位(SEP)(例如,视觉诱发电位)对装置进行EEG控制。在某些实施例中,系统接收多个EEG信号样本;使用多个EEG信号样本生成刺激锁定的平均信号;以及判断是否响应于刺激模式而诱发多个EEG信号样本。

图14是根据某些实施例用于SEP的EEG系统的另一流程图。在1402,该过程开始。在1404,检测并记录(例如,存储)多个EEG信号样本。在1406,使用EEG信号样本生成刺激锁定的平均信号。在1408,计算刺激锁定的平均信号的峰值,其中基于平均信号的最大值减去最小值来确定第一峰值。在1410,比较该峰值与阈值。举例而言,如果用户经历刺激诱发事件(例如,正在观看闪光),那么平均EEG信号将通常包括在闪烁开始之后不久能注意到的峰值(例如,在这些SEP的大约30ms至50ms偏移之后)。因此,可设置阈值(例如,标记信号)来判断是否存在峰值。在某些实施例中,基于利用特定用户的测试来训练该系统,且基于训练来生成阈值(或者在某些实施例中,为信号标记)。在某些实施例中,使用时间延迟偏移(例如,30ms至50ms)来使得EEG信号样本与刺激事件模式相关以判断是否响应于刺激事件模式而诱发EEG信号样本(例如,SEP判断,诸如响应于视觉事件)。在1412,基于SEP判断来提供控制信号。在1414,该过程完成。

图17是示出根据某些实施例的四个刺激锁定平均值的实例的图。平均值之一已经发展出特征性形状,而其它平均值相对平坦。

在某些实施例中,EEG检测系统130检测用户的EEG信号,且EEG控制系统110包括处理器,该处理器被配置为对由EEG检测系统130所检测的EEG信号执行SEP判断算法(例如,实时分类算法/分类器)。在某些实施例中,使用各种SEP判断技术(例如,时域SEP判断算法/分类器),如本文所公开的那样。

在上面所公开的方案中,优选地,所述处理器还被配置为:

在上面所公开的方案中,优选地,所述多个EEG信号样本中的每一个都包括多个样本点。

图11是示出根据某些实施例对于用于SEP的EEG系统,在光开始之后的平均EEG数据的图。特别地,图11示出在光开始(例如,12HZ闪光事件)之后的平均EEG信号,其中数据的时间序列的平均值被时间锁定到12Hz的闪光。如图所示,闪光锁定的平均信号提供这样的信号形状:其可被识别来检测正在注意光(例如,由用户观察到)从而有效地检测SEP(例如,使用阈值比较和/或标记信号比较,如本文中所讨论的那样)。

图18是示出根据某些实施例的生成闪光锁定的(flash-locked)平均信号的实例的图。

在上面所公开的方案中,优选地,所述刺激事件模式包括以多个频率周期性地发出闪光的光源,包括以第一频率的第一闪光和以第二频率的第二闪光。

图8A-8B示出根据某些实施例用于SEP的EEG系统的LED灯。 图9A-8B是示出根据某些实施例用于SEP的EEG系统的EEG数据和灯控制信号数据的图。

图14是根据某些实施例用于SEP的EEG系统的另一流程图。在1402,该过程开始。在1404,检测并记录(例如,存储)多个EEG信号样本。在1406,使用EEG信号样本生成刺激锁定的平均信号。在1408,计算刺激锁定的平均信号的峰值,其中基于平均信号的最大值减去最小值来确定第一峰值。在1410,比较该峰值与阈值。举例而言,如果用户经历刺激诱发事件(例如,正在观看闪光),那么平均EEG信号将通常包括在闪烁开始之后不久能注意到的峰值(例如,在这些SEP的大约30ms至50ms偏移之后)。因此,可设置阈值(例如,标记信号)来判断是否存在峰值。在某些实施例中,基于利用特定用户的测试来训练该系统,且基于训练来生成阈值(或者在某些实施例中,为信号标记)。在某些实施例中,使用时间延迟偏移(例如,30ms至50ms)来使得EEG信号样本与刺激事件模式相关以判断是否响应于刺激事件模式而诱发EEG信号样本(例如,SEP判断,诸如响应于视觉事件)。在1412,基于SEP判断来提供控制信号。在1414,该过程完成。

判断是否响应于刺激事件的模式而诱发所述多个EEG信号样本,其中:

使用感觉诱发电位对装置的EEG控制

本发明涉及EEG检测系统,并且更特别地,涉及可以被用于SEP应用和/或使用SEPs的对装置的EEG控制的EEG检测系统。

使用感觉诱发电位对装置的eeg控制

公开了使用感觉诱发电位(SEP)(例如,视觉诱发电位)对装置进行EEG控制。在某些实施例中,系统接收多个EEG信号样本;使用多个EEG信号样本生成刺激锁定的平均信号;以及判断是否响应于刺激模式而诱发多个EEG信号样本。

在上面所公开的方案中,优选地,所述处理器还被配置为:

通过使用时域分类器来执行是否响应于刺激事件模式而诱发所述多个EEG信号样本的判断;以及

图15是示出根据某些实施例的不同刺激频率类型的图。如图所示,光输入信号的刺激频率可以是单个固定频率,诸如方波,符号(sign)或三角波,具有调制的载波。在某些实施例中,使用混合频率刺激,其中混合频率刺激为,例如加在一起的两个或更多个的固定频率的组合。在某些实施例中,使用各种其它类型的非周期性信号且与时域分析相匹配。举例而言,具有调制的载波将类似于具有与不同的较小的信号组合的在固定频率处的大的正弦波分量的FM无线电信号。作为另一实例,可通过在频率中添加某些变化来调整单频率刺激。应了解,还存在许多方式来构建伪随机码,诸如在蜂窝电话网络中使用的CDMA代码。

通过比较所述刺激锁定平均值与阈值来进行是否响应于刺激事件模式而诱发所述多个EEG信号样本的判断;或者

图13是根据某些实施例用于SEP的EEG系统的流程图。

通过比较所述刺激锁定平均值与阈值来进行是否响应于刺激事件模式而诱发所述多个EEG信号样本的判断;或者

图1是示出根据某些实施例的用于SEP的EEG系统的方块图。如图所示,用于SEP的EEG系统100包括EEG控制系统110、EEG检测系统130和装置150。在某些实施例中,装置150受到EEG控制系统110控制。在某些实施例中,装置150被包括于用于SEP的EEG系统中或者与用于SEP的EEG系统集成,如图所示,且使用串行或其它通信信道与装置150通信。在某些实施例中,装置150与用于SEP的EEG系统100分开且使用有线或无线通信与EEG控制系统110通信。在某些实施例中,EEG控制系统110使用串行或其它通信信道(例如,有线或无线)与EEG检测系统130通信。

图13是根据某些实施例用于SEP的EEG系统的流程图。在1302,该过程开始。在1304,检测到多个EEG信号样本。在1306,使用EEG信号样本生成刺激锁定的平均信号。在某些实施例中,确定EEG信号的平均值,其时间锁定到光开始和/或偏移事件(或多个光开始和/或偏移事件)。举例而言,对于在光开始之后的规定时段(例如,50ms),记录EEG信号,且在一个或多个光开始中的每次开始之后执行这种记录。然后所得到的50msEEG片段一起被平均以提供平均信号。在1308,判断是否响应于刺激事件模式而诱发EEG信号样本(例如,SEP判断,诸如响应于视觉事件)。例如,可使用各种技术来检测刺激锁定的平均信号的特征性形状,包括在从开始的某延迟处与阈值比较,求某段时间上的平均EEG信号的积分且比较该结果与阈值,或者创建区分是否正在注意光的分类器。作为另一实例,理想平均值的原型(即,当正在注意光时)可被构建且被乘以实际平均值。高值结果将指示注意到光。可以多种方式来构建原型,包括当已知用户正在观看光时计算EEG平均值,或者当已知用户正在观看光时构建EEG数据的自动回归模型,和使用该自动回归模型的系数作为原型的数据要素。在1310,基于SEP判断来提供控制信号。在1312,该过程完成。

通过求所述EEG信号数据的积分以生成结果且比较所述结果与阈值来进行是否响应于刺激事件模式而诱发所述多个EEG信号样本的判断;或者

图3是示出根据某些实施例的EEG检测系统的功能图。

可使用各种技术来检测特征性形状,包括在从开始的某延迟处与阈值比较,求某段时间上的平均EEG信号的积分且比较该结果与阈值,或者创建区分是否正在注意光的分类器(classifier)。作为另一实例,可构建理想平均值的原型(B卩,当正在注意光时)且乘以实际平均值。高值结果将指示受到注意的光。可以多种方式来构建原型,包括当已知用户正在观看光时计算EEG平均值、或者当已知用户正在观看光时构建EEG数据的自动回归(regression)模型、和使用该自动回归模型的系数作为原型的数据要素。

图2是示出根据某些实施例的EEG控制系统的功能图。如图所示,EEG控制系统130包括:EEG检测通信元件112,其用于与EEG检测系统130通信;处理器114,其用于对由EEG检测系统130所检测的EEG信号执行SEP判断算法;输出控制118,其用于与装置150通信;LED通信122,其用于与一个或多个LED(例如,闪烁的LED灯系统)通信;以及数据存储装置124(例如,用于存储接收到的EEG信号样本和相关联的定时数据,诸如闪烁LED灯);以及通信链路120。

举例而言,受控制的装置可为玩具且当该系统识别出用户正在观看闪光之一时,那么玩具将发生有趣的事情(例如,基于来自用于检测SEP的系统的命令)。作为另一实例,在视频游戏内的物体可闪光,且游戏可识别到用户正在观看什么(例如,哪个闪光物体)且将其合并到游戏内。作为另一实例,在飞行模拟器或军事或其它应用内的物体可闪光,且游戏可识别到用户正在观看什么(例如,哪个闪光物体)且将其合并到该应用内。作为另一实例,受控制的装置可为编程计算机或者任何设备,其允许不能用他们的手但需要能力的用户做出系统选择。作为另一实例,受控制的装置可为汽车应用,其中驾驶员和/或乘客的汽车界面的选择或设置。举例而言,EEG检测系统可为由用户佩戴的罩的形式和/或集成到汽车座位的车座枕头内且闪烁的光/闪光可集成到汽车的控制台/仪表板内用于控制收音机、温度或其它控制/设置,或者与汽车或其它装置的各种其它EEG应用组合,其中所述其它装置诸如为心理状态监视器(例如,为了确定注意力、焦虑、吃惊和/或疲劳状态,诸如用于汽车、飞机或任何其它装置的驾驶员)。

技术领域

在上面所公开的方案中,优选地,所述刺激事件模式包括下列中的一个或多个:视觉刺激事件模式;声音刺激事件模式;以及触觉刺激事件模式。 在上面所公开的方案中,优选地,所述刺激事件的模式包括多个光源,每个光源都提供独立的闪光事件。