拒识 · 可靠的决策 · Jev-style 研究计划

没有人下指令时,EEG 解码器误触发有多频繁?

在本站的空闲协议上,EEGNet 在 60 个空闲试次里没有一次误触发,但 60 条指令只检出 1 条。在 EEGMAT 和 BETA 上,一个 Jev-style 研究计划的第一条路线测量了解码器什么时候该拒绝作出决定。

测量所用数据集:ds003810、EEGMAT、BETA、ds005342、YSU asynchronous SSVEP-BCI dataset · 方法:EEGNet、LaBraM、CBraMod、ShallowFBCSPNet、Deep4Net、CSP+LDA、CCA

简答

取决于解码器执行得有多频繁:从不执行的解码器,也就从不误触发,所以误触发只有和它检出的指令放在一起读才有意义。在 4 名被试的提示同步空闲测试中,触发最少的解码器 EEGNet 在空闲试次里的误触发为 0 / 60,但指令只检出 1 / 60,并且有 2 名被试的阈值拒绝了全部指令。在另一组 20 名被试的测试中,CCA 解码器使用在更早一个试点上固定的阈值,在有意发出指令时接受了 748 / 960 个窗口,在无意发出指令的三种状态下分别误接受了 49 / 240、93 / 240 和 107 / 480。改用每名被试自己的 96 个窗口拟合阈值后,被误接受的非控制窗口总体减少,每种状态下也都减少了,但被接受且正确的指令占比并没有提高;这项对比无法区分“按人拟合阈值”和“仅仅多了这些标签”各自的作用。

0 / 60EEGNet:空闲误触发,4 名被试

没有误触发,60 条指令只检出 1 条

阈值只用校准数据来选;4 名被试中有 2 名的阈值拒绝了所有指令。

两个数字,每种方法

指令检出与空闲误触发

4 名被试;测试集共 60 个空闲试次和 60 个指令试次;指令在提示后 3 秒内被检出才算。按指令检出率排序。

整个测试集上的计数,下方为百分比。“始终拒识”指校准得到的阈值拒绝了全部指令的被试人数。
方法训练方式3 秒内检出的指令空闲误触发始终拒识
ShallowFBCSPNet从头训练 · 20 轮26 / 6043.3%指令检出率 43.3%1 / 601.7%1共 4 名被试
CSP+LDA监督拟合14 / 6023.3%指令检出率 23.3%0 / 600.0%1共 4 名被试
LaBraM冻结编码器 + 线性分类头11 / 6018.3%指令检出率 18.3%2 / 603.3%0共 4 名被试
CBraMod冻结编码器 + 线性分类头11 / 6018.3%指令检出率 18.3%1 / 601.7%1共 4 名被试
Deep4Net从头训练 · 20 轮2 / 603.3%指令检出率 3.3%1 / 601.7%1共 4 名被试
EEGNet从头训练 · 20 轮1 / 601.7%指令检出率 1.7%0 / 600.0%2共 4 名被试

明确的非控制状态 · 20 名被试 · 规则在评分前固定;全局阈值来自 4 人试点

没人想发指令时,它会不会接受这个窗口?

另一个数据集专门记录了指令之间的状态:注视中央图像但闪烁关闭、看着白墙休息、注视中央而周围目标在闪烁。固定的 CCA 解码器决定是否把每个 1.5 秒窗口当作指令接受,所用的两种规则在这 20 名被试中任何一人被评分之前就已固定:全局阈值只用下文 4 名试点被试的校准窗口拟合;逐人阈值用每名新被试自己 96 个带标签的校准窗口拟合。两种规则在每名被试相同的 96 个留出窗口上评分。

+3.0 pp检测平衡准确率,逐人阈值减全局阈值,同样 20 名被试

逐人阈值把“有没有意图”判断得稍好一些——却没有带来更多正确的指令

配对区间 +0.5 至 +5.7 pp。20 名被试中 10 人提升、8 人变差、2 人不变。提升来自更少的误接受:有意指令的覆盖率几乎没变,而既被接受又正确的指令窗口占比从 68.1% 变为 67.6%。

有意发出指令时:每种规则 960 个窗口,每名被试 48 个。
指标全局阈值 · 在试点上固定逐人阈值 · 用自己的窗口
检测平衡准确率,有指令对无指令76.0%95% 区间 71.6%–80.2%79.0%95% 区间 74.2%–83.8%
被接受的指令窗口(覆盖率)748 / 96077.9%746 / 96077.7%
被接受且正确(端到端)654 / 96068.1%649 / 96067.6%
被接受窗口中的正确率85.8%各被试比率的均值85.1%各被试比率的均值

在任何拒识之前,两种规则下识别出正确频率的指令窗口都是 769 / 960:解码器相同,只有拒识规则不同。检测上升了,正确的指令并没有增加。

无意发出指令时:每种状态下被误接受的窗口,两种规则分列。
状态全局阈值 · 在试点上固定逐人阈值 · 用自己的窗口
注视中央图像,闪烁关闭NS149 / 24020.4%32 / 24013.3%
看着白墙休息NS293 / 24038.8%79 / 24032.9%
注视中央,周围目标在闪烁NS3107 / 48022.3%79 / 48016.5%
三种状态合并全部非控制窗口249 / 96025.9%190 / 96019.8%

检测分数按采集时的比例合并三种状态,每名被试分别为 12、12 和 24 个窗口,所以“周围在闪烁”这一状态的权重是另两种的两倍;最后一行就是合并后的计数。

非控制测试的局限

同一数据集

这 20 名被试与试点来自同一份数据、同一实验室、同一协议;这不是来自独立队列的证据。

每人 96 个标签

逐人规则用了每名被试 96 个带标签的窗口,一半有指令、一半没有。这项比较无法区分“按人拟合阈值”和“仅仅多了这些标签”各自的作用;数据源也没有说明这些窗口与测试窗口的先后,所以“先校准、后使用”在这里尚未检验。

窗口比率

分别采集的 1.5 秒窗口,状态比例固定。它们给出的是窗口比率,不是连续使用中每小时的误触发次数,也不是延迟,更不是人们实际发出指令的频率。

没有幅值单位

数据源没有说明 EEG 数值的物理单位。解码器用的是相关系数,本身无单位。

bootstrap 区间

对 20 名被试做整人 bootstrap,以 4 名试点被试和每次实际的校准划分为条件。

开发集:4 人试点

用每名被试自己的校准试次拟合逐人阈值。这 4 名被试提供了上文的全局阈值,不在那 20 人之中。下表为合并后的窗口计数。

有意发出指令时 · 拒绝困难窗口会抬高被接受窗口中的准确率,但代价是拒绝了被试本想发出的指令。
状态窗口
拒识前识别出正确频率152 / 19279.2%
被接受(覆盖率)130 / 19267.7%
被接受且正确(端到端)121 / 19263.0%
被接受窗口中的正确率121 / 13093.1%
无意发出指令时
状态被误接受
注视中央图像,闪烁关闭9 / 4818.8%
看着白墙休息20 / 4841.7%
注视中央,周围目标在闪烁11 / 9611.5%

离线、逐窗口统计。

为什么四名被试会限制可发布的内容(英文)

YSU asynchronous SSVEP-BCI dataset

Jing Zhao, Qian Zhang, Xinrui Wang, Xueshuo Liu, Jiaxin Li, Fengjie Fan, Zhenhu Liang and Xiaoli Li · An EEG dataset for studying asynchronous steady-state visual evoked potential (SSVEP) based brain computer interfaces, Brain-Apparatus Communication 3(1) (2024), doi:10.1080/27706710.2024.2418650; data at doi:10.6084/m9.figshare.24906300.v3.

实验前,每名被试都签署了书面知情同意;研究经秦皇岛市第一医院伦理委员会审查批准。本站用到了该数据集全部 24 名被试:4 名作为开发试点,20 名作为扩展;只发布队列均值、合并后的窗口计数,以及提升或变差的人数。

数据论文 ↗ · figshare 数据 ↗ · CC-BY-4.0

数据来源: extension-update.json · schema bci-report-extension-update-v1。

数据来源: 已审核的聚合 JSON · schema bci-report-context-update-v1。

方法与局限

空闲测试的局限

4 名被试

在这个规模下,平均值离每个人都很近:公开的比率可以还原成计数,计数又能缩小到两个人中的一个。

三分钟的空闲

测试中只有 180 秒的空闲,不足以估计无提示休息中每小时的误触发次数。

提示同步

每次提示都会重新开始检测,所以解码器总是知道决策窗口已经打开。一个必须自己察觉意图的系统,面对的问题比这个协议测的更难。

这个协议上没有测概率质量

这些都是经过阈值的决策。概率校准在 EEGMAT 和 BETA 上测量,见下文“可靠的决策”。

四人队列的完整算法(英文)

ds005342 · Seated motor imagery · cue-gated replay

OpenNeuro ds005342 contributors · version 1.0.3, doi:10.18112/openneuro.ds005342.v1.0.3; associated study doi:10.3389/fninf.2022.961089. Original author credits are retained at the linked source.

数据源 README 写明被试自愿签署了同意书,并经 Universidad Antonio Nariño 伦理委员会批准。这里只发布队列级聚合结果。

OpenNeuro 数据集 ↗ · 相关研究论文 ↗ · CC0-1.0

数据来源: 已审核的聚合 JSON · 本协议的 CSV · research-preview-20260920。

可靠的决策 · 下文计划的第一条路线 · EEGMAT 与 BETA

解码器什么时候应该拒绝作出决定?

第一条路线取本站已发布模型保存下来的测试分数——EEGMAT 上 36 名被试,心算对静息;BETA 上 70 名被试,40 目标的 SSVEP 拼写——在事先固定的四条规则下,看每个解码器本该拒绝哪些试次。全覆盖时的准确率都是已发布的数值;两种 LaBraM 配置用的是适配发布中随机种子 20260922 的均值。

评分之前固定的四条规则

校准分数里从不包含测试被试:每个外层折中,训练被试分成四组,每组由在另外三组上训练的模型评分。区间是配对的被试 bootstrap 95% 区间,重抽样 2,000 次,不做多重比较校正。只有区间不含零时,一个对比才称为有差异;比率之间的差值以百分点(pp)表示。

同一个固定阈值,对每种方法都是不同的策略

同一个截断点——校准后最高类别的概率不低于 0.8 就接受——对不同的解码器、不同的被试,接受的比例相差很大。

BETA · 70 名被试 · 11,200 个试次,在 40 个目标上均匀分布。方法按核心矩阵中的顺序排列。
方法全部接受时的平衡准确率置信度 ≥ 0.8 时被接受被接受试次中的错误率一个都没被接受的被试截断点以 80% 为目标时的覆盖率
Standard CCA63.1%已发布的数值3,176 / 11,200覆盖率 28.4% · 95% 区间 22.9%–34.2%被接受的试次占 28.4%4.3%95% 区间 2.7%–6.8%0共 70 名被试79.7%95% 区间 75.0%–84.0%
CBraMod33.7%已发布的数值165 / 11,200覆盖率 1.5% · 95% 区间 0.8%–2.3%被接受的试次占 1.5%22.4%95% 区间 5.9%–45.1%38共 70 名被试76.4%95% 区间 72.8%–80.0%
EEGNet55.8%已发布的数值1,863 / 11,200覆盖率 16.6% · 95% 区间 12.5%–21.0%被接受的试次占 16.6%5.5%95% 区间 2.8%–9.1%10共 70 名被试80.5%95% 区间 75.6%–85.1%
BETA:固定阈值下覆盖率的配对差值,前一种方法减后一种
方法对差值判定
Standard CCA − CBraMod+26.9 pp95% 区间 +21.7 至 +32.4 pp可以认定有差异
Standard CCA − EEGNet+11.7 pp95% 区间 +7.8 至 +16.2 pp可以认定有差异
CBraMod − EEGNet−15.2 pp95% 区间 −19.2 至 −11.5 pp可以认定有差异
EEGMAT · 36 名被试 · 2,160 个窗口,一半静息、一半心算。方法按核心矩阵中的顺序排列。
方法全部接受时的平衡准确率置信度 ≥ 0.8 时被接受被接受试次中的错误率一个都没被接受的被试截断点以 80% 为目标时的覆盖率
Spectral ridge56.8%已发布的数值3 / 2,160覆盖率 0.1% · 95% 区间 0.0%–0.3%被接受的试次占 0.1%0 / 3被接受的里判错的不稳定:被接受的少于 10 个,不据此读出比率33共 36 名被试80.6%95% 区间 78.9%–82.3%
EEGNet67.6%已发布的数值126 / 2,160覆盖率 5.8% · 95% 区间 2.3%–10.6%被接受的试次占 5.8%42.1%95% 区间 13.0%–61.4%19共 36 名被试79.1%95% 区间 74.9%–83.2%
LaBraM · 只训分类头,编码器冻结56.9%已发布的随机种子 20260922 均值(适配发布)1 / 2,160覆盖率 0.05% · 95% 区间 0.0%–0.1%被接受的试次占 0.05%0 / 1被接受的里判错的不稳定:被接受的少于 10 个,不据此读出比率35共 36 名被试79.4%95% 区间 77.7%–81.1%
LaBraM · 秩为 4 的 LoRA + 分类头64.4%已发布的随机种子 20260922 均值(适配发布)44 / 2,160覆盖率 2.0% · 95% 区间 0.9%–3.5%被接受的试次占 2.0%22.7%95% 区间 6.3%–45.5%24共 36 名被试81.5%95% 区间 79.1%–83.9%
EEGMAT:固定阈值下覆盖率的配对差值,前一种方法减后一种
方法对差值判定
Spectral ridge − EEGNet−5.7 pp95% 区间 −10.5 至 −2.1 pp可以认定有差异
Spectral ridge − LaBraM(只训分类头)+0.1 pp95% 区间 0.00 至 +0.2 pp不能认定有差异
Spectral ridge − LaBraM(LoRA)−1.9 pp95% 区间 −3.3 至 −0.8 pp可以认定有差异
EEGNet − LaBraM(只训分类头)+5.8 pp95% 区间 +2.2 至 +10.6 pp可以认定有差异
EEGNet − LaBraM(LoRA)+3.8 pp95% 区间 +0.4 至 +8.2 pp可以认定有差异
LaBraM(只训分类头) − LaBraM(LoRA)−2.0 pp95% 区间 −3.4 至 −0.9 pp可以认定有差异

相同覆盖率下的错误率

在 BETA 上,固定阈值达到的最小覆盖率是 11,200 个试次中的 165 个(1.5%,来自 CBraMod)。于是每种方法都只接受自己最有把握的 165 个试次,阈值就从比较中去掉了:

BETA:每种方法最有把握的 165 个试次中的错误率,以及配对差值。
方法最有把握的试次中的错误率判定
Standard CCA0.6%95% 区间 0.0%–2.3%描述性水平,不作判定
CBraMod22.4%95% 区间 5.9%–45.1%描述性水平,不作判定
EEGNet8.5%95% 区间 0.0%–28.5%描述性水平,不作判定
Standard CCA − CBraMod−21.8 pp95% 区间 −44.6 至 −5.1 pp可以认定有差异
Standard CCA − EEGNet−7.9 pp95% 区间 −28.2 至 +1.7 pp不能认定有差异
CBraMod − EEGNet+13.9 pp95% 区间 +5.3 至 +22.2 pp可以认定有差异

在 EEGMAT 上,这个共同覆盖率只有 2,160 个窗口中的 1 个:被接受的少于 10 个,所以不作判定。

可学习的拒识选项,没有胜过模型自己校准后的置信度

分类器保持不变,把可学习的拒识选项 L(它还能看到一份信号的频谱描述)与同一分类器校准后的置信度 S 相比,测试试次也相同。两个指标:风险—覆盖率曲线下面积(AURC;越低,说明错误越集中在最没把握的试次里),以及各自最有把握的 80% 试次中的错误率。在 80% 覆盖率下,没有一种方法上 L 的错误率比 S 低;凡是能认定有差异的,都是 L 错得更多。按 AURC,L 只在 BETA 的 CBraMod 上排序更好,在 EEGMAT 的 LaBraM(只训分类头)上更差;其余对比都不能认定有差异。

EEGMAT · 36 名被试。
方法AURC · 置信度 SAURC · 拒识选项 LL − S(AURC)80% 覆盖率下的错误率 · S80% 覆盖率下的错误率 · LL − S(80% 覆盖率下的错误率)
Spectral ridge0.38695% 区间 0.348–0.4280.39995% 区间 0.359–0.440+0.01395% 区间 −0.006 至 +0.029不能认定有差异41.4%95% 区间 38.9%–43.9%41.9%95% 区间 39.2%–44.4%+0.5 pp95% 区间 −1.2 至 +1.7 pp不能认定有差异
EEGNet0.29395% 区间 0.211–0.3680.30995% 区间 0.238–0.379+0.01695% 区间 −0.014 至 +0.050不能认定有差异29.5%95% 区间 23.9%–35.0%31.8%95% 区间 27.0%–36.9%+2.3 pp95% 区间 +0.6 至 +4.1 pp可以认定有差异
LaBraM · 只训分类头,编码器冻结0.39695% 区间 0.351–0.4410.42295% 区间 0.378–0.466+0.02695% 区间 +0.005 至 +0.046可以认定有差异42.9%95% 区间 39.0%–45.8%43.6%95% 区间 40.2%–46.6%+0.6 pp95% 区间 −0.5 至 +2.7 pp不能认定有差异
LaBraM · 秩为 4 的 LoRA + 分类头0.30895% 区间 0.245–0.3730.32395% 区间 0.267–0.379+0.01595% 区间 −0.011 至 +0.041不能认定有差异33.2%95% 区间 28.6%–37.4%35.1%95% 区间 30.7%–39.8%+1.9 pp95% 区间 +0.6 至 +3.5 pp可以认定有差异
BETA · 70 名被试。
方法AURC · 置信度 SAURC · 拒识选项 LL − S(AURC)80% 覆盖率下的错误率 · S80% 覆盖率下的错误率 · LL − S(80% 覆盖率下的错误率)
Standard CCA0.14595% 区间 0.105–0.1940.14695% 区间 0.107–0.196+0.00295% 区间 −0.004 至 +0.008不能认定有差异27.2%95% 区间 20.8%–33.9%27.4%95% 区间 21.1%–34.5%+0.3 pp95% 区间 −0.3 至 +1.0 pp不能认定有差异
CBraMod0.49795% 区间 0.430–0.5660.47395% 区间 0.413–0.538−0.02495% 区间 −0.039 至 −0.007可以认定有差异61.7%95% 区间 56.8%–66.5%61.6%95% 区间 57.1%–66.4%−0.03 pp95% 区间 −0.8 至 +0.6 pp不能认定有差异
EEGNet0.20895% 区间 0.161–0.2640.20195% 区间 0.154–0.257−0.00795% 区间 −0.014 至 +0.001不能认定有差异34.8%95% 区间 28.7%–41.4%35.6%95% 区间 29.2%–42.4%+0.8 pp95% 区间 +0.02 至 +1.6 pp可以认定有差异

按校准后的置信度拒识,能换来什么

拒识能换来多少,按协议分别来读,两个协议之间不作比较:一个有四十个目标,一个只有两个类别。在 BETA 上,标准 CCA 全部接受时的错误率是 36.9%,只接受最有把握的一半时降到 12.4%;在 EEGMAT 上,EEGNet 从 32.4% 降到 27.1%。

按校准后的置信度接受一定比例的测试试次时,被接受试次中的错误率。点估计。
方法全部接受最有把握的 80%最有把握的 50%
EEGMAT
Spectral ridge43.2%41.4%39.5%
EEGNet32.4%29.5%27.1%
LaBraM · 只训分类头,编码器冻结43.1%42.9%40.7%
LaBraM · 秩为 4 的 LoRA + 分类头35.6%33.2%29.5%
BETA
Standard CCA36.9%27.2%12.4%
CBraMod66.3%61.7%53.2%
EEGNet44.2%34.8%18.8%

经认证的错误率上限,在新被试身上并不可靠

S-risk 的保证假设校准试次与测试试次可以互换;跨被试时并非如此。在 EEGMAT 上,它对任何方法都没有认证任何一个外层折,所以什么都没有接受。在 BETA 上,每种方法都有被认证的折,而在其中一些折里,新被试的错误率超过了该折自己的目标。合并后的错误率减去目标,对任何方法都不能认定与零有差异。

相对目标下的 S-risk。“超过自身目标的已认证折”统计的是实际错误率超过该折 r* 的已认证外层折。
方法被认证的折被接受被接受试次中的错误率目标 r*(按各折加权)超过自身目标的已认证折错误率减去目标
BETA · 7 个外层折 · 70 名被试
Standard CCA7 / 76,751 / 11,200覆盖率 60.3%17.0%95% 区间 13.3%–21.6%18.5%4 / 7−1.5 pp95% 区间 −5.3 至 +3.2 pp不能认定有差异
CBraMod4 / 7522 / 11,200覆盖率 4.7%33.1%95% 区间 18.7%–48.5%34.9%2 / 4−1.8 pp95% 区间 −16.2 至 +13.6 pp不能认定有差异
EEGNet7 / 75,605 / 11,200覆盖率 50.0%18.9%95% 区间 14.9%–23.7%23.3%2 / 7−4.4 pp95% 区间 −8.5 至 +0.5 pp不能认定有差异
EEGMAT · 5 个外层折 · 36 名被试
Spectral ridge0 / 50 / 2,160什么都没有接受—没有定义:什么都没有接受—没有被认证的折—没有被认证的折—没有定义:什么都没有接受
EEGNet0 / 50 / 2,160什么都没有接受—没有定义:什么都没有接受—没有被认证的折—没有被认证的折—没有定义:什么都没有接受
LaBraM · 只训分类头,编码器冻结0 / 50 / 2,160什么都没有接受—没有定义:什么都没有接受—没有被认证的折—没有被认证的折—没有定义:什么都没有接受
LaBraM · 秩为 4 的 LoRA + 分类头0 / 50 / 2,160什么都没有接受—没有定义:什么都没有接受—没有被认证的折—没有被认证的折—没有定义:什么都没有接受

每个折大约十名被试,所以一个折的错误率也带有抽样噪声;超过目标的折数只是描述性的计数。

按人重新校准,要花每名新被试的标签

R0 用总体温度参数,不用新被试的任何标签;R1 在新被试自己的一段带标签的开头试次上拟合个人温度参数。在 BETA 上,每名新被试 40 个标签,每种方法的 NLL 和 AURC 都下降了。在 EEGMAT 上,每人 10 个标签时,四种方法中有三种的 NLL 上升,且区间不含零:许多个人温度参数退化了,而按协议它们被保留。如果只用这段开头试次重设覆盖率的截断点、不用它们的标签:在 EEGMAT 上用 10 个标签的那段开头时,覆盖率反而离 80% 的目标更远,四种方法中有三种可以认定这一变化。

相同剩余试次上的 R1 减 R0;负值更好。
方法带标签的开头部分每名新被试的标签数NLL 变化(R1 − R0)ECE 变化AURC 变化个人温度参数退化的被试不用标签、只重设截断点:离 80% 目标的距离变化
BETA
Standard CCA第 1 组块(每个目标一个试次)40−0.06595% 区间 −0.103 至 −0.032可以认定有差异−0.01995% 区间 −0.048 至 +0.009不能认定有差异−0.01295% 区间 −0.022 至 −0.005可以认定有差异1 / 70+1.0 pp95% 区间 −4.0 至 +2.2 pp不能认定有差异
CBraMod第 1 组块(每个目标一个试次)40−0.11395% 区间 −0.171 至 −0.048可以认定有差异−0.08395% 区间 −0.120 至 −0.042可以认定有差异−0.05295% 区间 −0.070 至 −0.031可以认定有差异0 / 70−0.3 pp95% 区间 −4.4 至 +3.8 pp不能认定有差异
EEGNet第 1 组块(每个目标一个试次)40−0.08095% 区间 −0.135 至 −0.020可以认定有差异−0.08995% 区间 −0.125 至 −0.048可以认定有差异−0.01695% 区间 −0.027 至 −0.004可以认定有差异0 / 70+2.6 pp95% 区间 −2.9 至 +4.0 pp不能认定有差异
EEGMAT
Spectral ridge每段记录的前 5 个窗口,之后空出 1 个窗口10+0.05495% 区间 +0.017 至 +0.103可以认定有差异+0.05995% 区间 +0.006 至 +0.084可以认定有差异+0.00695% 区间 −0.027 至 +0.039不能认定有差异9 / 36+10.6 pp95% 区间 +4.6 至 +15.8 pp可以认定有差异
Spectral ridge每段记录的前 10 个窗口,之后空出 1 个窗口20+0.02395% 区间 +0.003 至 +0.047可以认定有差异+0.03195% 区间 −0.006 至 +0.061不能认定有差异+0.01395% 区间 −0.022 至 +0.048不能认定有差异9 / 36+1.7 pp95% 区间 −2.0 至 +5.7 pp不能认定有差异
EEGNet每段记录的前 5 个窗口,之后空出 1 个窗口10+0.33395% 区间 −0.051 至 +0.881不能认定有差异−0.04095% 区间 −0.091 至 +0.024不能认定有差异−0.08695% 区间 −0.154 至 −0.014可以认定有差异8 / 36+5.8 pp95% 区间 −1.1 至 +10.3 pp不能认定有差异
EEGNet每段记录的前 10 个窗口,之后空出 1 个窗口20+0.02795% 区间 −0.088 至 +0.185不能认定有差异−0.05195% 区间 −0.095 至 +0.025不能认定有差异−0.10495% 区间 −0.171 至 −0.030可以认定有差异5 / 36+1.7 pp95% 区间 −3.2 至 +6.0 pp不能认定有差异
LaBraM · 只训分类头,编码器冻结每段记录的前 5 个窗口,之后空出 1 个窗口10+0.04795% 区间 +0.016 至 +0.082可以认定有差异+0.05795% 区间 +0.012 至 +0.082可以认定有差异−0.01795% 区间 −0.052 至 +0.018不能认定有差异10 / 36+7.2 pp95% 区间 +2.1 至 +11.1 pp可以认定有差异
LaBraM · 只训分类头,编码器冻结每段记录的前 10 个窗口,之后空出 1 个窗口20−0.00395% 区间 −0.020 至 +0.019不能认定有差异+0.00495% 区间 −0.033 至 +0.032不能认定有差异−0.02995% 区间 −0.064 至 +0.008不能认定有差异10 / 36+2.7 pp95% 区间 −0.7 至 +6.0 pp不能认定有差异
LaBraM · 秩为 4 的 LoRA + 分类头每段记录的前 5 个窗口,之后空出 1 个窗口10+0.93795% 区间 +0.184 至 +1.924可以认定有差异+0.03695% 区间 −0.008 至 +0.078不能认定有差异−0.01995% 区间 −0.075 至 +0.035不能认定有差异9 / 36+6.9 pp95% 区间 +2.8 至 +10.5 pp可以认定有差异
LaBraM · 秩为 4 的 LoRA + 分类头每段记录的前 10 个窗口,之后空出 1 个窗口20−0.02295% 区间 −0.053 至 +0.019不能认定有差异−0.02095% 区间 −0.047 至 +0.022不能认定有差异−0.07295% 区间 −0.118 至 −0.022可以认定有差异4 / 36+1.8 pp95% 区间 −2.7 至 +5.4 pp不能认定有差异

LoRA 与概率质量(EEGMAT)

在 EEGMAT 上,用秩为 4 的 LoRA 适配的 LaBraM,比同一配方只训分类头的版本 NLL 更低:校准后 −0.035(95% 区间 −0.054 至 −0.013)。ECE 不能认定有差异(+0.015;−0.017 至 +0.045)。LoRA 版本的准确率也更高,平衡准确率 64.4% 对 56.9%(随机种子 20260922,即适配发布中的数值;三个随机种子的均值见模型适配页面),所以单凭 NLL 的差距,并不能说明它的概率更诚实。适配本身见「模型适配页面」。

全部接受时的概率质量

温度缩放之后的负对数似然(NLL)、期望校准误差(ECE,15 个等量分箱)与 Brier 分数;模型本身输出概率时,也给出缩放之前的 NLL 与 ECE。各项都是越低越好。NLL 与 Brier 分数取决于类别数,所以 EEGMAT(2 类)与 BETA(40 类)之间不作比较。被试重抽样会使分箱 ECE 偏高,所以较小的 ECE 可能落在其区间的下端。LaBraM 只训分类头的版本,有一个外层折的总体温度参数落在了搜索边界上;它被标记并保留。

全覆盖,95% 被试 bootstrap 区间。
方法NLL(校准后)ECE(校准后)Brier 分数(校准后)NLL(原始)ECE(原始)
EEGMAT
Spectral ridge0.67995% 区间 0.668–0.6910.03795% 区间 0.033–0.0700.48695% 区间 0.475–0.498—不适用:没有原始概率,不是零—不适用:没有原始概率,不是零
EEGNet0.64895% 区间 0.613–0.6930.09995% 区间 0.059–0.1510.45095% 区间 0.422–0.4850.87495% 区间 0.684–1.1020.13595% 区间 0.088–0.200
LaBraM · 只训分类头,编码器冻结0.68395% 区间 0.674–0.6910.03695% 区间 0.034–0.0720.49095% 区间 0.481–0.4980.68395% 区间 0.662–0.7030.06195% 区间 0.046–0.090
LaBraM · 秩为 4 的 LoRA + 分类头0.64895% 区间 0.624–0.6750.05195% 区间 0.040–0.0940.45695% 区间 0.433–0.4810.64795% 区间 0.607–0.6920.04395% 区间 0.038–0.088
BETA
Standard CCA1.47695% 区间 1.247–1.7160.05095% 区间 0.028–0.0790.50495% 区间 0.437–0.572—不适用:没有原始概率,不是零—不适用:没有原始概率,不是零
CBraMod2.80995% 区间 2.638–3.0010.11995% 区间 0.084–0.1540.84395% 区间 0.815–0.871—不适用:没有原始概率,不是零—不适用:没有原始概率,不是零
EEGNet1.91295% 区间 1.670–2.1770.13695% 区间 0.103–0.1680.60795% 区间 0.554–0.6631.90795% 区间 1.665–2.1710.13695% 区间 0.103–0.168
稳健性与探索性分析:各自单独解读

ds003810,运动想象与静息:粗略

10 名被试,每个测试折两人。下面的对比是次要对比。在这里,经认证的风险对任何方法都什么也没有接受。

方法全部接受时的平衡准确率置信度 ≥ 0.8 时被接受一个都没被接受的被试L − S(AURC)L − S(80% 覆盖率下的错误率)被认证的折(S-risk)
Spectral ridge54.9%已发布的数值0 / 1,200覆盖率 0.0%10共 10 名被试+0.00395% 区间 −0.031 至 +0.032不能认定有差异+0.5 pp95% 区间 −1.1 至 +2.3 pp不能认定有差异0 / 5什么都没有接受
CBraMod62.9%已发布的数值7 / 1,200覆盖率 0.6%6共 10 名被试+0.01395% 区间 −0.014 至 +0.030不能认定有差异+0.7 pp95% 区间 −0.8 至 +2.4 pp不能认定有差异0 / 5什么都没有接受
EEGNet71.0%已发布的数值250 / 1,200覆盖率 20.8%0共 10 名被试+0.03895% 区间 +0.009 至 +0.061可以认定有差异+0.9 pp95% 区间 −0.4 至 +2.4 pp不能认定有差异0 / 5什么都没有接受

其余随机种子

已训练方法保存下来的其余每个随机种子,各自有自己的校准、截断点和选择器,在该种子保存的测试预测上评分。

方法数据集随机种子L − S(AURC)L − S(80% 覆盖率下的错误率)
EEGNetEEGMAT20260920+0.00795% 区间 −0.029 至 +0.041不能认定有差异+1.4 pp95% 区间 −0.6 至 +3.2 pp不能认定有差异
EEGNetEEGMAT20260921−0.00195% 区间 −0.045 至 +0.038不能认定有差异+2.3 pp95% 区间 0.00 至 +4.6 pp不能认定有差异
LaBraM · 只训分类头,编码器冻结EEGMAT20260923+0.04495% 区间 +0.013 至 +0.074可以认定有差异+1.9 pp95% 区间 +0.3 至 +3.7 pp可以认定有差异
LaBraM · 只训分类头,编码器冻结EEGMAT20260924+0.02495% 区间 −0.001 至 +0.050不能认定有差异+1.4 pp95% 区间 +0.1 至 +2.8 pp可以认定有差异
LaBraM · 秩为 4 的 LoRA + 分类头EEGMAT20260923+0.02195% 区间 −0.001 至 +0.043不能认定有差异+2.0 pp95% 区间 +0.7 至 +3.2 pp可以认定有差异
LaBraM · 秩为 4 的 LoRA + 分类头EEGMAT20260924+0.02495% 区间 −0.004 至 +0.050不能认定有差异+1.7 pp95% 区间 +0.6 至 +3.2 pp可以认定有差异
EEGNetBETA20260919−0.00295% 区间 −0.011 至 +0.007不能认定有差异+0.9 pp95% 区间 −0.1 至 +1.8 pp不能认定有差异
EEGNetBETA20260920−0.00695% 区间 −0.013 至 +0.002不能认定有差异+0.3 pp95% 区间 −0.5 至 +1.0 pp不能认定有差异
EEGNetBETA20260921−0.01095% 区间 −0.019 至 −0.001可以认定有差异+0.1 pp95% 区间 −0.8 至 +0.8 pp不能认定有差异

两个敏感性分析:只给认证的折数

匹配模型留出:模型在四分之三的训练被试上训练、在其余四分之一上校准,所以校准分数与测试分数来自同一个模型。Platt 缩放(两类)与向量缩放(BETA)代替温度缩放,可能改变预测标签。

方法数据集分析被认证的折超过自身目标的已认证折
Spectral ridgeEEGMAT匹配模型留出0 / 5—没有被认证的折
EEGNetEEGMAT匹配模型留出1 / 50 / 1
LaBraM · 只训分类头,编码器冻结EEGMAT匹配模型留出0 / 5—没有被认证的折
LaBraM · 秩为 4 的 LoRA + 分类头EEGMAT匹配模型留出0 / 5—没有被认证的折
Standard CCABETA匹配模型留出7 / 73 / 7
CBraModBETA匹配模型留出6 / 73 / 6
EEGNetBETA匹配模型留出7 / 71 / 7
Spectral ridgeEEGMATPlatt 缩放0 / 5—没有被认证的折
EEGNetEEGMATPlatt 缩放0 / 5—没有被认证的折
LaBraM · 只训分类头,编码器冻结EEGMATPlatt 缩放0 / 5—没有被认证的折
LaBraM · 秩为 4 的 LoRA + 分类头EEGMATPlatt 缩放0 / 5—没有被认证的折
Standard CCABETA向量缩放7 / 75 / 7
CBraModBETA向量缩放4 / 72 / 4
EEGNetBETA向量缩放7 / 72 / 7

与分类器一起训练的拒识头(探索性)

一个 SelectiveNet 式的 EEGNet,带有自己的选择头 g 一起训练(alpha 0.5,lambda 32,目标覆盖率 0.8)。在同一个模型内,把 g 与它自己分类头校准后的置信度相比;差值为正表示 g 更差。

数据集g − 置信度(AURC)g − 置信度(80% 覆盖率下的错误率)
EEGMAT+0.01195% 区间 −0.012 至 +0.035不能认定有差异+2.4 pp95% 区间 +0.8 至 +4.2 pp可以认定有差异
BETA+0.08095% 区间 +0.061 至 +0.099可以认定有差异+1.9 pp95% 区间 +1.0 至 +2.6 pp可以认定有差异

BNCI2015-001 上的跨天标签预算分析在该数据源暂缓期间不发布(见暂缓登记表)。

第一条路线的局限

方法比较

这里每个协议在设计上都是类别平衡或均匀的:EEGMAT 一半静息、一半心算,BETA 在 40 个目标上均匀,ds003810 类别平衡。这些数字比较的是方法,没有一个是部署时的错误率。在 EEGMAT 上,每个类别各自是一段记录,所以记录层面的差异也是任何模型或选择器都能利用的信息。BETA 是按提示节奏的拼写,没有空闲状态,所以给不出任何形式的误触发数字。

什么都没接受,就没有错误率

风险—覆盖率曲线只在有试次被接受时才存在。覆盖率为零时没有错误率,而不是错误率为零;被接受的少于 10 个时标为不稳定。

名义保证

经认证的选择性风险假设校准数据与测试数据可以互换。跨被试时并非如此,所以这个保证只是名义上的:它失效的频率在这里是测出来的,不是假设的。

校准用的被试更少

校准分数来自只见过约四分之三训练被试的内层模型,所以它们可能比被测试分数的完整模型更不自信。这一近似体现在每一个经过校准的数字里。

已发布的准确率

温度缩放不改变任何预测标签,所以全覆盖时的准确率都等于本站已发布的数值。匹配模型、映射敏感性与联合训练这几组分析用的是别的模型或映射;它们的准确率不发布,也绝不与本站的数值混在一起。

差异的判定

只有配对的 95% 被试 bootstrap 区间不含零时,一个对比才称为有差异,且不做多重比较校正;否则写作“不能认定有差异”。只有 95% 区间不重叠时,才说一行高于另一行;描述性的水平值不作判定。

空闲协议没有放进来

在空闲协议上,第一条路线只能给出每个决策时刻按窗口统计的比例,从来不是每小时的误触发率,而且与本页的空闲数字单位不同,所以没有放进来。

ds003810 是粗略的

十名被试,每个测试折两人:bootstrap 区间粗略,也不发布按人的离散度。

所用的记录与方法

EEGMAT

Igor Zyma, Ivan Seleznov, Anton Popov, Mariia Chernykh, Oleksii Shpenkov · EEG During Mental Arithmetic Tasks 1.0.0, PhysioNet, doi:10.13026/C2JQ1P. Study: Zyma et al. (2019), doi:10.3390/data4010014. PhysioNet platform: Pollard et al. (2026), doi:10.1038/s44360-026-00096-z.

数据集记录 ↗ · Open Data Commons Attribution License 1.0

BETA

Bingchuan Liu et al. · BETA: A Large Benchmark Database Toward SSVEP-BCI Application (2020), doi:10.3389/fnins.2020.00627. Figshare 12264401 v3; mirror Bingchuan/BETA.

数据集记录 ↗ · CC BY 4.0

ds003810

Peterson et al. · OpenNeuro ds003810, version 2.0.2. Study: https://pmc.ncbi.nlm.nih.gov/articles/PMC9114495/

数据集记录 ↗ · CC0-1.0

这些结果所依据的方法(2026 年 10 月 4 日对照原始记录核查)

这些数字背后的检查:两项第 0 阶段审计都已通过。独立的主审计在 12 项检查中通过了 11 项;没有通过的那一项发现的是文档错误,不是计算错误——运行日志说退化的个人温度参数会退回到总体温度参数,而代码按协议的要求保留了它,每个数字都是这样计算和复现的。独立的次级审计 15 项全部通过。两项审计都不调用研究代码、重新实现了各项定义;它们留在私有的运行目录中,以哈希固定。

数据来源: reliable-decisions-update.json · schema bci-report-reliable-decisions-update-v1。

BETA 部分结果的长文解读(英文,Hugging Face)↗

研究计划 · 三条路线已运行

Jev-style 的 EEG 决策模型

解码器能做的选择不止一个类别标签:它可以执行,可以等待更多证据,也可以请求校准。

状态:三条路线都已运行。第一条的结果见上一节;第二条和第三条的结果各在单独的页面上。

“Jev-style”(Jev 式)在这里指把 TypeSafe 的 Jev 这类决策模型的接口用在 EEG 上:一段记录只编码一次,再回答关于它的多个明确的、规定输出类型的问题,每个回答都带一个概率。第一条路线不需要新模型:它对本站已发布模型保存下来的输出重新评分。第二条路线训练了共用一个编码器的模型(从头训练的小型 EEGNet,以及冻结或用 LoRA 适配的 CBraMod),问题只以标识给出,从不用语言。第三条路线用文字提问:经由冻结的文本编码器,以及冻结 EEG 特征上的一个小分类头。

  1. 首先 · 已运行 · 结果见上一节

    可靠的决策

    在同一份数据上比较固定阈值、简单统计策略和可学习的拒识机制。报告相同覆盖率下的错误率、各类别的接受率,以及概率质量——Brier 分数、log loss 和可靠性图——校准数据与测试数据分开。重新校准另作一项实验,并计入所需标签的代价。

    上一节已发布:相同覆盖率下的错误率、log loss、Brier 分数和校准误差。没有发布:各类别的接受率和可靠性图的分箱。

    可靠的决策:结果 ↑

  2. 随后 · 已运行 · 结果在单独的页面上

    一份表征,多个问题

    在运动想象和睡眠两个协议上分别比较:各任务独立的模型、共享编码器加固定分类头,以及同一编码器加问题条件化分类头,数据量与计算量保持一致。

    在运动想象(OpenBMI)和睡眠(BOAS,EESM19 作粗略重复)上运行。有一项次要设置——在睡眠上用 LoRA 适配 CBraMod——是在其他结果已知之后才运行的;它的设计事先已定。

    一个模型,多个问题:结果 →

  3. 之后 · 已运行 · 结果在单独的页面上

    用语言提问

    比较任务标识、标签模板和自然语言描述。同义改写与未见概念分开测试,绝不合成一个“零样本”数字。

    在 SSVEP(BETA)和睡眠(BOAS)上运行,EESM19、OpenBMI 运动想象和 Wearable-102 作为次要数据。运行前的置换检查失败了两次,所有者每次都对它作了修订,第二次推翻了它自己写下的“不再修订”;两次失败都与结果一起披露。

    关于否定、位置或波形形态的问题,需要信号层面的真值标注。

    用语言提问:结果 →

三条路线,各有一个回答:Jev 式提问用在脑电上:证据 →

现有数据的局限

本站的睡眠和 P300 协议用的是类别平衡的子集。在上面估计出的概率反映的是这种平衡,所以它们用于比较方法;要得到部署时的错误率,需要各类别按实际使用中的频率出现的数据。

第一个带有明确非控制状态的输入,是上面的异步 SSVEP 数据集:先是一个保留为开发集的小规模试点,再是同一份数据中的其余被试,用事先固定的规则评分。

已发表的工作

外部证据,按作者报告的结果列出,已于 2026 年 9 月 27 日对照原始记录核查。

Geifman & El-Yaniv, ICML 2019 · SelectiveNet ↗

说明了 分类与拒识可以联合训练,把给定覆盖率下的风险作为明确的优化目标。

局限 不是 EEG 上的证据。它的保证默认不能迁移到新被试或新设备上。

Yu & Yao, 2026 · Visual Jev: Accurate and Efficient Decisions from Shared Visual Context ↗

说明了 在视觉领域,一张图像及其上下文编码一次,就能批量回答多个相互独立的强制选择问题:同样是“编码一次、回答多个问题”的思路,用在图像上。本计划正是从这篇论文出发的。

局限 它自己设置的对照——换成输出类型固定的分类头——没有带来一致的准确率提升;训练带来的提升也集中在训练中见过的任务类型上。它的加速是在图像上测得的。

与现有内容的联系

需要多少校准? · 预训练有用吗? · 更少的电极

引用本页

BCI Report. 没有人下指令时,EEG 解码器误触发有多频繁?[EB/OL]. (2026-10-04). https://bci.report/zh/topics/when-not-to-act/

数字来自发布 reliable-decisions-update-20261004(2026-10-04)、extension-update-20261002(2026-10-02)、context-update-20260927(2026-09-27)、research-preview-20260920(2026-09-20)。也请同时引用上游数据集:署名就在本页。

每个发布版本都在 Zenodo 存档:doi:10.5281/zenodo.23123296。 本站及各次发布的 BibTeX → · CITATION.cff ↗(英文)