# 没有人下指令时，EEG 解码器误触发有多频繁？

拒识 · 可靠的决策 · Jev-style 研究计划

在本站的空闲协议上，EEGNet 在 60 个空闲试次里没有一次误触发，但 60 条指令只检出 1 条。在 EEGMAT 和 BETA 上，一个 Jev-style 研究计划的第一条路线测量了解码器什么时候该拒绝作出决定。

- [已审核的聚合 JSON ↓](https://bci.report/data/experiments.json)
- 

测量所用数据集： [ds003810](https://bci.report/zh/datasets/ds003810/)、[EEGMAT](https://bci.report/zh/datasets/eegmat/)、[BETA](https://bci.report/zh/datasets/beta/)、[ds005342](https://bci.report/zh/datasets/ds005342/)、[YSU asynchronous SSVEP-BCI dataset](https://bci.report/zh/datasets/ysu-async-ssvep/) · 方法： [EEGNet](https://bci.report/zh/methods/eegnet/)、[LaBraM](https://bci.report/zh/methods/labram/)、[CBraMod](https://bci.report/zh/methods/cbramod/)、[ShallowFBCSPNet](https://bci.report/zh/methods/shallowfbcspnet/)、[Deep4Net](https://bci.report/zh/methods/deep4net/)、[CSP+LDA](https://bci.report/zh/methods/csp-lda/)、[CCA](https://bci.report/zh/methods/cca/)

## 简答

取决于解码器执行得有多频繁：从不执行的解码器，也就从不误触发，所以误触发只有和它检出的指令放在一起读才有意义。在 **4** 名被试的提示同步空闲测试中，触发最少的解码器 EEGNet 在空闲试次里的误触发为 **0 / 60**，但指令只检出 **1 / 60**，并且有 **2** 名被试的阈值拒绝了全部指令。在另一组 **20** 名被试的测试中，CCA 解码器使用在更早一个试点上固定的阈值，在有意发出指令时接受了 **748 / 960** 个窗口，在无意发出指令的三种状态下分别误接受了 **49 / 240**、**93 / 240** 和 **107 / 480**。改用每名被试自己的 **96** 个窗口拟合阈值后，被误接受的非控制窗口总体减少，每种状态下也都减少了，但被接受且正确的指令占比并没有提高；这项对比无法区分“按人拟合阈值”和“仅仅多了这些标签”各自的作用。

**0 / 60** EEGNet：空闲误触发，4 名被试

### 没有误触发，60 条指令只检出 1 条

阈值只用校准数据来选；4 名被试中有 2 名的阈值拒绝了所有指令。

两个数字，每种方法

## 指令检出与空闲误触发

4 名被试；测试集共 60 个空闲试次和 60 个指令试次；指令在提示后 3 秒内被检出才算。按指令检出率排序。

整个测试集上的计数，下方为百分比。“始终拒识”指校准得到的阈值拒绝了全部指令的被试人数。

| 方法 | 训练方式 | 3 秒内检出的指令 | 空闲误触发 | 始终拒识 |
| --- | --- | --- | --- | --- |
| ShallowFBCSPNet | 从头训练 · 20 轮 | 26 / 60 (43.3%) | 1 / 60 (1.7%) | 1 (共 4 名被试) |
| CSP+LDA | 监督拟合 | 14 / 60 (23.3%) | 0 / 60 (0.0%) | 1 (共 4 名被试) |
| LaBraM | 冻结编码器 + 线性分类头 | 11 / 60 (18.3%) | 2 / 60 (3.3%) | 0 (共 4 名被试) |
| CBraMod | 冻结编码器 + 线性分类头 | 11 / 60 (18.3%) | 1 / 60 (1.7%) | 1 (共 4 名被试) |
| Deep4Net | 从头训练 · 20 轮 | 2 / 60 (3.3%) | 1 / 60 (1.7%) | 1 (共 4 名被试) |
| EEGNet | 从头训练 · 20 轮 | 1 / 60 (1.7%) | 0 / 60 (0.0%) | 2 (共 4 名被试) |

明确的非控制状态 · 20 名被试 · 规则在评分前固定；全局阈值来自 4 人试点

## 没人想发指令时，它会不会接受这个窗口？

另一个数据集专门记录了指令之间的状态：注视中央图像但闪烁关闭、看着白墙休息、注视中央而周围目标在闪烁。固定的 CCA 解码器决定是否把每个 1.5 秒窗口当作指令接受，所用的两种规则在这 20 名被试中任何一人被评分之前就已固定：全局阈值只用下文 4 名试点被试的校准窗口拟合；逐人阈值用每名新被试自己 96 个带标签的校准窗口拟合。两种规则在每名被试相同的 96 个留出窗口上评分。

**+3.0 pp** 检测平衡准确率，逐人阈值减全局阈值，同样 20 名被试

### 逐人阈值把“有没有意图”判断得稍好一些——却没有带来更多正确的指令

配对区间 +0.5 至 +5.7 pp。20 名被试中 10 人提升、8 人变差、2 人不变。提升来自更少的误接受：有意指令的覆盖率几乎没变，而既被接受又正确的指令窗口占比从 68.1% 变为 67.6%。

有意发出指令时：每种规则 960 个窗口，每名被试 48 个。

| 指标 | 全局阈值 · 在试点上固定 | 逐人阈值 · 用自己的窗口 |
| --- | --- | --- |
| 检测平衡准确率，有指令对无指令 | 76.0% (95% 区间 71.6%–80.2%) | 79.0% (95% 区间 74.2%–83.8%) |
| 被接受的指令窗口（覆盖率） | 748 / 960 (77.9%) | 746 / 960 (77.7%) |
| 被接受且正确（端到端） | 654 / 960 (68.1%) | 649 / 960 (67.6%) |
| 被接受窗口中的正确率 | 85.8% (各被试比率的均值) | 85.1% (各被试比率的均值) |

在任何拒识之前，两种规则下识别出正确频率的指令窗口都是 769 / 960：解码器相同，只有拒识规则不同。检测上升了，正确的指令并没有增加。

无意发出指令时：每种状态下被误接受的窗口，两种规则分列。

| 状态 | 全局阈值 · 在试点上固定 | 逐人阈值 · 用自己的窗口 |
| --- | --- | --- |
| 注视中央图像，闪烁关闭 — NS1 | 49 / 240 (20.4%) | 32 / 240 (13.3%) |
| 看着白墙休息 — NS2 | 93 / 240 (38.8%) | 79 / 240 (32.9%) |
| 注视中央，周围目标在闪烁 — NS3 | 107 / 480 (22.3%) | 79 / 480 (16.5%) |
| 三种状态合并 — 全部非控制窗口 | 249 / 960 (25.9%) | 190 / 960 (19.8%) |

检测分数按采集时的比例合并三种状态，每名被试分别为 12、12 和 24 个窗口，所以“周围在闪烁”这一状态的权重是另两种的两倍；最后一行就是合并后的计数。

### 非控制测试的局限

### 同一数据集

这 20 名被试与试点来自同一份数据、同一实验室、同一协议；这不是来自独立队列的证据。

### 每人 96 个标签

逐人规则用了每名被试 96 个带标签的窗口，一半有指令、一半没有。这项比较无法区分“按人拟合阈值”和“仅仅多了这些标签”各自的作用；数据源也没有说明这些窗口与测试窗口的先后，所以“先校准、后使用”在这里尚未检验。

### 窗口比率

分别采集的 1.5 秒窗口，状态比例固定。它们给出的是窗口比率，不是连续使用中每小时的误触发次数，也不是延迟，更不是人们实际发出指令的频率。

### 没有幅值单位

数据源没有说明 EEG 数值的物理单位。解码器用的是相关系数，本身无单位。

### bootstrap 区间

对 20 名被试做整人 bootstrap，以 4 名试点被试和每次实际的校准划分为条件。

### 开发集：4 人试点

用每名被试自己的校准试次拟合逐人阈值。这 4 名被试提供了上文的全局阈值，不在那 20 人之中。下表为合并后的窗口计数。

有意发出指令时 · 拒绝困难窗口会抬高被接受窗口中的准确率，但代价是拒绝了被试本想发出的指令。

| 状态 | 窗口 |
| --- | --- |
| 拒识前识别出正确频率 | 152 / 192 (79.2%) |
| 被接受（覆盖率） | 130 / 192 (67.7%) |
| 被接受且正确（端到端） | 121 / 192 (63.0%) |
| 被接受窗口中的正确率 | 121 / 130 (93.1%) |

无意发出指令时

| 状态 | 被误接受 |
| --- | --- |
| 注视中央图像，闪烁关闭 | 9 / 48 (18.8%) |
| 看着白墙休息 | 20 / 48 (41.7%) |
| 注视中央，周围目标在闪烁 | 11 / 96 (11.5%) |

离线、逐窗口统计。

[为什么四名被试会限制可发布的内容（英文）](https://bci.report/data-use/#small-cohorts)

### YSU asynchronous SSVEP-BCI dataset

Jing Zhao, Qian Zhang, Xinrui Wang, Xueshuo Liu, Jiaxin Li, Fengjie Fan, Zhenhu Liang and Xiaoli Li · An EEG dataset for studying asynchronous steady-state visual evoked potential (SSVEP) based brain computer interfaces, Brain-Apparatus Communication 3(1) (2024), doi:10.1080/27706710.2024.2418650; data at doi:10.6084/m9.figshare.24906300.v3.

实验前，每名被试都签署了书面知情同意；研究经秦皇岛市第一医院伦理委员会审查批准。本站用到了该数据集全部 24 名被试：4 名作为开发试点，20 名作为扩展；只发布队列均值、合并后的窗口计数，以及提升或变差的人数。

[数据论文 ↗](https://doi.org/10.1080/27706710.2024.2418650) · [figshare 数据 ↗](https://doi.org/10.6084/m9.figshare.24906300.v3) · [CC-BY-4.0](https://creativecommons.org/licenses/by/4.0/)

数据来源： [extension-update.json](https://bci.report/data/extension-update.json) · schema bci-report-extension-update-v1。

数据来源： [已审核的聚合 JSON](https://bci.report/data/context-update.json) · schema bci-report-context-update-v1。

方法与局限

## 空闲测试的局限

### 4 名被试

在这个规模下，平均值离每个人都很近：公开的比率可以还原成计数，计数又能缩小到两个人中的一个。

### 三分钟的空闲

测试中只有 180 秒的空闲，不足以估计无提示休息中每小时的误触发次数。

### 提示同步

每次提示都会重新开始检测，所以解码器总是知道决策窗口已经打开。一个必须自己察觉意图的系统，面对的问题比这个协议测的更难。

### 这个协议上没有测概率质量

这些都是经过阈值的决策。概率校准在 EEGMAT 和 BETA 上测量，见下文“可靠的决策”。

[四人队列的完整算法（英文）](https://bci.report/data-use/#small-cohorts)

### ds005342 · Seated motor imagery · cue-gated replay

OpenNeuro ds005342 contributors · version 1.0.3, doi:10.18112/openneuro.ds005342.v1.0.3; associated study doi:10.3389/fninf.2022.961089. Original author credits are retained at the linked source.

数据源 README 写明被试自愿签署了同意书，并经 Universidad Antonio Nariño 伦理委员会批准。这里只发布队列级聚合结果。

[OpenNeuro 数据集 ↗](https://doi.org/10.18112/openneuro.ds005342.v1.0.3) · [相关研究论文 ↗](https://doi.org/10.3389/fninf.2022.961089) · [CC0-1.0](https://creativecommons.org/publicdomain/zero/1.0/)

数据来源： [已审核的聚合 JSON](https://bci.report/data/experiments.json) · [本协议的 CSV](https://bci.report/data/idle-results.csv) · research-preview-20260920。

可靠的决策 · 下文计划的第一条路线 · EEGMAT 与 BETA

## 解码器什么时候应该拒绝作出决定？

第一条路线取本站已发布模型保存下来的测试分数——EEGMAT 上 36 名被试，心算对静息；BETA 上 70 名被试，40 目标的 SSVEP 拼写——在事先固定的四条规则下，看每个解码器本该拒绝哪些试次。全覆盖时的准确率都是已发布的数值；两种 LaBraM 配置用的是适配发布中随机种子 20260922 的均值。

### 评分之前固定的四条规则

- **固定阈值（F）**：校准后最高类别的概率不低于 0.8 时，接受这个试次。温度缩放在校准分数上拟合，不改变任何预测标签。
- **覆盖率目标（S-cov）**：接受最有把握的试次，截断点由校准分数的分位数确定，使应有 80% 的试次被接受。
- **经认证的风险（S-risk）**：选择性风险保证方法（SGR，δ = 0.05）认证一个截断点，使被接受试次的错误率应不超过目标 r*——这里是校准错误率的一半。一个折里如果什么都认证不了，就什么都不接受。
- **可学习的拒识选项（L）**：一个逻辑回归选择器，输入分类器最高的两个分数及其差值，再加一份与模型无关的信号频谱描述，训练它预测分类器会判错哪些试次。

校准分数里从不包含测试被试：每个外层折中，训练被试分成四组，每组由在另外三组上训练的模型评分。区间是配对的被试 bootstrap 95% 区间，重抽样 2,000 次，不做多重比较校正。只有区间不含零时，一个对比才称为有差异；比率之间的差值以百分点（pp）表示。

### 同一个固定阈值，对每种方法都是不同的策略

同一个截断点——校准后最高类别的概率不低于 0.8 就接受——对不同的解码器、不同的被试，接受的比例相差很大。

BETA · 70 名被试 · 11,200 个试次，在 40 个目标上均匀分布。方法按核心矩阵中的顺序排列。

| 方法 | 全部接受时的平衡准确率 | 置信度 ≥ 0.8 时被接受 | 被接受试次中的错误率 | 一个都没被接受的被试 | 截断点以 80% 为目标时的覆盖率 |
| --- | --- | --- | --- | --- | --- |
| Standard CCA | 63.1% (已发布的数值) | 3,176 / 11,200 (覆盖率 28.4% · 95% 区间 22.9%–34.2%) | 4.3% (95% 区间 2.7%–6.8%) | 0 (共 70 名被试) | 79.7% (95% 区间 75.0%–84.0%) |
| CBraMod | 33.7% (已发布的数值) | 165 / 11,200 (覆盖率 1.5% · 95% 区间 0.8%–2.3%) | 22.4% (95% 区间 5.9%–45.1%) | 38 (共 70 名被试) | 76.4% (95% 区间 72.8%–80.0%) |
| EEGNet | 55.8% (已发布的数值) | 1,863 / 11,200 (覆盖率 16.6% · 95% 区间 12.5%–21.0%) | 5.5% (95% 区间 2.8%–9.1%) | 10 (共 70 名被试) | 80.5% (95% 区间 75.6%–85.1%) |

BETA：固定阈值下覆盖率的配对差值，前一种方法减后一种

| 方法对 | 差值 | 判定 |
| --- | --- | --- |
| Standard CCA − CBraMod | +26.9 pp (95% 区间 +21.7 至 +32.4 pp) | 可以认定有差异 |
| Standard CCA − EEGNet | +11.7 pp (95% 区间 +7.8 至 +16.2 pp) | 可以认定有差异 |
| CBraMod − EEGNet | −15.2 pp (95% 区间 −19.2 至 −11.5 pp) | 可以认定有差异 |

EEGMAT · 36 名被试 · 2,160 个窗口，一半静息、一半心算。方法按核心矩阵中的顺序排列。

| 方法 | 全部接受时的平衡准确率 | 置信度 ≥ 0.8 时被接受 | 被接受试次中的错误率 | 一个都没被接受的被试 | 截断点以 80% 为目标时的覆盖率 |
| --- | --- | --- | --- | --- | --- |
| Spectral ridge | 56.8% (已发布的数值) | 3 / 2,160 (覆盖率 0.1% · 95% 区间 0.0%–0.3%) | 0 / 3 (被接受的里判错的) 不稳定：被接受的少于 10 个，不据此读出比率 | 33 (共 36 名被试) | 80.6% (95% 区间 78.9%–82.3%) |
| EEGNet | 67.6% (已发布的数值) | 126 / 2,160 (覆盖率 5.8% · 95% 区间 2.3%–10.6%) | 42.1% (95% 区间 13.0%–61.4%) | 19 (共 36 名被试) | 79.1% (95% 区间 74.9%–83.2%) |
| LaBraM · 只训分类头，编码器冻结 | 56.9% (已发布的随机种子 20260922 均值（适配发布）) | 1 / 2,160 (覆盖率 0.05% · 95% 区间 0.0%–0.1%) | 0 / 1 (被接受的里判错的) 不稳定：被接受的少于 10 个，不据此读出比率 | 35 (共 36 名被试) | 79.4% (95% 区间 77.7%–81.1%) |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 64.4% (已发布的随机种子 20260922 均值（适配发布）) | 44 / 2,160 (覆盖率 2.0% · 95% 区间 0.9%–3.5%) | 22.7% (95% 区间 6.3%–45.5%) | 24 (共 36 名被试) | 81.5% (95% 区间 79.1%–83.9%) |

EEGMAT：固定阈值下覆盖率的配对差值，前一种方法减后一种

| 方法对 | 差值 | 判定 |
| --- | --- | --- |
| Spectral ridge − EEGNet | −5.7 pp (95% 区间 −10.5 至 −2.1 pp) | 可以认定有差异 |
| Spectral ridge − LaBraM（只训分类头） | +0.1 pp (95% 区间 0.00 至 +0.2 pp) | 不能认定有差异 |
| Spectral ridge − LaBraM（LoRA） | −1.9 pp (95% 区间 −3.3 至 −0.8 pp) | 可以认定有差异 |
| EEGNet − LaBraM（只训分类头） | +5.8 pp (95% 区间 +2.2 至 +10.6 pp) | 可以认定有差异 |
| EEGNet − LaBraM（LoRA） | +3.8 pp (95% 区间 +0.4 至 +8.2 pp) | 可以认定有差异 |
| LaBraM（只训分类头） − LaBraM（LoRA） | −2.0 pp (95% 区间 −3.4 至 −0.9 pp) | 可以认定有差异 |

#### 相同覆盖率下的错误率

在 BETA 上，固定阈值达到的最小覆盖率是 11,200 个试次中的 165 个（1.5%，来自 CBraMod）。于是每种方法都只接受自己最有把握的 165 个试次，阈值就从比较中去掉了：

BETA：每种方法最有把握的 165 个试次中的错误率，以及配对差值。

| 方法 | 最有把握的试次中的错误率 | 判定 |
| --- | --- | --- |
| Standard CCA | 0.6% (95% 区间 0.0%–2.3%) | 描述性水平，不作判定 |
| CBraMod | 22.4% (95% 区间 5.9%–45.1%) | 描述性水平，不作判定 |
| EEGNet | 8.5% (95% 区间 0.0%–28.5%) | 描述性水平，不作判定 |
| Standard CCA − CBraMod | −21.8 pp (95% 区间 −44.6 至 −5.1 pp) | 可以认定有差异 |
| Standard CCA − EEGNet | −7.9 pp (95% 区间 −28.2 至 +1.7 pp) | 不能认定有差异 |
| CBraMod − EEGNet | +13.9 pp (95% 区间 +5.3 至 +22.2 pp) | 可以认定有差异 |

在 EEGMAT 上，这个共同覆盖率只有 2,160 个窗口中的 1 个：被接受的少于 10 个，所以不作判定。

### 可学习的拒识选项，没有胜过模型自己校准后的置信度

分类器保持不变，把可学习的拒识选项 L（它还能看到一份信号的频谱描述）与同一分类器校准后的置信度 S 相比，测试试次也相同。两个指标：风险—覆盖率曲线下面积（AURC；越低，说明错误越集中在最没把握的试次里），以及各自最有把握的 80% 试次中的错误率。在 80% 覆盖率下，没有一种方法上 L 的错误率比 S 低；凡是能认定有差异的，都是 L 错得更多。按 AURC，L 只在 BETA 的 CBraMod 上排序更好，在 EEGMAT 的 LaBraM（只训分类头）上更差；其余对比都不能认定有差异。

EEGMAT · 36 名被试。

| 方法 | AURC · 置信度 S | AURC · 拒识选项 L | L − S（AURC） | 80% 覆盖率下的错误率 · S | 80% 覆盖率下的错误率 · L | L − S（80% 覆盖率下的错误率） |
| --- | --- | --- | --- | --- | --- | --- |
| Spectral ridge | 0.386 (95% 区间 0.348–0.428) | 0.399 (95% 区间 0.359–0.440) | +0.013 (95% 区间 −0.006 至 +0.029) 不能认定有差异 | 41.4% (95% 区间 38.9%–43.9%) | 41.9% (95% 区间 39.2%–44.4%) | +0.5 pp (95% 区间 −1.2 至 +1.7 pp) 不能认定有差异 |
| EEGNet | 0.293 (95% 区间 0.211–0.368) | 0.309 (95% 区间 0.238–0.379) | +0.016 (95% 区间 −0.014 至 +0.050) 不能认定有差异 | 29.5% (95% 区间 23.9%–35.0%) | 31.8% (95% 区间 27.0%–36.9%) | +2.3 pp (95% 区间 +0.6 至 +4.1 pp) 可以认定有差异 |
| LaBraM · 只训分类头，编码器冻结 | 0.396 (95% 区间 0.351–0.441) | 0.422 (95% 区间 0.378–0.466) | +0.026 (95% 区间 +0.005 至 +0.046) 可以认定有差异 | 42.9% (95% 区间 39.0%–45.8%) | 43.6% (95% 区间 40.2%–46.6%) | +0.6 pp (95% 区间 −0.5 至 +2.7 pp) 不能认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 0.308 (95% 区间 0.245–0.373) | 0.323 (95% 区间 0.267–0.379) | +0.015 (95% 区间 −0.011 至 +0.041) 不能认定有差异 | 33.2% (95% 区间 28.6%–37.4%) | 35.1% (95% 区间 30.7%–39.8%) | +1.9 pp (95% 区间 +0.6 至 +3.5 pp) 可以认定有差异 |

BETA · 70 名被试。

| 方法 | AURC · 置信度 S | AURC · 拒识选项 L | L − S（AURC） | 80% 覆盖率下的错误率 · S | 80% 覆盖率下的错误率 · L | L − S（80% 覆盖率下的错误率） |
| --- | --- | --- | --- | --- | --- | --- |
| Standard CCA | 0.145 (95% 区间 0.105–0.194) | 0.146 (95% 区间 0.107–0.196) | +0.002 (95% 区间 −0.004 至 +0.008) 不能认定有差异 | 27.2% (95% 区间 20.8%–33.9%) | 27.4% (95% 区间 21.1%–34.5%) | +0.3 pp (95% 区间 −0.3 至 +1.0 pp) 不能认定有差异 |
| CBraMod | 0.497 (95% 区间 0.430–0.566) | 0.473 (95% 区间 0.413–0.538) | −0.024 (95% 区间 −0.039 至 −0.007) 可以认定有差异 | 61.7% (95% 区间 56.8%–66.5%) | 61.6% (95% 区间 57.1%–66.4%) | −0.03 pp (95% 区间 −0.8 至 +0.6 pp) 不能认定有差异 |
| EEGNet | 0.208 (95% 区间 0.161–0.264) | 0.201 (95% 区间 0.154–0.257) | −0.007 (95% 区间 −0.014 至 +0.001) 不能认定有差异 | 34.8% (95% 区间 28.7%–41.4%) | 35.6% (95% 区间 29.2%–42.4%) | +0.8 pp (95% 区间 +0.02 至 +1.6 pp) 可以认定有差异 |

#### 按校准后的置信度拒识，能换来什么

拒识能换来多少，按协议分别来读，两个协议之间不作比较：一个有四十个目标，一个只有两个类别。在 BETA 上，标准 CCA 全部接受时的错误率是 36.9%，只接受最有把握的一半时降到 12.4%；在 EEGMAT 上，EEGNet 从 32.4% 降到 27.1%。

按校准后的置信度接受一定比例的测试试次时，被接受试次中的错误率。点估计。

| 方法 | 全部接受 | 最有把握的 80% | 最有把握的 50% |
| --- | --- | --- | --- |
| EEGMAT |  |  |  |
| Spectral ridge | 43.2% | 41.4% | 39.5% |
| EEGNet | 32.4% | 29.5% | 27.1% |
| LaBraM · 只训分类头，编码器冻结 | 43.1% | 42.9% | 40.7% |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 35.6% | 33.2% | 29.5% |
| BETA |  |  |  |
| Standard CCA | 36.9% | 27.2% | 12.4% |
| CBraMod | 66.3% | 61.7% | 53.2% |
| EEGNet | 44.2% | 34.8% | 18.8% |

### 经认证的错误率上限，在新被试身上并不可靠

S-risk 的保证假设校准试次与测试试次可以互换；跨被试时并非如此。在 EEGMAT 上，它对任何方法都没有认证任何一个外层折，所以什么都没有接受。在 BETA 上，每种方法都有被认证的折，而在其中一些折里，新被试的错误率超过了该折自己的目标。合并后的错误率减去目标，对任何方法都不能认定与零有差异。

相对目标下的 S-risk。“超过自身目标的已认证折”统计的是实际错误率超过该折 r* 的已认证外层折。

| 方法 | 被认证的折 | 被接受 | 被接受试次中的错误率 | 目标 r*（按各折加权） | 超过自身目标的已认证折 | 错误率减去目标 |
| --- | --- | --- | --- | --- | --- | --- |
| BETA · 7 个外层折 · 70 名被试 |  |  |  |  |  |  |
| Standard CCA | 7 / 7 | 6,751 / 11,200 (覆盖率 60.3%) | 17.0% (95% 区间 13.3%–21.6%) | 18.5% | 4 / 7 | −1.5 pp (95% 区间 −5.3 至 +3.2 pp) 不能认定有差异 |
| CBraMod | 4 / 7 | 522 / 11,200 (覆盖率 4.7%) | 33.1% (95% 区间 18.7%–48.5%) | 34.9% | 2 / 4 | −1.8 pp (95% 区间 −16.2 至 +13.6 pp) 不能认定有差异 |
| EEGNet | 7 / 7 | 5,605 / 11,200 (覆盖率 50.0%) | 18.9% (95% 区间 14.9%–23.7%) | 23.3% | 2 / 7 | −4.4 pp (95% 区间 −8.5 至 +0.5 pp) 不能认定有差异 |
| EEGMAT · 5 个外层折 · 36 名被试 |  |  |  |  |  |  |
| Spectral ridge | 0 / 5 | 0 / 2,160 (什么都没有接受) | — (没有定义：什么都没有接受) | — (没有被认证的折) | — (没有被认证的折) | — (没有定义：什么都没有接受) |
| EEGNet | 0 / 5 | 0 / 2,160 (什么都没有接受) | — (没有定义：什么都没有接受) | — (没有被认证的折) | — (没有被认证的折) | — (没有定义：什么都没有接受) |
| LaBraM · 只训分类头，编码器冻结 | 0 / 5 | 0 / 2,160 (什么都没有接受) | — (没有定义：什么都没有接受) | — (没有被认证的折) | — (没有被认证的折) | — (没有定义：什么都没有接受) |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 0 / 5 | 0 / 2,160 (什么都没有接受) | — (没有定义：什么都没有接受) | — (没有被认证的折) | — (没有被认证的折) | — (没有定义：什么都没有接受) |

每个折大约十名被试，所以一个折的错误率也带有抽样噪声；超过目标的折数只是描述性的计数。

### 按人重新校准，要花每名新被试的标签

R0 用总体温度参数，不用新被试的任何标签；R1 在新被试自己的一段带标签的开头试次上拟合个人温度参数。在 BETA 上，每名新被试 40 个标签，每种方法的 NLL 和 AURC 都下降了。在 EEGMAT 上，每人 10 个标签时，四种方法中有三种的 NLL 上升，且区间不含零：许多个人温度参数退化了，而按协议它们被保留。如果只用这段开头试次重设覆盖率的截断点、不用它们的标签：在 EEGMAT 上用 10 个标签的那段开头时，覆盖率反而离 80% 的目标更远，四种方法中有三种可以认定这一变化。

相同剩余试次上的 R1 减 R0；负值更好。

| 方法 | 带标签的开头部分 | 每名新被试的标签数 | NLL 变化（R1 − R0） | ECE 变化 | AURC 变化 | 个人温度参数退化的被试 | 不用标签、只重设截断点：离 80% 目标的距离变化 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| BETA |  |  |  |  |  |  |  |
| Standard CCA | 第 1 组块（每个目标一个试次） | 40 | −0.065 (95% 区间 −0.103 至 −0.032) 可以认定有差异 | −0.019 (95% 区间 −0.048 至 +0.009) 不能认定有差异 | −0.012 (95% 区间 −0.022 至 −0.005) 可以认定有差异 | 1 / 70 | +1.0 pp (95% 区间 −4.0 至 +2.2 pp) 不能认定有差异 |
| CBraMod | 第 1 组块（每个目标一个试次） | 40 | −0.113 (95% 区间 −0.171 至 −0.048) 可以认定有差异 | −0.083 (95% 区间 −0.120 至 −0.042) 可以认定有差异 | −0.052 (95% 区间 −0.070 至 −0.031) 可以认定有差异 | 0 / 70 | −0.3 pp (95% 区间 −4.4 至 +3.8 pp) 不能认定有差异 |
| EEGNet | 第 1 组块（每个目标一个试次） | 40 | −0.080 (95% 区间 −0.135 至 −0.020) 可以认定有差异 | −0.089 (95% 区间 −0.125 至 −0.048) 可以认定有差异 | −0.016 (95% 区间 −0.027 至 −0.004) 可以认定有差异 | 0 / 70 | +2.6 pp (95% 区间 −2.9 至 +4.0 pp) 不能认定有差异 |
| EEGMAT |  |  |  |  |  |  |  |
| Spectral ridge | 每段记录的前 5 个窗口，之后空出 1 个窗口 | 10 | +0.054 (95% 区间 +0.017 至 +0.103) 可以认定有差异 | +0.059 (95% 区间 +0.006 至 +0.084) 可以认定有差异 | +0.006 (95% 区间 −0.027 至 +0.039) 不能认定有差异 | 9 / 36 | +10.6 pp (95% 区间 +4.6 至 +15.8 pp) 可以认定有差异 |
| Spectral ridge | 每段记录的前 10 个窗口，之后空出 1 个窗口 | 20 | +0.023 (95% 区间 +0.003 至 +0.047) 可以认定有差异 | +0.031 (95% 区间 −0.006 至 +0.061) 不能认定有差异 | +0.013 (95% 区间 −0.022 至 +0.048) 不能认定有差异 | 9 / 36 | +1.7 pp (95% 区间 −2.0 至 +5.7 pp) 不能认定有差异 |
| EEGNet | 每段记录的前 5 个窗口，之后空出 1 个窗口 | 10 | +0.333 (95% 区间 −0.051 至 +0.881) 不能认定有差异 | −0.040 (95% 区间 −0.091 至 +0.024) 不能认定有差异 | −0.086 (95% 区间 −0.154 至 −0.014) 可以认定有差异 | 8 / 36 | +5.8 pp (95% 区间 −1.1 至 +10.3 pp) 不能认定有差异 |
| EEGNet | 每段记录的前 10 个窗口，之后空出 1 个窗口 | 20 | +0.027 (95% 区间 −0.088 至 +0.185) 不能认定有差异 | −0.051 (95% 区间 −0.095 至 +0.025) 不能认定有差异 | −0.104 (95% 区间 −0.171 至 −0.030) 可以认定有差异 | 5 / 36 | +1.7 pp (95% 区间 −3.2 至 +6.0 pp) 不能认定有差异 |
| LaBraM · 只训分类头，编码器冻结 | 每段记录的前 5 个窗口，之后空出 1 个窗口 | 10 | +0.047 (95% 区间 +0.016 至 +0.082) 可以认定有差异 | +0.057 (95% 区间 +0.012 至 +0.082) 可以认定有差异 | −0.017 (95% 区间 −0.052 至 +0.018) 不能认定有差异 | 10 / 36 | +7.2 pp (95% 区间 +2.1 至 +11.1 pp) 可以认定有差异 |
| LaBraM · 只训分类头，编码器冻结 | 每段记录的前 10 个窗口，之后空出 1 个窗口 | 20 | −0.003 (95% 区间 −0.020 至 +0.019) 不能认定有差异 | +0.004 (95% 区间 −0.033 至 +0.032) 不能认定有差异 | −0.029 (95% 区间 −0.064 至 +0.008) 不能认定有差异 | 10 / 36 | +2.7 pp (95% 区间 −0.7 至 +6.0 pp) 不能认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 每段记录的前 5 个窗口，之后空出 1 个窗口 | 10 | +0.937 (95% 区间 +0.184 至 +1.924) 可以认定有差异 | +0.036 (95% 区间 −0.008 至 +0.078) 不能认定有差异 | −0.019 (95% 区间 −0.075 至 +0.035) 不能认定有差异 | 9 / 36 | +6.9 pp (95% 区间 +2.8 至 +10.5 pp) 可以认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 每段记录的前 10 个窗口，之后空出 1 个窗口 | 20 | −0.022 (95% 区间 −0.053 至 +0.019) 不能认定有差异 | −0.020 (95% 区间 −0.047 至 +0.022) 不能认定有差异 | −0.072 (95% 区间 −0.118 至 −0.022) 可以认定有差异 | 4 / 36 | +1.8 pp (95% 区间 −2.7 至 +5.4 pp) 不能认定有差异 |

### LoRA 与概率质量（EEGMAT）

在 EEGMAT 上，用秩为 4 的 LoRA 适配的 LaBraM，比同一配方只训分类头的版本 NLL 更低：校准后 −0.035（95% 区间 −0.054 至 −0.013）。ECE 不能认定有差异（+0.015；−0.017 至 +0.045）。LoRA 版本的准确率也更高，平衡准确率 64.4% 对 56.9%（随机种子 20260922，即适配发布中的数值；三个随机种子的均值见模型适配页面），所以单凭 NLL 的差距，并不能说明它的概率更诚实。适配本身见[「模型适配页面」](https://bci.report/zh/topics/model-adaptation/)。

### 全部接受时的概率质量

温度缩放之后的负对数似然（NLL）、期望校准误差（ECE，15 个等量分箱）与 Brier 分数；模型本身输出概率时，也给出缩放之前的 NLL 与 ECE。各项都是越低越好。NLL 与 Brier 分数取决于类别数，所以 EEGMAT（2 类）与 BETA（40 类）之间不作比较。被试重抽样会使分箱 ECE 偏高，所以较小的 ECE 可能落在其区间的下端。LaBraM 只训分类头的版本，有一个外层折的总体温度参数落在了搜索边界上；它被标记并保留。

全覆盖，95% 被试 bootstrap 区间。

| 方法 | NLL（校准后） | ECE（校准后） | Brier 分数（校准后） | NLL（原始） | ECE（原始） |
| --- | --- | --- | --- | --- | --- |
| EEGMAT |  |  |  |  |  |
| Spectral ridge | 0.679 (95% 区间 0.668–0.691) | 0.037 (95% 区间 0.033–0.070) | 0.486 (95% 区间 0.475–0.498) | — (不适用：没有原始概率，不是零) | — (不适用：没有原始概率，不是零) |
| EEGNet | 0.648 (95% 区间 0.613–0.693) | 0.099 (95% 区间 0.059–0.151) | 0.450 (95% 区间 0.422–0.485) | 0.874 (95% 区间 0.684–1.102) | 0.135 (95% 区间 0.088–0.200) |
| LaBraM · 只训分类头，编码器冻结 | 0.683 (95% 区间 0.674–0.691) | 0.036 (95% 区间 0.034–0.072) | 0.490 (95% 区间 0.481–0.498) | 0.683 (95% 区间 0.662–0.703) | 0.061 (95% 区间 0.046–0.090) |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 0.648 (95% 区间 0.624–0.675) | 0.051 (95% 区间 0.040–0.094) | 0.456 (95% 区间 0.433–0.481) | 0.647 (95% 区间 0.607–0.692) | 0.043 (95% 区间 0.038–0.088) |
| BETA |  |  |  |  |  |
| Standard CCA | 1.476 (95% 区间 1.247–1.716) | 0.050 (95% 区间 0.028–0.079) | 0.504 (95% 区间 0.437–0.572) | — (不适用：没有原始概率，不是零) | — (不适用：没有原始概率，不是零) |
| CBraMod | 2.809 (95% 区间 2.638–3.001) | 0.119 (95% 区间 0.084–0.154) | 0.843 (95% 区间 0.815–0.871) | — (不适用：没有原始概率，不是零) | — (不适用：没有原始概率，不是零) |
| EEGNet | 1.912 (95% 区间 1.670–2.177) | 0.136 (95% 区间 0.103–0.168) | 0.607 (95% 区间 0.554–0.663) | 1.907 (95% 区间 1.665–2.171) | 0.136 (95% 区间 0.103–0.168) |

稳健性与探索性分析：各自单独解读

#### ds003810，运动想象与静息：粗略

10 名被试，每个测试折两人。下面的对比是次要对比。在这里，经认证的风险对任何方法都什么也没有接受。

| 方法 | 全部接受时的平衡准确率 | 置信度 ≥ 0.8 时被接受 | 一个都没被接受的被试 | L − S（AURC） | L − S（80% 覆盖率下的错误率） | 被认证的折（S-risk） |
| --- | --- | --- | --- | --- | --- | --- |
| Spectral ridge | 54.9% (已发布的数值) | 0 / 1,200 (覆盖率 0.0%) | 10 (共 10 名被试) | +0.003 (95% 区间 −0.031 至 +0.032) 不能认定有差异 | +0.5 pp (95% 区间 −1.1 至 +2.3 pp) 不能认定有差异 | 0 / 5 (什么都没有接受) |
| CBraMod | 62.9% (已发布的数值) | 7 / 1,200 (覆盖率 0.6%) | 6 (共 10 名被试) | +0.013 (95% 区间 −0.014 至 +0.030) 不能认定有差异 | +0.7 pp (95% 区间 −0.8 至 +2.4 pp) 不能认定有差异 | 0 / 5 (什么都没有接受) |
| EEGNet | 71.0% (已发布的数值) | 250 / 1,200 (覆盖率 20.8%) | 0 (共 10 名被试) | +0.038 (95% 区间 +0.009 至 +0.061) 可以认定有差异 | +0.9 pp (95% 区间 −0.4 至 +2.4 pp) 不能认定有差异 | 0 / 5 (什么都没有接受) |

#### 其余随机种子

已训练方法保存下来的其余每个随机种子，各自有自己的校准、截断点和选择器，在该种子保存的测试预测上评分。

| 方法 | 数据集 | 随机种子 | L − S（AURC） | L − S（80% 覆盖率下的错误率） |
| --- | --- | --- | --- | --- |
| EEGNet | EEGMAT | 20260920 | +0.007 (95% 区间 −0.029 至 +0.041) 不能认定有差异 | +1.4 pp (95% 区间 −0.6 至 +3.2 pp) 不能认定有差异 |
| EEGNet | EEGMAT | 20260921 | −0.001 (95% 区间 −0.045 至 +0.038) 不能认定有差异 | +2.3 pp (95% 区间 0.00 至 +4.6 pp) 不能认定有差异 |
| LaBraM · 只训分类头，编码器冻结 | EEGMAT | 20260923 | +0.044 (95% 区间 +0.013 至 +0.074) 可以认定有差异 | +1.9 pp (95% 区间 +0.3 至 +3.7 pp) 可以认定有差异 |
| LaBraM · 只训分类头，编码器冻结 | EEGMAT | 20260924 | +0.024 (95% 区间 −0.001 至 +0.050) 不能认定有差异 | +1.4 pp (95% 区间 +0.1 至 +2.8 pp) 可以认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | EEGMAT | 20260923 | +0.021 (95% 区间 −0.001 至 +0.043) 不能认定有差异 | +2.0 pp (95% 区间 +0.7 至 +3.2 pp) 可以认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | EEGMAT | 20260924 | +0.024 (95% 区间 −0.004 至 +0.050) 不能认定有差异 | +1.7 pp (95% 区间 +0.6 至 +3.2 pp) 可以认定有差异 |
| EEGNet | BETA | 20260919 | −0.002 (95% 区间 −0.011 至 +0.007) 不能认定有差异 | +0.9 pp (95% 区间 −0.1 至 +1.8 pp) 不能认定有差异 |
| EEGNet | BETA | 20260920 | −0.006 (95% 区间 −0.013 至 +0.002) 不能认定有差异 | +0.3 pp (95% 区间 −0.5 至 +1.0 pp) 不能认定有差异 |
| EEGNet | BETA | 20260921 | −0.010 (95% 区间 −0.019 至 −0.001) 可以认定有差异 | +0.1 pp (95% 区间 −0.8 至 +0.8 pp) 不能认定有差异 |

#### 两个敏感性分析：只给认证的折数

匹配模型留出：模型在四分之三的训练被试上训练、在其余四分之一上校准，所以校准分数与测试分数来自同一个模型。Platt 缩放（两类）与向量缩放（BETA）代替温度缩放，可能改变预测标签。

| 方法 | 数据集 | 分析 | 被认证的折 | 超过自身目标的已认证折 |
| --- | --- | --- | --- | --- |
| Spectral ridge | EEGMAT | 匹配模型留出 | 0 / 5 | — (没有被认证的折) |
| EEGNet | EEGMAT | 匹配模型留出 | 1 / 5 | 0 / 1 |
| LaBraM · 只训分类头，编码器冻结 | EEGMAT | 匹配模型留出 | 0 / 5 | — (没有被认证的折) |
| LaBraM · 秩为 4 的 LoRA + 分类头 | EEGMAT | 匹配模型留出 | 0 / 5 | — (没有被认证的折) |
| Standard CCA | BETA | 匹配模型留出 | 7 / 7 | 3 / 7 |
| CBraMod | BETA | 匹配模型留出 | 6 / 7 | 3 / 6 |
| EEGNet | BETA | 匹配模型留出 | 7 / 7 | 1 / 7 |
| Spectral ridge | EEGMAT | Platt 缩放 | 0 / 5 | — (没有被认证的折) |
| EEGNet | EEGMAT | Platt 缩放 | 0 / 5 | — (没有被认证的折) |
| LaBraM · 只训分类头，编码器冻结 | EEGMAT | Platt 缩放 | 0 / 5 | — (没有被认证的折) |
| LaBraM · 秩为 4 的 LoRA + 分类头 | EEGMAT | Platt 缩放 | 0 / 5 | — (没有被认证的折) |
| Standard CCA | BETA | 向量缩放 | 7 / 7 | 5 / 7 |
| CBraMod | BETA | 向量缩放 | 4 / 7 | 2 / 4 |
| EEGNet | BETA | 向量缩放 | 7 / 7 | 2 / 7 |

#### 与分类器一起训练的拒识头（探索性）

一个 SelectiveNet 式的 EEGNet，带有自己的选择头 g 一起训练（alpha 0.5，lambda 32，目标覆盖率 0.8）。在同一个模型内，把 g 与它自己分类头校准后的置信度相比；差值为正表示 g 更差。

| 数据集 | g − 置信度（AURC） | g − 置信度（80% 覆盖率下的错误率） |
| --- | --- | --- |
| EEGMAT | +0.011 (95% 区间 −0.012 至 +0.035) 不能认定有差异 | +2.4 pp (95% 区间 +0.8 至 +4.2 pp) 可以认定有差异 |
| BETA | +0.080 (95% 区间 +0.061 至 +0.099) 可以认定有差异 | +1.9 pp (95% 区间 +1.0 至 +2.6 pp) 可以认定有差异 |

BNCI2015-001 上的跨天标签预算分析在该数据源暂缓期间不发布（见[暂缓登记表](https://bci.report/zh/releases/#hold-bnci2015-001-crossday)）。

### 第一条路线的局限

### 方法比较

这里每个协议在设计上都是类别平衡或均匀的：EEGMAT 一半静息、一半心算，BETA 在 40 个目标上均匀，ds003810 类别平衡。这些数字比较的是方法，没有一个是部署时的错误率。在 EEGMAT 上，每个类别各自是一段记录，所以记录层面的差异也是任何模型或选择器都能利用的信息。BETA 是按提示节奏的拼写，没有空闲状态，所以给不出任何形式的误触发数字。

### 什么都没接受，就没有错误率

风险—覆盖率曲线只在有试次被接受时才存在。覆盖率为零时没有错误率，而不是错误率为零；被接受的少于 10 个时标为不稳定。

### 名义保证

经认证的选择性风险假设校准数据与测试数据可以互换。跨被试时并非如此，所以这个保证只是名义上的：它失效的频率在这里是测出来的，不是假设的。

### 分布外的输入

拒绝已知类别上可能判错的试次，不等于识别陌生的输入：不确定性阈值未必能标出没见过的类别。第一条路线不作任何分布外的声明。

[Mulder 等（2026），运动想象：arXiv:2603.13324 ↗](https://arxiv.org/abs/2603.13324)

### 校准用的被试更少

校准分数来自只见过约四分之三训练被试的内层模型，所以它们可能比被测试分数的完整模型更不自信。这一近似体现在每一个经过校准的数字里。

### 已发布的准确率

温度缩放不改变任何预测标签，所以全覆盖时的准确率都等于本站已发布的数值。匹配模型、映射敏感性与联合训练这几组分析用的是别的模型或映射；它们的准确率不发布，也绝不与本站的数值混在一起。

### 差异的判定

只有配对的 95% 被试 bootstrap 区间不含零时，一个对比才称为有差异，且不做多重比较校正；否则写作“不能认定有差异”。只有 95% 区间不重叠时，才说一行高于另一行；描述性的水平值不作判定。

### 空闲协议没有放进来

在空闲协议上，第一条路线只能给出每个决策时刻按窗口统计的比例，从来不是每小时的误触发率，而且与本页的空闲数字单位不同，所以没有放进来。

### ds003810 是粗略的

十名被试，每个测试折两人：bootstrap 区间粗略，也不发布按人的离散度。

### 所用的记录与方法

### EEGMAT

Igor Zyma, Ivan Seleznov, Anton Popov, Mariia Chernykh, Oleksii Shpenkov · EEG During Mental Arithmetic Tasks 1.0.0, PhysioNet, doi:10.13026/C2JQ1P. Study: Zyma et al. (2019), doi:10.3390/data4010014. PhysioNet platform: Pollard et al. (2026), doi:10.1038/s44360-026-00096-z.

[数据集记录 ↗](https://physionet.org/content/eegmat/1.0.0/) · [Open Data Commons Attribution License 1.0](https://opendatacommons.org/licenses/by/1-0/)

### BETA

Bingchuan Liu et al. · BETA: A Large Benchmark Database Toward SSVEP-BCI Application (2020), doi:10.3389/fnins.2020.00627. Figshare 12264401 v3; mirror Bingchuan/BETA.

[数据集记录 ↗](https://figshare.com/articles/dataset/The_BETA_database/12264401) · [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/)

### ds003810

Peterson et al. · OpenNeuro ds003810, version 2.0.2. Study: https://pmc.ncbi.nlm.nih.gov/articles/PMC9114495/

[数据集记录 ↗](https://doi.org/10.18112/openneuro.ds003810.v2.0.2) · [CC0-1.0](https://creativecommons.org/publicdomain/zero/1.0/)

#### 这些结果所依据的方法（2026 年 10 月 4 日对照原始记录核查）

- [Guo, Pleiss, Sun & Weinberger, ICML 2017 · On calibration of modern neural networks ↗](https://arxiv.org/abs/1706.04599)
- [Geifman & El-Yaniv, 2017 · Selective classification for deep neural networks ↗](https://arxiv.org/abs/1705.08500)
- [Geifman & El-Yaniv, ICML 2019 · SelectiveNet: a deep neural network with an integrated reject option ↗](https://proceedings.mlr.press/v97/geifman19a.html)
- [Geifman, Uziel & El-Yaniv, ICLR 2019 · Bias-reduced uncertainty estimation for deep neural classifiers (AURC) ↗](https://arxiv.org/abs/1805.08206)
- [Nixon et al., 2019 · Measuring calibration in deep learning ↗](https://arxiv.org/abs/1904.01685)
- [Mulder, Valdenegro-Toro, Sburlea & de Jong, 2026 · The challenge of out-of-distribution detection in motor imagery BCIs ↗](https://arxiv.org/abs/2603.13324)

这些数字背后的检查：两项第 0 阶段审计都已通过。独立的主审计在 12 项检查中通过了 11 项；没有通过的那一项发现的是文档错误，不是计算错误——运行日志说退化的个人温度参数会退回到总体温度参数，而代码按协议的要求保留了它，每个数字都是这样计算和复现的。独立的次级审计 15 项全部通过。两项审计都不调用研究代码、重新实现了各项定义；它们留在私有的运行目录中，以哈希固定。

数据来源： [reliable-decisions-update.json](https://bci.report/data/reliable-decisions-update.json) · schema bci-report-reliable-decisions-update-v1。

[BETA 部分结果的长文解读（英文，Hugging Face）↗](https://huggingface.co/blog/Twu31/when-should-an-eeg-decoder-abstain)

研究计划 · 三条路线已运行

## Jev-style 的 EEG 决策模型

解码器能做的选择不止一个类别标签：它可以执行，可以等待更多证据，也可以请求校准。

状态：三条路线都已运行。第一条的结果见上一节；第二条和第三条的结果各在单独的页面上。

“Jev-style”（Jev 式）在这里指把 TypeSafe 的 Jev 这类决策模型的接口用在 EEG 上：一段记录只编码一次，再回答关于它的多个明确的、规定输出类型的问题，每个回答都带一个概率。第一条路线不需要新模型：它对本站已发布模型保存下来的输出重新评分。第二条路线训练了共用一个编码器的模型（从头训练的小型 EEGNet，以及冻结或用 LoRA 适配的 CBraMod），问题只以标识给出，从不用语言。第三条路线用文字提问：经由冻结的文本编码器，以及冻结 EEG 特征上的一个小分类头。

- 首先 · 已运行 · 结果见上一节 可靠的决策 在同一份数据上比较固定阈值、简单统计策略和可学习的拒识机制。报告相同覆盖率下的错误率、各类别的接受率，以及概率质量——Brier 分数、log loss 和可靠性图——校准数据与测试数据分开。重新校准另作一项实验，并计入所需标签的代价。 上一节已发布：相同覆盖率下的错误率、log loss、Brier 分数和校准误差。没有发布：各类别的接受率和可靠性图的分箱。 [可靠的决策：结果 ↑](https://bci.report/zh/topics/when-not-to-act/#reliable-decisions)
- 随后 · 已运行 · 结果在单独的页面上 一份表征，多个问题 在运动想象和睡眠两个协议上分别比较：各任务独立的模型、共享编码器加固定分类头，以及同一编码器加问题条件化分类头，数据量与计算量保持一致。 在运动想象（OpenBMI）和睡眠（BOAS，EESM19 作粗略重复）上运行。有一项次要设置——在睡眠上用 LoRA 适配 CBraMod——是在其他结果已知之后才运行的；它的设计事先已定。 [一个模型，多个问题：结果 →](https://bci.report/zh/topics/shared-encoder/)
- 之后 · 已运行 · 结果在单独的页面上 用语言提问 比较任务标识、标签模板和自然语言描述。同义改写与未见概念分开测试，绝不合成一个“零样本”数字。 在 SSVEP（BETA）和睡眠（BOAS）上运行，EESM19、OpenBMI 运动想象和 Wearable-102 作为次要数据。运行前的置换检查失败了两次，所有者每次都对它作了修订，第二次推翻了它自己写下的“不再修订”；两次失败都与结果一起披露。 关于否定、位置或波形形态的问题，需要信号层面的真值标注。 [用语言提问：结果 →](https://bci.report/zh/topics/questions-in-language/)

三条路线，各有一个回答：[Jev 式提问用在脑电上：证据 →](https://bci.report/zh/jev-style/)

### 现有数据的局限

本站的睡眠和 P300 协议用的是类别平衡的子集。在上面估计出的概率反映的是这种平衡，所以它们用于比较方法；要得到部署时的错误率，需要各类别按实际使用中的频率出现的数据。

第一个带有明确非控制状态的输入，是上面的异步 SSVEP 数据集：先是一个保留为开发集的小规模试点，再是同一份数据中的其余被试，用事先固定的规则评分。

### 已发表的工作

外部证据，按作者报告的结果列出，已于 2026 年 9 月 27 日对照原始记录核查。

#### [Geifman & El-Yaniv, 2017 · Selective classification for deep neural networks ↗](https://arxiv.org/abs/1705.08500)

**说明了** 可以给已训练好的分类器加上拒识选项，由使用者设定目标风险，用覆盖率换取更低的错误率。

**局限** 证据来自图像基准。它的保证假设测试数据与校准数据相似，而跨被试、跨会话的 EEG 往往不满足这一点。

#### [Geifman & El-Yaniv, ICML 2019 · SelectiveNet ↗](https://proceedings.mlr.press/v97/geifman19a.html)

**说明了** 分类与拒识可以联合训练，把给定覆盖率下的风险作为明确的优化目标。

**局限** 不是 EEG 上的证据。它的保证默认不能迁移到新被试或新设备上。

#### [Chatterjee et al., 2026 · Making conformal predictors robust in healthcare settings ↗](https://arxiv.org/abs/2602.19483)

**说明了** 在 EEG 癫痫分类上，被试之间的分布漂移使标准 conformal 预测达不到名义覆盖率，按被试个别校准能明显提高覆盖率。

**局限** 只是一项临床任务。它说明覆盖率必须在实际使用的数据划分下测量。

#### [Dai et al., 2026 · MTEEG: unified multi-task EEG analysis with low-rank adaptation ↗](https://arxiv.org/abs/2604.25131)

**说明了** 一个预训练 EEG 模型可以借助任务专属的 LoRA 模块同时适配多个任务。

**局限** 每个任务一个适配器，不等于多个问题共享同一窗口上的一次计算。

#### [Jiang et al., 2024 · NeuroLM: a universal multi-task foundation model for EEG ↗](https://arxiv.org/abs/2409.00101)

**说明了** 把 EEG token 输入语言模型并做指令微调，可以在一个模型里支持多项 EEG 任务。

**局限** 指令式 EEG 模型已经存在。多任务结果不能证明任意问题都能泛化。

#### [Lu et al., 2025 · UniMind: LLMs for unified multi-task brain decoding ↗](https://arxiv.org/abs/2506.18962)

**说明了** 基于语言模型的 EEG 模型可以选择与任务相关的查询，用来解码多项任务。

**局限** 这些查询是模型内部的 token，不是使用者写下的判据。

#### [Gijsen & Ritter, 2024 · EEG-language pretraining for label-efficient clinical phenotyping ↗](https://arxiv.org/abs/2409.07480)

**说明了** 在作者的临床评测中，与临床报告对齐的 EEG 支持零样本分类和检索。

**局限** 医院 EEG 与临床表型。对可穿戴设备、少通道或任意概念，目前还说明不了什么。

#### [Yu & Yao, 2026 · Visual Jev: Accurate and Efficient Decisions from Shared Visual Context ↗](https://arxiv.org/abs/2609.25845)

**说明了** 在视觉领域，一张图像及其上下文编码一次，就能批量回答多个相互独立的强制选择问题：同样是“编码一次、回答多个问题”的思路，用在图像上。本计划正是从这篇论文出发的。

**局限** 它自己设置的对照——换成输出类型固定的分类头——没有带来一致的准确率提升；训练带来的提升也集中在训练中见过的任务类型上。它的加速是在图像上测得的。

### 与现有内容的联系

[需要多少校准？](https://bci.report/zh/topics/calibration-budget/) · [预训练有用吗？](https://bci.report/zh/topics/does-pretraining-help/) · [更少的电极](https://bci.report/zh/topics/fewer-electrodes/)

继续探索

迁移

- [— 传感器迁移 **干电极与湿电极**](https://bci.report/zh/topics/dry-vs-wet/)
- [— 场景迁移 **从屏幕到 VR**](https://bci.report/zh/topics/screen-to-vr/)
- [— 电极布局 **更少的电极**](https://bci.report/zh/topics/fewer-electrodes/)
- [— 运动鲁棒性 **移动中的解码**](https://bci.report/zh/topics/on-the-move/)
- [— 跨会话迁移 · 同一被试 **后续会话**](https://bci.report/zh/topics/later-sessions/)

调整模型

- [— 校准预算 **需要多少校准？**](https://bci.report/zh/topics/calibration-budget/)
- [— 模型适配 **该更新哪一部分？**](https://bci.report/zh/topics/model-adaptation/)
- [— 表征对照 **预训练有用吗？**](https://bci.report/zh/topics/does-pretraining-help/)
- [— 共享编码器 · 第二条路线 **一个模型，多个问题**](https://bci.report/zh/topics/shared-encoder/)
- [— 用语言提问 · 第三条路线 **用语言提问**](https://bci.report/zh/topics/questions-in-language/)
- [— 第三条路线 · 后续检验 **没见过的 SSVEP 频率**](https://bci.report/zh/topics/new-ssvep-frequencies/)

可靠性与临床

- [— 拒识 · 决策研究 **何时不该执行**](https://bci.report/zh/topics/when-not-to-act/)
- [— 睡眠分期 · 简单基线 **睡眠分期的失衡**](https://bci.report/zh/topics/sleep-staging/)
- [— 临床研究 **临床分组**](https://bci.report/zh/topics/clinical-groups/)
- [— 数据质量与可复现性 **从头核到尾**](https://bci.report/zh/topics/data-quality/)

其他信号与试点

- [— 其他信号 · 人类与猕猴 **头皮 EEG 之外**](https://bci.report/zh/topics/beyond-scalp-eeg/)
- [— 试点研究 · 小样本 **试点研究**](https://bci.report/zh/topics/pilot-studies/)

[全部问题与迁移覆盖地图 →](https://bci.report/zh/topics/)

## 引用本页

BCI Report. *没有人下指令时，EEG 解码器误触发有多频繁？*[EB/OL]. (2026-10-04). https://bci.report/zh/topics/when-not-to-act/

数字来自发布 [`reliable-decisions-update-20261004`](https://bci.report/zh/releases/#reliable-decisions-update-20261004)（2026-10-04）、[`extension-update-20261002`](https://bci.report/zh/releases/#extension-update-20261002)（2026-10-02）、[`context-update-20260927`](https://bci.report/zh/releases/#context-update-20260927)（2026-09-27）、[`research-preview-20260920`](https://bci.report/zh/releases/#research-preview-20260920)（2026-09-20）。也请同时引用上游数据集：署名就在本页。

每个发布版本都在 Zenodo 存档：[doi:10.5281/zenodo.23123296](https://doi.org/10.5281/zenodo.23123296)。 [本站及各次发布的 BibTeX →](https://bci.report/zh/api/#cite-heading) · [CITATION.cff ↗](https://raw.githubusercontent.com/twu3202/bci-report/main/CITATION.cff)（英文）

---
本文是 https://bci.report/zh/topics/when-not-to-act/ 的 Markdown 版本，由已发布的网页生成。数字均为聚合结果；使用条款见 https://bci.report/data-use/（英文）。