同一数据集
这 20 名被试与试点来自同一份数据、同一实验室、同一协议;这不是来自独立队列的证据。
拒识 · 可靠的决策 · Jev-style 研究计划
在本站的空闲协议上,EEGNet 在 60 个空闲试次里没有一次误触发,但 60 条指令只检出 1 条。在 EEGMAT 和 BETA 上,一个 Jev-style 研究计划的第一条路线测量了解码器什么时候该拒绝作出决定。
测量所用数据集:ds003810、EEGMAT、BETA、ds005342、YSU asynchronous SSVEP-BCI dataset · 方法:EEGNet、LaBraM、CBraMod、ShallowFBCSPNet、Deep4Net、CSP+LDA、CCA
取决于解码器执行得有多频繁:从不执行的解码器,也就从不误触发,所以误触发只有和它检出的指令放在一起读才有意义。在 4 名被试的提示同步空闲测试中,触发最少的解码器 EEGNet 在空闲试次里的误触发为 0 / 60,但指令只检出 1 / 60,并且有 2 名被试的阈值拒绝了全部指令。在另一组 20 名被试的测试中,CCA 解码器使用在更早一个试点上固定的阈值,在有意发出指令时接受了 748 / 960 个窗口,在无意发出指令的三种状态下分别误接受了 49 / 240、93 / 240 和 107 / 480。改用每名被试自己的 96 个窗口拟合阈值后,被误接受的非控制窗口总体减少,每种状态下也都减少了,但被接受且正确的指令占比并没有提高;这项对比无法区分“按人拟合阈值”和“仅仅多了这些标签”各自的作用。
阈值只用校准数据来选;4 名被试中有 2 名的阈值拒绝了所有指令。
两个数字,每种方法
4 名被试;测试集共 60 个空闲试次和 60 个指令试次;指令在提示后 3 秒内被检出才算。按指令检出率排序。
| 方法 | 训练方式 | 3 秒内检出的指令 | 空闲误触发 | 始终拒识 |
|---|---|---|---|---|
| ShallowFBCSPNet | 从头训练 · 20 轮 | 26 / 6043.3%指令检出率 43.3% | 1 / 601.7% | 1共 4 名被试 |
| CSP+LDA | 监督拟合 | 14 / 6023.3%指令检出率 23.3% | 0 / 600.0% | 1共 4 名被试 |
| LaBraM | 冻结编码器 + 线性分类头 | 11 / 6018.3%指令检出率 18.3% | 2 / 603.3% | 0共 4 名被试 |
| CBraMod | 冻结编码器 + 线性分类头 | 11 / 6018.3%指令检出率 18.3% | 1 / 601.7% | 1共 4 名被试 |
| Deep4Net | 从头训练 · 20 轮 | 2 / 603.3%指令检出率 3.3% | 1 / 601.7% | 1共 4 名被试 |
| EEGNet | 从头训练 · 20 轮 | 1 / 601.7%指令检出率 1.7% | 0 / 600.0% | 2共 4 名被试 |
明确的非控制状态 · 20 名被试 · 规则在评分前固定;全局阈值来自 4 人试点
另一个数据集专门记录了指令之间的状态:注视中央图像但闪烁关闭、看着白墙休息、注视中央而周围目标在闪烁。固定的 CCA 解码器决定是否把每个 1.5 秒窗口当作指令接受,所用的两种规则在这 20 名被试中任何一人被评分之前就已固定:全局阈值只用下文 4 名试点被试的校准窗口拟合;逐人阈值用每名新被试自己 96 个带标签的校准窗口拟合。两种规则在每名被试相同的 96 个留出窗口上评分。
配对区间 +0.5 至 +5.7 pp。20 名被试中 10 人提升、8 人变差、2 人不变。提升来自更少的误接受:有意指令的覆盖率几乎没变,而既被接受又正确的指令窗口占比从 68.1% 变为 67.6%。
| 指标 | 全局阈值 · 在试点上固定 | 逐人阈值 · 用自己的窗口 |
|---|---|---|
| 检测平衡准确率,有指令对无指令 | 76.0%95% 区间 71.6%–80.2% | 79.0%95% 区间 74.2%–83.8% |
| 被接受的指令窗口(覆盖率) | 748 / 96077.9% | 746 / 96077.7% |
| 被接受且正确(端到端) | 654 / 96068.1% | 649 / 96067.6% |
| 被接受窗口中的正确率 | 85.8%各被试比率的均值 | 85.1%各被试比率的均值 |
在任何拒识之前,两种规则下识别出正确频率的指令窗口都是 769 / 960:解码器相同,只有拒识规则不同。检测上升了,正确的指令并没有增加。
| 状态 | 全局阈值 · 在试点上固定 | 逐人阈值 · 用自己的窗口 |
|---|---|---|
| 注视中央图像,闪烁关闭NS1 | 49 / 24020.4% | 32 / 24013.3% |
| 看着白墙休息NS2 | 93 / 24038.8% | 79 / 24032.9% |
| 注视中央,周围目标在闪烁NS3 | 107 / 48022.3% | 79 / 48016.5% |
| 三种状态合并全部非控制窗口 | 249 / 96025.9% | 190 / 96019.8% |
检测分数按采集时的比例合并三种状态,每名被试分别为 12、12 和 24 个窗口,所以“周围在闪烁”这一状态的权重是另两种的两倍;最后一行就是合并后的计数。
这 20 名被试与试点来自同一份数据、同一实验室、同一协议;这不是来自独立队列的证据。
逐人规则用了每名被试 96 个带标签的窗口,一半有指令、一半没有。这项比较无法区分“按人拟合阈值”和“仅仅多了这些标签”各自的作用;数据源也没有说明这些窗口与测试窗口的先后,所以“先校准、后使用”在这里尚未检验。
分别采集的 1.5 秒窗口,状态比例固定。它们给出的是窗口比率,不是连续使用中每小时的误触发次数,也不是延迟,更不是人们实际发出指令的频率。
数据源没有说明 EEG 数值的物理单位。解码器用的是相关系数,本身无单位。
对 20 名被试做整人 bootstrap,以 4 名试点被试和每次实际的校准划分为条件。
用每名被试自己的校准试次拟合逐人阈值。这 4 名被试提供了上文的全局阈值,不在那 20 人之中。下表为合并后的窗口计数。
| 状态 | 窗口 |
|---|---|
| 拒识前识别出正确频率 | 152 / 19279.2% |
| 被接受(覆盖率) | 130 / 19267.7% |
| 被接受且正确(端到端) | 121 / 19263.0% |
| 被接受窗口中的正确率 | 121 / 13093.1% |
| 状态 | 被误接受 |
|---|---|
| 注视中央图像,闪烁关闭 | 9 / 4818.8% |
| 看着白墙休息 | 20 / 4841.7% |
| 注视中央,周围目标在闪烁 | 11 / 9611.5% |
离线、逐窗口统计。
Jing Zhao, Qian Zhang, Xinrui Wang, Xueshuo Liu, Jiaxin Li, Fengjie Fan, Zhenhu Liang and Xiaoli Li · An EEG dataset for studying asynchronous steady-state visual evoked potential (SSVEP) based brain computer interfaces, Brain-Apparatus Communication 3(1) (2024), doi:10.1080/27706710.2024.2418650; data at doi:10.6084/m9.figshare.24906300.v3.
实验前,每名被试都签署了书面知情同意;研究经秦皇岛市第一医院伦理委员会审查批准。本站用到了该数据集全部 24 名被试:4 名作为开发试点,20 名作为扩展;只发布队列均值、合并后的窗口计数,以及提升或变差的人数。
数据来源: extension-update.json · schema bci-report-extension-update-v1。
数据来源: 已审核的聚合 JSON · schema bci-report-context-update-v1。
方法与局限
在这个规模下,平均值离每个人都很近:公开的比率可以还原成计数,计数又能缩小到两个人中的一个。
测试中只有 180 秒的空闲,不足以估计无提示休息中每小时的误触发次数。
每次提示都会重新开始检测,所以解码器总是知道决策窗口已经打开。一个必须自己察觉意图的系统,面对的问题比这个协议测的更难。
这些都是经过阈值的决策。概率校准在 EEGMAT 和 BETA 上测量,见下文“可靠的决策”。
OpenNeuro ds005342 contributors · version 1.0.3, doi:10.18112/openneuro.ds005342.v1.0.3; associated study doi:10.3389/fninf.2022.961089. Original author credits are retained at the linked source.
数据源 README 写明被试自愿签署了同意书,并经 Universidad Antonio Nariño 伦理委员会批准。这里只发布队列级聚合结果。
数据来源: 已审核的聚合 JSON · 本协议的 CSV · research-preview-20260920。
可靠的决策 · 下文计划的第一条路线 · EEGMAT 与 BETA
第一条路线取本站已发布模型保存下来的测试分数——EEGMAT 上 36 名被试,心算对静息;BETA 上 70 名被试,40 目标的 SSVEP 拼写——在事先固定的四条规则下,看每个解码器本该拒绝哪些试次。全覆盖时的准确率都是已发布的数值;两种 LaBraM 配置用的是适配发布中随机种子 20260922 的均值。
校准分数里从不包含测试被试:每个外层折中,训练被试分成四组,每组由在另外三组上训练的模型评分。区间是配对的被试 bootstrap 95% 区间,重抽样 2,000 次,不做多重比较校正。只有区间不含零时,一个对比才称为有差异;比率之间的差值以百分点(pp)表示。
同一个截断点——校准后最高类别的概率不低于 0.8 就接受——对不同的解码器、不同的被试,接受的比例相差很大。
| 方法 | 全部接受时的平衡准确率 | 置信度 ≥ 0.8 时被接受 | 被接受试次中的错误率 | 一个都没被接受的被试 | 截断点以 80% 为目标时的覆盖率 |
|---|---|---|---|---|---|
| Standard CCA | 63.1%已发布的数值 | 3,176 / 11,200覆盖率 28.4% · 95% 区间 22.9%–34.2%被接受的试次占 28.4% | 4.3%95% 区间 2.7%–6.8% | 0共 70 名被试 | 79.7%95% 区间 75.0%–84.0% |
| CBraMod | 33.7%已发布的数值 | 165 / 11,200覆盖率 1.5% · 95% 区间 0.8%–2.3%被接受的试次占 1.5% | 22.4%95% 区间 5.9%–45.1% | 38共 70 名被试 | 76.4%95% 区间 72.8%–80.0% |
| EEGNet | 55.8%已发布的数值 | 1,863 / 11,200覆盖率 16.6% · 95% 区间 12.5%–21.0%被接受的试次占 16.6% | 5.5%95% 区间 2.8%–9.1% | 10共 70 名被试 | 80.5%95% 区间 75.6%–85.1% |
| 方法对 | 差值 | 判定 |
|---|---|---|
| Standard CCA − CBraMod | +26.9 pp95% 区间 +21.7 至 +32.4 pp | 可以认定有差异 |
| Standard CCA − EEGNet | +11.7 pp95% 区间 +7.8 至 +16.2 pp | 可以认定有差异 |
| CBraMod − EEGNet | −15.2 pp95% 区间 −19.2 至 −11.5 pp | 可以认定有差异 |
| 方法 | 全部接受时的平衡准确率 | 置信度 ≥ 0.8 时被接受 | 被接受试次中的错误率 | 一个都没被接受的被试 | 截断点以 80% 为目标时的覆盖率 |
|---|---|---|---|---|---|
| Spectral ridge | 56.8%已发布的数值 | 3 / 2,160覆盖率 0.1% · 95% 区间 0.0%–0.3%被接受的试次占 0.1% | 0 / 3被接受的里判错的不稳定:被接受的少于 10 个,不据此读出比率 | 33共 36 名被试 | 80.6%95% 区间 78.9%–82.3% |
| EEGNet | 67.6%已发布的数值 | 126 / 2,160覆盖率 5.8% · 95% 区间 2.3%–10.6%被接受的试次占 5.8% | 42.1%95% 区间 13.0%–61.4% | 19共 36 名被试 | 79.1%95% 区间 74.9%–83.2% |
| LaBraM · 只训分类头,编码器冻结 | 56.9%已发布的随机种子 20260922 均值(适配发布) | 1 / 2,160覆盖率 0.05% · 95% 区间 0.0%–0.1%被接受的试次占 0.05% | 0 / 1被接受的里判错的不稳定:被接受的少于 10 个,不据此读出比率 | 35共 36 名被试 | 79.4%95% 区间 77.7%–81.1% |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 64.4%已发布的随机种子 20260922 均值(适配发布) | 44 / 2,160覆盖率 2.0% · 95% 区间 0.9%–3.5%被接受的试次占 2.0% | 22.7%95% 区间 6.3%–45.5% | 24共 36 名被试 | 81.5%95% 区间 79.1%–83.9% |
| 方法对 | 差值 | 判定 |
|---|---|---|
| Spectral ridge − EEGNet | −5.7 pp95% 区间 −10.5 至 −2.1 pp | 可以认定有差异 |
| Spectral ridge − LaBraM(只训分类头) | +0.1 pp95% 区间 0.00 至 +0.2 pp | 不能认定有差异 |
| Spectral ridge − LaBraM(LoRA) | −1.9 pp95% 区间 −3.3 至 −0.8 pp | 可以认定有差异 |
| EEGNet − LaBraM(只训分类头) | +5.8 pp95% 区间 +2.2 至 +10.6 pp | 可以认定有差异 |
| EEGNet − LaBraM(LoRA) | +3.8 pp95% 区间 +0.4 至 +8.2 pp | 可以认定有差异 |
| LaBraM(只训分类头) − LaBraM(LoRA) | −2.0 pp95% 区间 −3.4 至 −0.9 pp | 可以认定有差异 |
在 BETA 上,固定阈值达到的最小覆盖率是 11,200 个试次中的 165 个(1.5%,来自 CBraMod)。于是每种方法都只接受自己最有把握的 165 个试次,阈值就从比较中去掉了:
| 方法 | 最有把握的试次中的错误率 | 判定 |
|---|---|---|
| Standard CCA | 0.6%95% 区间 0.0%–2.3% | 描述性水平,不作判定 |
| CBraMod | 22.4%95% 区间 5.9%–45.1% | 描述性水平,不作判定 |
| EEGNet | 8.5%95% 区间 0.0%–28.5% | 描述性水平,不作判定 |
| Standard CCA − CBraMod | −21.8 pp95% 区间 −44.6 至 −5.1 pp | 可以认定有差异 |
| Standard CCA − EEGNet | −7.9 pp95% 区间 −28.2 至 +1.7 pp | 不能认定有差异 |
| CBraMod − EEGNet | +13.9 pp95% 区间 +5.3 至 +22.2 pp | 可以认定有差异 |
在 EEGMAT 上,这个共同覆盖率只有 2,160 个窗口中的 1 个:被接受的少于 10 个,所以不作判定。
分类器保持不变,把可学习的拒识选项 L(它还能看到一份信号的频谱描述)与同一分类器校准后的置信度 S 相比,测试试次也相同。两个指标:风险—覆盖率曲线下面积(AURC;越低,说明错误越集中在最没把握的试次里),以及各自最有把握的 80% 试次中的错误率。在 80% 覆盖率下,没有一种方法上 L 的错误率比 S 低;凡是能认定有差异的,都是 L 错得更多。按 AURC,L 只在 BETA 的 CBraMod 上排序更好,在 EEGMAT 的 LaBraM(只训分类头)上更差;其余对比都不能认定有差异。
| 方法 | AURC · 置信度 S | AURC · 拒识选项 L | L − S(AURC) | 80% 覆盖率下的错误率 · S | 80% 覆盖率下的错误率 · L | L − S(80% 覆盖率下的错误率) |
|---|---|---|---|---|---|---|
| Spectral ridge | 0.38695% 区间 0.348–0.428 | 0.39995% 区间 0.359–0.440 | +0.01395% 区间 −0.006 至 +0.029不能认定有差异 | 41.4%95% 区间 38.9%–43.9% | 41.9%95% 区间 39.2%–44.4% | +0.5 pp95% 区间 −1.2 至 +1.7 pp不能认定有差异 |
| EEGNet | 0.29395% 区间 0.211–0.368 | 0.30995% 区间 0.238–0.379 | +0.01695% 区间 −0.014 至 +0.050不能认定有差异 | 29.5%95% 区间 23.9%–35.0% | 31.8%95% 区间 27.0%–36.9% | +2.3 pp95% 区间 +0.6 至 +4.1 pp可以认定有差异 |
| LaBraM · 只训分类头,编码器冻结 | 0.39695% 区间 0.351–0.441 | 0.42295% 区间 0.378–0.466 | +0.02695% 区间 +0.005 至 +0.046可以认定有差异 | 42.9%95% 区间 39.0%–45.8% | 43.6%95% 区间 40.2%–46.6% | +0.6 pp95% 区间 −0.5 至 +2.7 pp不能认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 0.30895% 区间 0.245–0.373 | 0.32395% 区间 0.267–0.379 | +0.01595% 区间 −0.011 至 +0.041不能认定有差异 | 33.2%95% 区间 28.6%–37.4% | 35.1%95% 区间 30.7%–39.8% | +1.9 pp95% 区间 +0.6 至 +3.5 pp可以认定有差异 |
| 方法 | AURC · 置信度 S | AURC · 拒识选项 L | L − S(AURC) | 80% 覆盖率下的错误率 · S | 80% 覆盖率下的错误率 · L | L − S(80% 覆盖率下的错误率) |
|---|---|---|---|---|---|---|
| Standard CCA | 0.14595% 区间 0.105–0.194 | 0.14695% 区间 0.107–0.196 | +0.00295% 区间 −0.004 至 +0.008不能认定有差异 | 27.2%95% 区间 20.8%–33.9% | 27.4%95% 区间 21.1%–34.5% | +0.3 pp95% 区间 −0.3 至 +1.0 pp不能认定有差异 |
| CBraMod | 0.49795% 区间 0.430–0.566 | 0.47395% 区间 0.413–0.538 | −0.02495% 区间 −0.039 至 −0.007可以认定有差异 | 61.7%95% 区间 56.8%–66.5% | 61.6%95% 区间 57.1%–66.4% | −0.03 pp95% 区间 −0.8 至 +0.6 pp不能认定有差异 |
| EEGNet | 0.20895% 区间 0.161–0.264 | 0.20195% 区间 0.154–0.257 | −0.00795% 区间 −0.014 至 +0.001不能认定有差异 | 34.8%95% 区间 28.7%–41.4% | 35.6%95% 区间 29.2%–42.4% | +0.8 pp95% 区间 +0.02 至 +1.6 pp可以认定有差异 |
拒识能换来多少,按协议分别来读,两个协议之间不作比较:一个有四十个目标,一个只有两个类别。在 BETA 上,标准 CCA 全部接受时的错误率是 36.9%,只接受最有把握的一半时降到 12.4%;在 EEGMAT 上,EEGNet 从 32.4% 降到 27.1%。
| 方法 | 全部接受 | 最有把握的 80% | 最有把握的 50% |
|---|---|---|---|
| EEGMAT | |||
| Spectral ridge | 43.2% | 41.4% | 39.5% |
| EEGNet | 32.4% | 29.5% | 27.1% |
| LaBraM · 只训分类头,编码器冻结 | 43.1% | 42.9% | 40.7% |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 35.6% | 33.2% | 29.5% |
| BETA | |||
| Standard CCA | 36.9% | 27.2% | 12.4% |
| CBraMod | 66.3% | 61.7% | 53.2% |
| EEGNet | 44.2% | 34.8% | 18.8% |
S-risk 的保证假设校准试次与测试试次可以互换;跨被试时并非如此。在 EEGMAT 上,它对任何方法都没有认证任何一个外层折,所以什么都没有接受。在 BETA 上,每种方法都有被认证的折,而在其中一些折里,新被试的错误率超过了该折自己的目标。合并后的错误率减去目标,对任何方法都不能认定与零有差异。
| 方法 | 被认证的折 | 被接受 | 被接受试次中的错误率 | 目标 r*(按各折加权) | 超过自身目标的已认证折 | 错误率减去目标 |
|---|---|---|---|---|---|---|
| BETA · 7 个外层折 · 70 名被试 | ||||||
| Standard CCA | 7 / 7 | 6,751 / 11,200覆盖率 60.3% | 17.0%95% 区间 13.3%–21.6% | 18.5% | 4 / 7 | −1.5 pp95% 区间 −5.3 至 +3.2 pp不能认定有差异 |
| CBraMod | 4 / 7 | 522 / 11,200覆盖率 4.7% | 33.1%95% 区间 18.7%–48.5% | 34.9% | 2 / 4 | −1.8 pp95% 区间 −16.2 至 +13.6 pp不能认定有差异 |
| EEGNet | 7 / 7 | 5,605 / 11,200覆盖率 50.0% | 18.9%95% 区间 14.9%–23.7% | 23.3% | 2 / 7 | −4.4 pp95% 区间 −8.5 至 +0.5 pp不能认定有差异 |
| EEGMAT · 5 个外层折 · 36 名被试 | ||||||
| Spectral ridge | 0 / 5 | 0 / 2,160什么都没有接受 | —没有定义:什么都没有接受 | —没有被认证的折 | —没有被认证的折 | —没有定义:什么都没有接受 |
| EEGNet | 0 / 5 | 0 / 2,160什么都没有接受 | —没有定义:什么都没有接受 | —没有被认证的折 | —没有被认证的折 | —没有定义:什么都没有接受 |
| LaBraM · 只训分类头,编码器冻结 | 0 / 5 | 0 / 2,160什么都没有接受 | —没有定义:什么都没有接受 | —没有被认证的折 | —没有被认证的折 | —没有定义:什么都没有接受 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 0 / 5 | 0 / 2,160什么都没有接受 | —没有定义:什么都没有接受 | —没有被认证的折 | —没有被认证的折 | —没有定义:什么都没有接受 |
每个折大约十名被试,所以一个折的错误率也带有抽样噪声;超过目标的折数只是描述性的计数。
R0 用总体温度参数,不用新被试的任何标签;R1 在新被试自己的一段带标签的开头试次上拟合个人温度参数。在 BETA 上,每名新被试 40 个标签,每种方法的 NLL 和 AURC 都下降了。在 EEGMAT 上,每人 10 个标签时,四种方法中有三种的 NLL 上升,且区间不含零:许多个人温度参数退化了,而按协议它们被保留。如果只用这段开头试次重设覆盖率的截断点、不用它们的标签:在 EEGMAT 上用 10 个标签的那段开头时,覆盖率反而离 80% 的目标更远,四种方法中有三种可以认定这一变化。
| 方法 | 带标签的开头部分 | 每名新被试的标签数 | NLL 变化(R1 − R0) | ECE 变化 | AURC 变化 | 个人温度参数退化的被试 | 不用标签、只重设截断点:离 80% 目标的距离变化 |
|---|---|---|---|---|---|---|---|
| BETA | |||||||
| Standard CCA | 第 1 组块(每个目标一个试次) | 40 | −0.06595% 区间 −0.103 至 −0.032可以认定有差异 | −0.01995% 区间 −0.048 至 +0.009不能认定有差异 | −0.01295% 区间 −0.022 至 −0.005可以认定有差异 | 1 / 70 | +1.0 pp95% 区间 −4.0 至 +2.2 pp不能认定有差异 |
| CBraMod | 第 1 组块(每个目标一个试次) | 40 | −0.11395% 区间 −0.171 至 −0.048可以认定有差异 | −0.08395% 区间 −0.120 至 −0.042可以认定有差异 | −0.05295% 区间 −0.070 至 −0.031可以认定有差异 | 0 / 70 | −0.3 pp95% 区间 −4.4 至 +3.8 pp不能认定有差异 |
| EEGNet | 第 1 组块(每个目标一个试次) | 40 | −0.08095% 区间 −0.135 至 −0.020可以认定有差异 | −0.08995% 区间 −0.125 至 −0.048可以认定有差异 | −0.01695% 区间 −0.027 至 −0.004可以认定有差异 | 0 / 70 | +2.6 pp95% 区间 −2.9 至 +4.0 pp不能认定有差异 |
| EEGMAT | |||||||
| Spectral ridge | 每段记录的前 5 个窗口,之后空出 1 个窗口 | 10 | +0.05495% 区间 +0.017 至 +0.103可以认定有差异 | +0.05995% 区间 +0.006 至 +0.084可以认定有差异 | +0.00695% 区间 −0.027 至 +0.039不能认定有差异 | 9 / 36 | +10.6 pp95% 区间 +4.6 至 +15.8 pp可以认定有差异 |
| Spectral ridge | 每段记录的前 10 个窗口,之后空出 1 个窗口 | 20 | +0.02395% 区间 +0.003 至 +0.047可以认定有差异 | +0.03195% 区间 −0.006 至 +0.061不能认定有差异 | +0.01395% 区间 −0.022 至 +0.048不能认定有差异 | 9 / 36 | +1.7 pp95% 区间 −2.0 至 +5.7 pp不能认定有差异 |
| EEGNet | 每段记录的前 5 个窗口,之后空出 1 个窗口 | 10 | +0.33395% 区间 −0.051 至 +0.881不能认定有差异 | −0.04095% 区间 −0.091 至 +0.024不能认定有差异 | −0.08695% 区间 −0.154 至 −0.014可以认定有差异 | 8 / 36 | +5.8 pp95% 区间 −1.1 至 +10.3 pp不能认定有差异 |
| EEGNet | 每段记录的前 10 个窗口,之后空出 1 个窗口 | 20 | +0.02795% 区间 −0.088 至 +0.185不能认定有差异 | −0.05195% 区间 −0.095 至 +0.025不能认定有差异 | −0.10495% 区间 −0.171 至 −0.030可以认定有差异 | 5 / 36 | +1.7 pp95% 区间 −3.2 至 +6.0 pp不能认定有差异 |
| LaBraM · 只训分类头,编码器冻结 | 每段记录的前 5 个窗口,之后空出 1 个窗口 | 10 | +0.04795% 区间 +0.016 至 +0.082可以认定有差异 | +0.05795% 区间 +0.012 至 +0.082可以认定有差异 | −0.01795% 区间 −0.052 至 +0.018不能认定有差异 | 10 / 36 | +7.2 pp95% 区间 +2.1 至 +11.1 pp可以认定有差异 |
| LaBraM · 只训分类头,编码器冻结 | 每段记录的前 10 个窗口,之后空出 1 个窗口 | 20 | −0.00395% 区间 −0.020 至 +0.019不能认定有差异 | +0.00495% 区间 −0.033 至 +0.032不能认定有差异 | −0.02995% 区间 −0.064 至 +0.008不能认定有差异 | 10 / 36 | +2.7 pp95% 区间 −0.7 至 +6.0 pp不能认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 每段记录的前 5 个窗口,之后空出 1 个窗口 | 10 | +0.93795% 区间 +0.184 至 +1.924可以认定有差异 | +0.03695% 区间 −0.008 至 +0.078不能认定有差异 | −0.01995% 区间 −0.075 至 +0.035不能认定有差异 | 9 / 36 | +6.9 pp95% 区间 +2.8 至 +10.5 pp可以认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 每段记录的前 10 个窗口,之后空出 1 个窗口 | 20 | −0.02295% 区间 −0.053 至 +0.019不能认定有差异 | −0.02095% 区间 −0.047 至 +0.022不能认定有差异 | −0.07295% 区间 −0.118 至 −0.022可以认定有差异 | 4 / 36 | +1.8 pp95% 区间 −2.7 至 +5.4 pp不能认定有差异 |
在 EEGMAT 上,用秩为 4 的 LoRA 适配的 LaBraM,比同一配方只训分类头的版本 NLL 更低:校准后 −0.035(95% 区间 −0.054 至 −0.013)。ECE 不能认定有差异(+0.015;−0.017 至 +0.045)。LoRA 版本的准确率也更高,平衡准确率 64.4% 对 56.9%(随机种子 20260922,即适配发布中的数值;三个随机种子的均值见模型适配页面),所以单凭 NLL 的差距,并不能说明它的概率更诚实。适配本身见「模型适配页面」。
温度缩放之后的负对数似然(NLL)、期望校准误差(ECE,15 个等量分箱)与 Brier 分数;模型本身输出概率时,也给出缩放之前的 NLL 与 ECE。各项都是越低越好。NLL 与 Brier 分数取决于类别数,所以 EEGMAT(2 类)与 BETA(40 类)之间不作比较。被试重抽样会使分箱 ECE 偏高,所以较小的 ECE 可能落在其区间的下端。LaBraM 只训分类头的版本,有一个外层折的总体温度参数落在了搜索边界上;它被标记并保留。
| 方法 | NLL(校准后) | ECE(校准后) | Brier 分数(校准后) | NLL(原始) | ECE(原始) |
|---|---|---|---|---|---|
| EEGMAT | |||||
| Spectral ridge | 0.67995% 区间 0.668–0.691 | 0.03795% 区间 0.033–0.070 | 0.48695% 区间 0.475–0.498 | —不适用:没有原始概率,不是零 | —不适用:没有原始概率,不是零 |
| EEGNet | 0.64895% 区间 0.613–0.693 | 0.09995% 区间 0.059–0.151 | 0.45095% 区间 0.422–0.485 | 0.87495% 区间 0.684–1.102 | 0.13595% 区间 0.088–0.200 |
| LaBraM · 只训分类头,编码器冻结 | 0.68395% 区间 0.674–0.691 | 0.03695% 区间 0.034–0.072 | 0.49095% 区间 0.481–0.498 | 0.68395% 区间 0.662–0.703 | 0.06195% 区间 0.046–0.090 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | 0.64895% 区间 0.624–0.675 | 0.05195% 区间 0.040–0.094 | 0.45695% 区间 0.433–0.481 | 0.64795% 区间 0.607–0.692 | 0.04395% 区间 0.038–0.088 |
| BETA | |||||
| Standard CCA | 1.47695% 区间 1.247–1.716 | 0.05095% 区间 0.028–0.079 | 0.50495% 区间 0.437–0.572 | —不适用:没有原始概率,不是零 | —不适用:没有原始概率,不是零 |
| CBraMod | 2.80995% 区间 2.638–3.001 | 0.11995% 区间 0.084–0.154 | 0.84395% 区间 0.815–0.871 | —不适用:没有原始概率,不是零 | —不适用:没有原始概率,不是零 |
| EEGNet | 1.91295% 区间 1.670–2.177 | 0.13695% 区间 0.103–0.168 | 0.60795% 区间 0.554–0.663 | 1.90795% 区间 1.665–2.171 | 0.13695% 区间 0.103–0.168 |
10 名被试,每个测试折两人。下面的对比是次要对比。在这里,经认证的风险对任何方法都什么也没有接受。
| 方法 | 全部接受时的平衡准确率 | 置信度 ≥ 0.8 时被接受 | 一个都没被接受的被试 | L − S(AURC) | L − S(80% 覆盖率下的错误率) | 被认证的折(S-risk) |
|---|---|---|---|---|---|---|
| Spectral ridge | 54.9%已发布的数值 | 0 / 1,200覆盖率 0.0% | 10共 10 名被试 | +0.00395% 区间 −0.031 至 +0.032不能认定有差异 | +0.5 pp95% 区间 −1.1 至 +2.3 pp不能认定有差异 | 0 / 5什么都没有接受 |
| CBraMod | 62.9%已发布的数值 | 7 / 1,200覆盖率 0.6% | 6共 10 名被试 | +0.01395% 区间 −0.014 至 +0.030不能认定有差异 | +0.7 pp95% 区间 −0.8 至 +2.4 pp不能认定有差异 | 0 / 5什么都没有接受 |
| EEGNet | 71.0%已发布的数值 | 250 / 1,200覆盖率 20.8% | 0共 10 名被试 | +0.03895% 区间 +0.009 至 +0.061可以认定有差异 | +0.9 pp95% 区间 −0.4 至 +2.4 pp不能认定有差异 | 0 / 5什么都没有接受 |
已训练方法保存下来的其余每个随机种子,各自有自己的校准、截断点和选择器,在该种子保存的测试预测上评分。
| 方法 | 数据集 | 随机种子 | L − S(AURC) | L − S(80% 覆盖率下的错误率) |
|---|---|---|---|---|
| EEGNet | EEGMAT | 20260920 | +0.00795% 区间 −0.029 至 +0.041不能认定有差异 | +1.4 pp95% 区间 −0.6 至 +3.2 pp不能认定有差异 |
| EEGNet | EEGMAT | 20260921 | −0.00195% 区间 −0.045 至 +0.038不能认定有差异 | +2.3 pp95% 区间 0.00 至 +4.6 pp不能认定有差异 |
| LaBraM · 只训分类头,编码器冻结 | EEGMAT | 20260923 | +0.04495% 区间 +0.013 至 +0.074可以认定有差异 | +1.9 pp95% 区间 +0.3 至 +3.7 pp可以认定有差异 |
| LaBraM · 只训分类头,编码器冻结 | EEGMAT | 20260924 | +0.02495% 区间 −0.001 至 +0.050不能认定有差异 | +1.4 pp95% 区间 +0.1 至 +2.8 pp可以认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | EEGMAT | 20260923 | +0.02195% 区间 −0.001 至 +0.043不能认定有差异 | +2.0 pp95% 区间 +0.7 至 +3.2 pp可以认定有差异 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | EEGMAT | 20260924 | +0.02495% 区间 −0.004 至 +0.050不能认定有差异 | +1.7 pp95% 区间 +0.6 至 +3.2 pp可以认定有差异 |
| EEGNet | BETA | 20260919 | −0.00295% 区间 −0.011 至 +0.007不能认定有差异 | +0.9 pp95% 区间 −0.1 至 +1.8 pp不能认定有差异 |
| EEGNet | BETA | 20260920 | −0.00695% 区间 −0.013 至 +0.002不能认定有差异 | +0.3 pp95% 区间 −0.5 至 +1.0 pp不能认定有差异 |
| EEGNet | BETA | 20260921 | −0.01095% 区间 −0.019 至 −0.001可以认定有差异 | +0.1 pp95% 区间 −0.8 至 +0.8 pp不能认定有差异 |
匹配模型留出:模型在四分之三的训练被试上训练、在其余四分之一上校准,所以校准分数与测试分数来自同一个模型。Platt 缩放(两类)与向量缩放(BETA)代替温度缩放,可能改变预测标签。
| 方法 | 数据集 | 分析 | 被认证的折 | 超过自身目标的已认证折 |
|---|---|---|---|---|
| Spectral ridge | EEGMAT | 匹配模型留出 | 0 / 5 | —没有被认证的折 |
| EEGNet | EEGMAT | 匹配模型留出 | 1 / 5 | 0 / 1 |
| LaBraM · 只训分类头,编码器冻结 | EEGMAT | 匹配模型留出 | 0 / 5 | —没有被认证的折 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | EEGMAT | 匹配模型留出 | 0 / 5 | —没有被认证的折 |
| Standard CCA | BETA | 匹配模型留出 | 7 / 7 | 3 / 7 |
| CBraMod | BETA | 匹配模型留出 | 6 / 7 | 3 / 6 |
| EEGNet | BETA | 匹配模型留出 | 7 / 7 | 1 / 7 |
| Spectral ridge | EEGMAT | Platt 缩放 | 0 / 5 | —没有被认证的折 |
| EEGNet | EEGMAT | Platt 缩放 | 0 / 5 | —没有被认证的折 |
| LaBraM · 只训分类头,编码器冻结 | EEGMAT | Platt 缩放 | 0 / 5 | —没有被认证的折 |
| LaBraM · 秩为 4 的 LoRA + 分类头 | EEGMAT | Platt 缩放 | 0 / 5 | —没有被认证的折 |
| Standard CCA | BETA | 向量缩放 | 7 / 7 | 5 / 7 |
| CBraMod | BETA | 向量缩放 | 4 / 7 | 2 / 4 |
| EEGNet | BETA | 向量缩放 | 7 / 7 | 2 / 7 |
一个 SelectiveNet 式的 EEGNet,带有自己的选择头 g 一起训练(alpha 0.5,lambda 32,目标覆盖率 0.8)。在同一个模型内,把 g 与它自己分类头校准后的置信度相比;差值为正表示 g 更差。
| 数据集 | g − 置信度(AURC) | g − 置信度(80% 覆盖率下的错误率) |
|---|---|---|
| EEGMAT | +0.01195% 区间 −0.012 至 +0.035不能认定有差异 | +2.4 pp95% 区间 +0.8 至 +4.2 pp可以认定有差异 |
| BETA | +0.08095% 区间 +0.061 至 +0.099可以认定有差异 | +1.9 pp95% 区间 +1.0 至 +2.6 pp可以认定有差异 |
BNCI2015-001 上的跨天标签预算分析在该数据源暂缓期间不发布(见暂缓登记表)。
这里每个协议在设计上都是类别平衡或均匀的:EEGMAT 一半静息、一半心算,BETA 在 40 个目标上均匀,ds003810 类别平衡。这些数字比较的是方法,没有一个是部署时的错误率。在 EEGMAT 上,每个类别各自是一段记录,所以记录层面的差异也是任何模型或选择器都能利用的信息。BETA 是按提示节奏的拼写,没有空闲状态,所以给不出任何形式的误触发数字。
风险—覆盖率曲线只在有试次被接受时才存在。覆盖率为零时没有错误率,而不是错误率为零;被接受的少于 10 个时标为不稳定。
经认证的选择性风险假设校准数据与测试数据可以互换。跨被试时并非如此,所以这个保证只是名义上的:它失效的频率在这里是测出来的,不是假设的。
拒绝已知类别上可能判错的试次,不等于识别陌生的输入:不确定性阈值未必能标出没见过的类别。第一条路线不作任何分布外的声明。
校准分数来自只见过约四分之三训练被试的内层模型,所以它们可能比被测试分数的完整模型更不自信。这一近似体现在每一个经过校准的数字里。
温度缩放不改变任何预测标签,所以全覆盖时的准确率都等于本站已发布的数值。匹配模型、映射敏感性与联合训练这几组分析用的是别的模型或映射;它们的准确率不发布,也绝不与本站的数值混在一起。
只有配对的 95% 被试 bootstrap 区间不含零时,一个对比才称为有差异,且不做多重比较校正;否则写作“不能认定有差异”。只有 95% 区间不重叠时,才说一行高于另一行;描述性的水平值不作判定。
在空闲协议上,第一条路线只能给出每个决策时刻按窗口统计的比例,从来不是每小时的误触发率,而且与本页的空闲数字单位不同,所以没有放进来。
十名被试,每个测试折两人:bootstrap 区间粗略,也不发布按人的离散度。
Igor Zyma, Ivan Seleznov, Anton Popov, Mariia Chernykh, Oleksii Shpenkov · EEG During Mental Arithmetic Tasks 1.0.0, PhysioNet, doi:10.13026/C2JQ1P. Study: Zyma et al. (2019), doi:10.3390/data4010014. PhysioNet platform: Pollard et al. (2026), doi:10.1038/s44360-026-00096-z.
Bingchuan Liu et al. · BETA: A Large Benchmark Database Toward SSVEP-BCI Application (2020), doi:10.3389/fnins.2020.00627. Figshare 12264401 v3; mirror Bingchuan/BETA.
Peterson et al. · OpenNeuro ds003810, version 2.0.2. Study: https://pmc.ncbi.nlm.nih.gov/articles/PMC9114495/
这些数字背后的检查:两项第 0 阶段审计都已通过。独立的主审计在 12 项检查中通过了 11 项;没有通过的那一项发现的是文档错误,不是计算错误——运行日志说退化的个人温度参数会退回到总体温度参数,而代码按协议的要求保留了它,每个数字都是这样计算和复现的。独立的次级审计 15 项全部通过。两项审计都不调用研究代码、重新实现了各项定义;它们留在私有的运行目录中,以哈希固定。
数据来源: reliable-decisions-update.json · schema bci-report-reliable-decisions-update-v1。
研究计划 · 三条路线已运行
解码器能做的选择不止一个类别标签:它可以执行,可以等待更多证据,也可以请求校准。
状态:三条路线都已运行。第一条的结果见上一节;第二条和第三条的结果各在单独的页面上。
“Jev-style”(Jev 式)在这里指把 TypeSafe 的 Jev 这类决策模型的接口用在 EEG 上:一段记录只编码一次,再回答关于它的多个明确的、规定输出类型的问题,每个回答都带一个概率。第一条路线不需要新模型:它对本站已发布模型保存下来的输出重新评分。第二条路线训练了共用一个编码器的模型(从头训练的小型 EEGNet,以及冻结或用 LoRA 适配的 CBraMod),问题只以标识给出,从不用语言。第三条路线用文字提问:经由冻结的文本编码器,以及冻结 EEG 特征上的一个小分类头。
首先 · 已运行 · 结果见上一节
在同一份数据上比较固定阈值、简单统计策略和可学习的拒识机制。报告相同覆盖率下的错误率、各类别的接受率,以及概率质量——Brier 分数、log loss 和可靠性图——校准数据与测试数据分开。重新校准另作一项实验,并计入所需标签的代价。
上一节已发布:相同覆盖率下的错误率、log loss、Brier 分数和校准误差。没有发布:各类别的接受率和可靠性图的分箱。
随后 · 已运行 · 结果在单独的页面上
在运动想象和睡眠两个协议上分别比较:各任务独立的模型、共享编码器加固定分类头,以及同一编码器加问题条件化分类头,数据量与计算量保持一致。
在运动想象(OpenBMI)和睡眠(BOAS,EESM19 作粗略重复)上运行。有一项次要设置——在睡眠上用 LoRA 适配 CBraMod——是在其他结果已知之后才运行的;它的设计事先已定。
之后 · 已运行 · 结果在单独的页面上
比较任务标识、标签模板和自然语言描述。同义改写与未见概念分开测试,绝不合成一个“零样本”数字。
在 SSVEP(BETA)和睡眠(BOAS)上运行,EESM19、OpenBMI 运动想象和 Wearable-102 作为次要数据。运行前的置换检查失败了两次,所有者每次都对它作了修订,第二次推翻了它自己写下的“不再修订”;两次失败都与结果一起披露。
关于否定、位置或波形形态的问题,需要信号层面的真值标注。
三条路线,各有一个回答:Jev 式提问用在脑电上:证据 →
本站的睡眠和 P300 协议用的是类别平衡的子集。在上面估计出的概率反映的是这种平衡,所以它们用于比较方法;要得到部署时的错误率,需要各类别按实际使用中的频率出现的数据。
第一个带有明确非控制状态的输入,是上面的异步 SSVEP 数据集:先是一个保留为开发集的小规模试点,再是同一份数据中的其余被试,用事先固定的规则评分。
外部证据,按作者报告的结果列出,已于 2026 年 9 月 27 日对照原始记录核查。
说明了 可以给已训练好的分类器加上拒识选项,由使用者设定目标风险,用覆盖率换取更低的错误率。
局限 证据来自图像基准。它的保证假设测试数据与校准数据相似,而跨被试、跨会话的 EEG 往往不满足这一点。
说明了 分类与拒识可以联合训练,把给定覆盖率下的风险作为明确的优化目标。
局限 不是 EEG 上的证据。它的保证默认不能迁移到新被试或新设备上。
说明了 在 EEG 癫痫分类上,被试之间的分布漂移使标准 conformal 预测达不到名义覆盖率,按被试个别校准能明显提高覆盖率。
局限 只是一项临床任务。它说明覆盖率必须在实际使用的数据划分下测量。
说明了 一个预训练 EEG 模型可以借助任务专属的 LoRA 模块同时适配多个任务。
局限 每个任务一个适配器,不等于多个问题共享同一窗口上的一次计算。
说明了 把 EEG token 输入语言模型并做指令微调,可以在一个模型里支持多项 EEG 任务。
局限 指令式 EEG 模型已经存在。多任务结果不能证明任意问题都能泛化。
说明了 基于语言模型的 EEG 模型可以选择与任务相关的查询,用来解码多项任务。
局限 这些查询是模型内部的 token,不是使用者写下的判据。
说明了 在作者的临床评测中,与临床报告对齐的 EEG 支持零样本分类和检索。
局限 医院 EEG 与临床表型。对可穿戴设备、少通道或任意概念,目前还说明不了什么。
说明了 在视觉领域,一张图像及其上下文编码一次,就能批量回答多个相互独立的强制选择问题:同样是“编码一次、回答多个问题”的思路,用在图像上。本计划正是从这篇论文出发的。
局限 它自己设置的对照——换成输出类型固定的分类头——没有带来一致的准确率提升;训练带来的提升也集中在训练中见过的任务类型上。它的加速是在图像上测得的。
BCI Report. 没有人下指令时,EEG 解码器误触发有多频繁?[EB/OL]. (2026-10-04). https://bci.report/zh/topics/when-not-to-act/
数字来自发布 reliable-decisions-update-20261004(2026-10-04)、extension-update-20261002(2026-10-02)、context-update-20260927(2026-09-27)、research-preview-20260920(2026-09-20)。也请同时引用上游数据集:署名就在本页。
每个发布版本都在 Zenodo 存档:doi:10.5281/zenodo.23123296。 本站及各次发布的 BibTeX → · CITATION.cff ↗(英文)