MEG-XL：通过长上下文预训练实现数据高效的脑到文本转换

MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

arXiv: 2602.02494v1

论文信息

标题: MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

作者: Dulhan Jayalath, Oiwi Parker Jones

发布日期: 2026-02-02

arXiv ID: 2602.02494v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：如何让脑到文本（brain-to-text）系统用极少的受试者标注数据就能准确解码感知语音中的单词？
  • 核心方法：提出 MEG-XL，在约 300 小时的脑磁图（MEG）数据上进行长上下文预训练，每个样本长达 2.5 分钟，并使用交叉注意力（criss-cross attention）避免平方级别的计算成本。
  • 关键结果：仅使用 13% 的训练数据微调时，MEG-XL 在三个数据集上的 top‑10 单词解码准确率达到 47%–57%，而大部分对比模型仍接近随机水平（20%）（表 1）。
  • 主要局限：当前仅处理感知语音，未扩展到想象语音；解码词汇量限制在 50 个高频词；尚未在瘫痪患者数据上验证。
  • 适合读者：从事脑信号解码、时间序列自监督预训练、长序列建模以及脑机接口临床转化研究的人员。

论文背景和研究动机

脑到文本接口旨在帮助因瘫痪失去说话能力的患者恢复交流能力，但往往无法提供数小时的个人训练数据。预训练模型通过在多受试者数据上学习统计先验，可以提升少样本泛化能力，但这些先验的有效性严重依赖于所利用的上下文长度。自然语音的信息分布在分钟量级的时间尺度上，然而现有方法几乎都只用几秒钟的神经信号进行预训练。尽管有监督方法开始用更长窗口提升解码准确率，但数据效率依然很低——每名受试者仍需数十小时的标注数据。这构成了临床应用的瓶颈。

论文明确指出，如果大脑在较长时段内编码与语音相关的结构信息，那么模型必须能访问足够长的神经窗口才能提取这些信息。目前多数预训练模型的样本长度在 0.5 到 10 秒之间，远不足以捕捉词语间的长距离依赖。因此，作者提出长上下文预训练应成为提升数据效率的关键手段。这一动机呼应了语言模型通过长文档预训练掌握相干性的历史经验，并将 “扩展上下文” 的收益从文本、音频、视频领域迁移到神经解码中。

核心方法和技术细节

MEG-XL 的框架包含三个紧密衔接的模块：离散分词器、带传感器的 transformer 主干网络以及掩码预测预训练目标。

首先，原始多通道 MEG 信号经过一个冻结的 BioCodec 分词器，该分词器在每个通道上独立进行残差向量量化（RVQ），将连续信号转换为 6 层离散码，时间下采样因子为 12（信号已从 1000 Hz 降采样到 50 Hz）。分词一方面提供了自监督学习的预测目标，另一方面将输入压缩 12 倍，使得 transformer 可以处理长得多的时间序列。值得注意的是，BioCodec 虽然原本在 250 Hz 脑电图数据上训练，但在 50 Hz MEG 数据上仍能获得可接受的重构误差（附录 E）。

然后，每个传感器在每个时间步的离散码被查表嵌入、按量化层级拼接后经线性投影得到输入表示，并与基于传感器位置、朝向（均用高斯傅里叶特征编码）和类型（梯度计／磁力计）的可学习嵌入相加，为模型提供空间结构信息。

核心计算模块是交叉注意力 transformer。将特征维度沿中间劈开，一半头进行时间维度的自注意力，另一半头进行通道维度的自注意力，从而将计算复杂度从 O((CT′)2)\mathcal{O}((C T')^2) 降低到 O(C⋅T′2+T′⋅C2)\mathcal{O}(C\cdot T'^2 + T'\cdot C^2)，使得模型能够在 8 个注意力层内处理约 191k 个 token（2.5 分钟 × 50 Hz 降采样后的帧数）。这种分解在不增加参数量的前提下，让训练长上下文成为可能。

预训练目标为掩码 token 预测：在 2.5 分钟的样本中，随机屏蔽 3 秒长的连续时间块，直至 40% 的时间步被掩蔽。掩码均匀施加在所有传感器上，强制模型不能通过相邻传感器插值恢复信号，而必须依赖较远的时间上下文。模型需预测被掩蔽位置在所有 RVQ 层的离散码，损失函数为各层级交叉熵的均值。

微调到单词解码任务时，沿用已有工作的 “单词锁定窗口” 策略：依次提取 50 个单词对应的 3 秒神经窗口并拼接成 150 秒的输入，每词输出一个表示，再通过 MLP 头预测 T5 语义嵌入。训练采用对比 SigLIP 损失，检索时通过最近邻选择最匹配的词。这一过程可直接复用预训练中的超长上下文处理能力。

创新点和贡献

论文的主要贡献集中在三个方面：

  1. 长上下文预训练范式。将神经预训练的上下文长度推向分钟级别（2.5 分钟），是先前工作的 5–300 倍。这使得模型能够学习脑信号中跨词语、跨句子的长距离依赖，而短窗口模型只能利用局部信息。

  2. 数据高效的跨受试者泛化。在单词解码任务中，MEG-XL 在低数据区间（仅 13% 的训练音频）显著超越所有对比的脑基础模型和有监督 SOTA（d’Ascoli 等，2025）。特别是在每名受试者仅提供约 2 小时数据的 MEG-MASC 上，MEG-XL 的准确率一度比 SOTA 高出 25% 以上（图 3）。而其他基础模型在该数据量下大多坍缩到随机水平。

  3. 揭示了上下文长度与表示质量之间的定量关系。通过线性探测实验和零样本掩码预测评估，论文证明：预训练上下文越长，冻结的表示在单词解码和未知数据预测上的表现越好，且这一提升来自模型学会的选择性、层次化注意力模式（图 5）。短上下文模型从第一层起就弥漫地关注所有时间步，而长上下文模型先在浅层局部加工，再在深层整合远距离信息。

实验结果分析

实验在三个感知语音 MEG 数据集上进行：MEG-MASC（27 名受试者，每名约 2 小时）、Armeni（3 名受试者，每名 10 小时）和 LibriBrain（单受试者 52 小时）。用 top‑50 高频词作为检索集，报告 top‑10 平衡准确率。

对比基础模型

在仅 13% 训练数据的情况下，MEG-XL 在三个数据集上的准确率分别为 47.0%、54.9% 和 57.3%（表 1），而其他基础模型中表现最好的 LaBraM 则为 33.2%、26.3%、40.3%，BIOT、EEGPT 等几乎停留在随机基线（20%）附近。当使用全部训练数据时，MEG-XL 在 MEG-MASC 和 LibriBrain 上依然最优，在 Armeni 上与 BrainOmni 持平（BrainOmni 在该数据集表现突出，但在浅层数据 MEG-MASC 上却表现极差）。这表明，MEG-XL 在数据最稀缺、最接近临床应用需求的场景中最具优势，且其效果不能简单归因于架构，因为随机初始化的同架构模型远逊于预训练版（图 3）。

对比有监督方法

图 3 给出了不同微调数据量下的准确率曲线。在 MEG-MASC 上，MEG-XL 全线领先，甚至在数据充足时仍保持一定优势；在 Armeni 上，优势持续到约 15 小时训练数据（即每名受试者约 5 小时）后才被 SOTA 追上；在 LibriBrain 单受试者深度数据集上，双方在 2.5 小时后差距开始逆转，SOTA 最终小幅领先。这说明预训练能够在受试者间 “广度” 上弥补个体数据不足，但当单个受试者录音足够丰富时，从零学起的监督方法仍可能占优。

上下文长度的影响

通过固定训练步数但变化上下文长度（从 10 秒到 150 秒）进行预训练，再用线性探针评估冻结表征的质量（图 4），结果发现：在 150 秒的查询窗口内，更长的预训练上下文始终带来更好的单词解码准确率，但边际收益在大约 100 秒后趋于平坦。同时，当探针仅用与预训练等长的推断上下文时，结果与全上下文相近，这说明模型只有在预训练中学会使用长上下文，才能在推断时受益；单纯在推断时给予更长数据并无助益。

零样本掩码预测实验（图 5 上）进一步显示，随预训练上下文增加，预测准确率持续上升，在 150 秒内未见饱和，说明神经信号中存在可被更长上下文建模的结构，但该结构未必对单词解码任务直接有帮助。对注意力模式的分析（图 5 下）解释了长上下文带来的表征改善：更长上下文训练出的模型注意力熵更低，选择性更强，且表现出 “近到远” 的层次结构。

实践建议

MEG-XL 的设计和发现为脑到文本接口的工程落地提供了三点直接指导：

  1. 预训练数据应尽可能保留长时序结构。不要在预处理时将长记录切割为 5–10 秒的片段，而应保留分钟级连续窗口。即便脑信号已经过高通滤波（去除慢漂移），其中的统计依赖关系仍然跨越多秒甚至数分钟，短窗口会造成不可逆的信息损失。实际构建训练流水线时，应优先保证每一样本的时间跨度。

  2. 利用交叉注意力或其它因式分解注意力降低计算负担。长序列带来的平方复杂度是实践中的主要障碍。本文采用的 criss‑cross attention 可轻易复现；也可以考虑时间-通道分块、线性注意力等替代方案。核心原则是将空间（传感器）和时间建模解耦，使模型能够扩展上下文而不显著增加显存占用。

  3. 在临床部署中，优先积累来自多受试者的 “浅层” 数据，而非个别受试者的深度录音。实验结果显示，当每名受试者的数据量受限时，跨受试者预训练带来的增益最大。这意味着，尽管瘫痪患者难以提供大量语音数据，但只要有一个包含数百名健康受试者、每人提供少量自然语音感知记录的预训练集，模型就能以极少的新患者数据微调，实现可用的单词解码。这为脑机接口从实验室走向临床提供了一条经济可行的路径。

此外，模型的选择性、层次化注意力机制表明：在部署微调时，可冻结浅层参数，仅微调最后几层，以进一步减少对新患者数据的需求，而不会显著损失性能。这也值得在后续实践中验证。