【脑机接口】迁移学习 域自适应 自监督 EEG 大模型术语解释（第9弹）

266.迁移学习 TL迁移学习是把一个场景中学到的知识迁移到另一个相关场景中的方法。在 EEG 中源域通常是已有被试、已有会话或已有数据集目标域通常是新被试、新会话或小样本数据。它的核心目的是减少目标被试需要采集的校准数据。比如先用很多旧被试训练一个模型再用新被试少量样本微调这就是典型的 EEG 迁移学习。267.域自适应域自适应是迁移学习中的一个重要方向目标是缩小源域和目标域之间的数据分布差异。在 EEG 中不同被试、不同采集时间、不同设备状态都会导致信号分布变化。域自适应方法会通过特征对齐、分布匹配、对抗训练等方式让模型提取到更不受被试差异影响的特征。它通常需要目标域数据但目标域数据不一定必须有标签。268.源域 / 目标域源域是已有数据较多、模型主要学习知识的域。目标域是模型最终要应用的域通常数据更少甚至没有标签。在 BCI 中源域可以是多个旧被试的数据目标域可以是一个新被试的数据。源域和目标域的任务可以相同例如都是左右手运动想象分类也可以相关但不完全相同。269.域偏移域偏移是指源域和目标域的数据分布不一致。EEG 中域偏移非常常见因为不同被试的脑电幅值、节律频率、空间分布、噪声水平都可能不同。同一个被试在不同天采集的数据也可能发生偏移。域偏移会导致模型在训练集上效果好但换到新被试或新会话后性能下降。270.域泛化域泛化是指模型在训练时只使用源域数据测试时直接应用到从未见过的目标域不依赖目标域微调。它比普通域自适应更困难因为训练阶段没有目标域数据可用。在 EEG 中域泛化希望模型学到跨被试、跨会话都稳定的特征。实际应用中域泛化对新用户免校准 BCI 很重要但难度很高。271.对抗域自适应对抗域自适应是用对抗训练减少域差异的方法。模型通常包含特征提取器、任务分类器和域判别器。特征提取器一方面要让任务分类器正确识别类别另一方面要让域判别器分不清样本来自哪个被试或哪个会话。这样训练后得到的特征更接近域无关特征。272.域判别器域判别器是用来判断样本属于哪个域的网络模块。域可以是不同被试、不同会话、不同设备或不同数据集。在对抗域自适应中域判别器越能准确识别域来源说明源域和目标域差异越明显。特征提取器的目标通常是“欺骗”域判别器使提取出的特征不再明显携带域信息。273.特征对齐特征对齐是让源域和目标域在特征空间中的分布更加接近。它不一定要求原始 EEG 信号完全相似而是希望经过模型提取后的特征具有可比性。常见做法包括均值对齐、协方差对齐、MMD 距离约束、对抗训练和流形空间对齐。特征对齐可以减轻被试差异对分类器的影响。274.特征矩匹配特征矩匹配是通过匹配统计量来减少不同域之间分布差异的方法。最常见的是匹配均值和方差也可以匹配协方差或更高阶统计量。在 EEG 中如果源被试和目标被试的特征中心、离散程度差异很大分类边界就容易失效。特征矩匹配的作用是让不同域的特征分布在统计层面更接近。275.自监督学习自监督学习是一种不依赖人工标签的表示学习方法。它通过设计预训练任务让模型从 EEG 数据本身学习结构信息。比如让模型预测被遮挡的时间片段、判断两个片段是否来自同一个试次、补全缺失通道等。自监督学习适合 EEG因为 EEG 标注成本高但无标注数据相对更容易积累。276.pretext 自监督预训练任务pretext task 是自监督学习中的预训练任务也叫代理任务。它不是最终分类任务而是为了让模型学到有用表示而设计的任务。在 EEG 中常见 pretext task 包括时序片段排序、未来信号预测、通道补全、掩码重建、频段预测和增强视图匹配。预训练完成后模型再迁移到 MI、SSVEP、睡眠分期等下游任务。277.掩码时序建模掩码时序建模是把 EEG 序列中的一部分时间片段遮挡起来让模型根据上下文预测或重建被遮挡部分。它的思想类似语言模型中的 masked modeling但输入变成连续脑电信号。通过这个过程模型可以学习 EEG 的时间连续性、节律结构和上下文关系。它常用于自监督预训练。278.通道掩码补全通道掩码补全是把部分 EEG 电极通道遮挡让模型根据其他通道的信息恢复被遮挡通道。这个任务可以迫使模型学习通道之间的空间相关性。比如枕叶附近通道之间通常存在一定相关运动区附近通道在 MI 任务中也有特定关系。通道掩码补全适合训练空间建模能力较强的 EEG 表征模型。279.对比学习对比学习是一种通过比较样本相似性来学习特征的方法。它通常会构造正样本对和负样本对使模型拉近正样本特征距离拉远负样本特征距离。在 EEG 中正样本可以来自同一试次的不同增强视图也可以来自同一类别样本负样本可以来自不同类别或不同试次。对比学习可以在少标签或无标签条件下学习较稳定的特征表示。280.动量对比学习动量对比学习是一类改进的对比学习方法典型思想是使用一个动量更新的教师编码器来生成稳定特征。教师模型参数不是通过普通反向传播直接更新而是由学生模型参数按动量方式缓慢更新。这样可以减少表示剧烈变化提高对比学习稳定性。在 EEG 中动量对比学习可以用于无标注预训练但需要合理设计数据增强方式。281.元学习 / 少样本学习元学习的目标是让模型学会如何快速适应新任务。少样本学习强调在每类只有少量标注样本时仍能完成分类。在 EEG 中它常用于新被试适配因为新被试通常不能采集大量校准数据。元学习会在多个源被试或多个任务上训练模型使模型遇到新被试时只需要少量样本就能调整分类边界。282.零样本学习零样本学习是指目标类别或目标域没有标注样本时模型仍然尝试完成识别。放在 EEG 中可以理解为没有新被试标注数据时直接进行解码。严格意义上的 EEG 零样本学习很难因为脑电个体差异大而且类别语义不像自然语言或图像那样容易描述。实际论文中如果使用“零样本”需要看清楚它是否真的没有任何目标域标注或校准信息。283.原型学习原型学习是为每个类别学习一个代表性特征中心也就是类别原型。测试样本会被分到距离最近的原型类别。它适合少样本学习因为每类只需要少量样本就可以估计原型。在 EEG 中原型可以表示某类运动想象、某个 SSVEP 目标或某类认知状态的特征中心。原型学习的效果依赖特征空间是否足够可分。284.类别漂移类别漂移是指同一个类别在不同被试、不同会话或不同时间中的特征中心发生变化。比如同样是左手运动想象被试 A 的特征可能集中在一个区域被试 B 的特征中心可能偏移到另一个区域。类别漂移会让源域训练出的分类边界在目标域失效。迁移学习和域自适应经常需要处理这种问题。285.知识蒸馏知识蒸馏是把大模型或复杂模型中的知识迁移到小模型中的方法。大模型通常作为教师模型小模型作为学生模型。学生模型不仅学习真实标签还学习教师模型输出的概率分布、特征表示或中间层关系。在 EEG 中知识蒸馏常用于模型轻量化使小模型在保持较好精度的同时适合在线 BCI 部署。286.教师模型 / 学生模型教师模型是蒸馏过程中性能较强、结构通常更复杂的模型。学生模型是需要部署或压缩的轻量模型。训练时学生模型会模仿教师模型的输出分布或中间特征。对于 BCI教师模型可以是多分支网络、Transformer 或集成模型学生模型可以是更小的 CNN 或轻量化时序网络。287.软标签 / 硬标签硬标签是普通分类任务中的离散标签例如左手类别记为 1右手类别记为 0。软标签是模型输出的概率分布例如某个样本属于左手的概率为 0.75属于右手的概率为 0.25。软标签包含类别间相似性信息比硬标签提供的信息更细。在知识蒸馏中学生模型学习软标签可以更接近教师模型的判断方式。288.模型微调 Fine-tuning模型微调是指在预训练模型基础上用目标任务或目标被试的数据继续训练。对于 EEG常见做法是先用大量源被试数据训练模型再用新被试少量数据微调。微调可以让模型适应新被试的信号分布。需要注意的是小样本微调容易过拟合所以常配合低学习率、冻结部分层或正则化方法。289.冻结骨干网络冻结骨干网络是指固定预训练模型中主要特征提取层的参数只训练后面的分类头或少量新加层。这样可以保留预训练阶段学到的通用特征同时减少小样本训练中的参数更新量。在 EEG 中如果目标被试数据很少冻结骨干网络可以降低过拟合风险。缺点是适应能力有限无法充分调整底层特征。290.部分参数微调部分参数微调是只解冻模型中的一部分参数进行训练。比如只微调最后几层、归一化层、注意力层或者只训练新增的适配模块。它比完全冻结更灵活比全参数微调更稳健。对于 EEG 小样本迁移部分参数微调常用于平衡适配能力和过拟合风险。291.提示学习 Prompt提示学习原本来自自然语言处理是通过加入提示信息来引导预训练模型适配新任务的方法。在 EEG 中Prompt 通常不是自然语言句子而是可学习的向量、任务标识、被试标识或条件嵌入。它的作用是让模型在不大幅改变原始参数的情况下适配新任务或新被试。EEG 提示学习仍属于较新的方向具体形式还没有完全统一。292.软提示 / 硬提示硬提示是固定的、人工设计的提示信息。软提示是可学习的连续向量由模型在训练过程中自动优化。在 EEG 中硬提示可以是固定任务标记或被试标记软提示可以是一组可训练的嵌入向量。软提示更灵活但可解释性通常较弱。硬提示更直观但表达能力有限。293.PEFT 参数高效微调PEFT 是 Parameter-Efficient Fine-Tuning 的缩写意思是参数高效微调。它不是更新整个大模型而是只训练少量新增参数或少量指定参数。常见思想包括 Adapter、LoRA、Prefix Tuning、Prompt Tuning 等。在 EEG 大模型或预训练模型中PEFT 可以减少训练成本降低小样本过拟合风险也更适合多被试、多任务快速适配。294.EEG 基座大模型EEG 基座大模型是指使用大量、多来源、多范式 EEG 数据预训练得到的通用模型。它的目标是学习较通用的脑电表征再迁移到 MI、SSVEP、ERP、睡眠分期、情绪识别等下游任务。这个概念还在发展中不像语言大模型那样已经形成完全统一的标准。EEG 数据存在设备差异、通道差异、任务差异和个体差异所以构建真正通用的 EEG 基座模型难度很高。295.通用特征表征通用特征表征是指在不同被试、不同任务或不同采集条件下仍然有用的底层 EEG 特征。它不应该只记住某一个被试的幅值模式也不应该只适用于某一次实验。理想的通用表征应包含稳定的时序结构、频率节律、空间相关性和任务相关脑电模式。迁移学习、自监督学习和 EEG 基座模型的共同目标之一就是获得更可靠的通用特征表征。说明个人观点仅供参考请勿抄袭