一种新型傅里叶邻接Transformer用于脑电情绪识别

该片文章是频域先验 空间拓扑 Transformer在 EEG 情绪识别的里程碑针对现有模型频域特征挖掘不足、Transformer 缺乏归纳偏置、跨被试泛化差三大核心痛点提出傅里叶邻接 TransformerFAT在 SEED、DEAP 数据集上刷新 SOTA。一、当前 EEG 情绪识别领域的核心问题1.信号特性痛点EEG 信号具有非平稳性、低信噪比、被试间差异大的天然缺陷传统模型难以学习稳定的判别性特征。2.特征提取缺陷手工特征DE/PSD鲁棒但丢失信息原生 CNN/RNN 无法捕捉全局依赖标准 Transformer缺乏归纳偏置数据低效、泛化差。3.频域特性挖掘缺失EEG 脑电信号具有内在周期性但现有方法未有效解耦周期 / 非周期成分无法利用频域先验提升性能。4.空间拓扑建模不足图神经网络依赖预定义通道连接跨数据集泛化差标准自注意力未融合 EEG 电极的物理邻接关系。5.泛化能力不足被试内精度高但跨被试LOSO性能暴跌无法满足实际 BCI 系统落地需求。二、论文提出的解决方案FAT 框架针对上述痛点提出傅里叶邻接 TransformerFAT核心是傅里叶解析线性层 傅里叶邻接注意力实现频域周期特性与空间通道关联的联合建模。1. 核心模块 1FAL傅里叶解析线性层创新解耦机制将输入特征拆分为周期分量cos/sin 傅里叶基建模非周期分量纯线性变换无非线性激活。作用替代 Transformer 的 QKV 线性投影显式捕捉 EEG 周期结构同时保留非周期成分的线性映射能力适配脑电信号频域特性。2. 核心模块 2FAA傅里叶邻接注意力基于 FAL 将 Q/K/V 分解为周期 / 非周期两路分别计算注意力分数。引入可学习的周期 / 非周期通道邻接矩阵将物理空间关联注入注意力计算弥补标准 Transformer 无归纳偏置的缺陷。融合数据驱动的注意力与电极拓扑先验同时建模全局依赖 空间结构。3. 整体框架输入EEG 差分熵DE频域特征。结构Patch 嵌入 位置编码→多层 FAA 替代 MHSA→前馈网络→分类头。训练频域数据增强 Mixup进一步提升泛化。三、实验效果与核心结论实验在SEED 系列3/4/5/7 分类、DEAP效价 / 唤醒度数据集开展包含被试内与 ** 跨被试LOSO** 验证被试内精度全面超越 SOTASEED-V 提升 6.5%、SEED-VII 提升 6.6%DEAP 效价90.10%、唤醒度89.18%。跨被试泛化泛化能力显著提升SEED-VII 上比 Conformer 高约 5%解决 Transformer 跨被试差的痛点。消融验证FAL 解耦 邻接矩阵协同增益缺一不可全频带特征输入效果最优。可解释性周期 / 非周期邻接矩阵学到差异化的通道关联与脑科学先验一致。四、领域见解与创新点一对 EEG 情绪识别领域的核心见解核心突破方向单纯堆叠深度学习结构无效** 融合神经物理先验频域周期、空间拓扑** 是提升精度与泛化的唯一路径。Transformer 适配改造原生 Transformer 不适合 EEG必须加入归纳偏置通道邻接、频域分解、时序约束。信号处理与深度学习融合传统信号处理傅里叶分析与深度学习并非对立先验嵌入比纯数据驱动更优。落地核心指标跨被试LOSO性能远重要于被试内精度是情感 BCI 实用化的关键。二论文原生创新点频域解耦创新首次在 Transformer 中用 FAL显式解耦 EEG 周期 / 非周期成分充分利用脑电频域特性。注意力机制创新提出 FAA融合傅里叶分解 可学习通道邻接矩阵同时建模全局依赖与电极拓扑。框架创新构建 FAT 端到端框架兼顾频域、空间、时序三维信息精度与泛化双 SOTA。三未来可落地创新方向混合架构融合FAT 图卷积 CNN结合全局注意力、空间拓扑、局部特征。跨被试自适应基于 FAT 的周期特征做域自适应解决被试差异问题。轻量化部署模型剪枝 / 量化适配穿戴式脑电设备实时推理。多模态协同用 FAT 提取 EEG 特征融合 GSR、眼动等外周信号构建多模态情感模型。动态拓扑学习邻接矩阵随情绪状态动态更新更贴合脑功能连接的变化特性。总结FAT 框架开创了傅里叶频域先验 空间邻接拓扑 Transformer的新范式完美解决 EEG 情绪识别中频域挖掘不足、Transformer 无归纳偏置、跨被试泛化差三大痛点是后续 EEG 情绪识别、脑机接口研究的重要参考。实现代码from torch import nn from utils import normalize_A from einops import rearrange from FANLayer import FANLayer import torch # 定义 EEG Conformer 模型 class ModifiedPatchEmbedding2D(nn.Module): def __init__(self, emb_size40, num_channels62, num_freq_bands5): super(ModifiedPatchEmbedding2D, self).__init__() self.emb_size emb_size self.num_channels num_channels self.num_freq_bands num_freq_bands self.batch_norm_stage1 nn.BatchNorm2d(emb_size // 2) self.batch_norm_stage2 nn.BatchNorm2d(emb_size) # 位置编码 self.position_encodings nn.Parameter(torch.randn(1, 1, num_channels, num_freq_bands)) def forward(self, x): # 添加位置编码 x x self.position_encodings # [B, 1, C, num_freq_bands] x x.squeeze(1).permute(0, 2, 1).unsqueeze(-1) # [B, num_freq_bands, C, 1] # 调整回 Transformer 格式 x x.squeeze(-1).permute(0, 2, 1) # [B, C, emb_size] return x class PositionalEncoding(nn.Module): def __init__(self, emb_size, dropout0.1, max_len100): super().__init__() self.dropout nn.Dropout(pdropout) position torch.arange(0, max_len, dtypetorch.float).unsqueeze(1) div_term torch.exp(torch.arange(0, emb_size, 2).float() * (-torch.log(torch.tensor(10000.0)) / emb_size)) pe torch.zeros(max_len, emb_size) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0) # [1, max_len, emb_size] self.register_buffer(pe, pe) def forward(self, x): seq_len x.size(1) x x self.pe[:, :seq_len, :].to(x.device) # 加位置编码 return self.dropout(x) def forward(self, x, maskNone, dynamic_graph1None, dynamic_graph2None): x.shape (B, n, emb_size40) 前提 - num_heads 8 - 每个 head_dim 5 - 前 4 个 head 和后 4 个 head 分别融合到 DG1 / DG2 - DG1.shape (B,4,n,n), DG2.shape (B,4,n,n) B, n, _ x.shape queries rearrange(self.queries(x), b n (h d) - b h n d, h8) keys rearrange(self.keys(x), b n (h d) - b h n d, h8) values rearrange(self.values(x), b n (h d) - b h n d, h8) energy torch.einsum(bhqd, bhkd - bhqk, queries, keys) if mask is not None: energy energy.masked_fill(~mask, float(-inf)) queries_4_4 queries.permute(0, 2, 1, 3) q_front4 queries_4_4[:, :, :4, :] q_back4 queries_4_4[:, :, 4:, :] q_front4_20 q_front4.reshape(B, n, 20) if dynamic_graph1 is not None: energy[:, :4, :, :] energy[:, :4, :, :] w_front4 * dynamic_graph1 if dynamic_graph2 is not None: energy[:, 4:, :, :] energy[:, 4:, :, :] w_back4 * dynamic_graph2 scaling (self.emb_size ** 0.5) att torch.softmax(energy / scaling, dim-1) out torch.einsum(bhqk, bhkd - bhqd, att, values) out rearrange(out, b h n d - b n (h d)) out self.projection(out) return out class ResidualAdd(nn.Module): def __init__(self, fn): super().__init__() self.fn fn def forward(self, x, **kwargs): if isinstance(self.fn, FAA): return x self.fn(x, **kwargs) else: return x self.fn(x) class TransformerEncoderBlock(nn.Module): def __init__(self, emb_size, num_heads4, drop_p0.5, forward_expansion4, use_dynamic_graphFalse): super().__init__() # 注意力部分用自定义的 AttentionBlock 来替代原先的 nn.Sequential self.attention AttentionBlock(emb_size, num_heads, drop_p, use_dynamic_graph) # FeedForward 部分可以继续用 ResidualAdd nn.Sequential因为它不需要额外参数 self.feed_forward ResidualAdd( nn.Sequential( nn.LayerNorm(emb_size), FeedForwardBlock(emb_size, expansionforward_expansion, drop_pdrop_p), nn.Dropout(drop_p), ) ) def forward(self, x, maskNone, dynamic_graph1None, dynamic_graph2None): # 只在多头注意力这里需要传入 dynamic_graph1 / dynamic_graph2 x self.attention(x, maskmask, dynamic_graph1dynamic_graph1, dynamic_graph2dynamic_graph2) x self.feed_forward(x) # FFN 部分无需额外参数 return x class TransformerEncoder(nn.Module): def __init__(self, depth, emb_size, num_heads4, drop_p0.1, num_dim63, use_dynamic_graphFalse): super().__init__() self.use_dynamic_graph use_dynamic_graph self.dynamic_graph_learner1 DynamicGraphLearner(nnum_dim, num_headsnum_heads // 2) if use_dynamic_graph else None self.dynamic_graph_learner2 DynamicGraphLearner(nnum_dim, num_headsnum_heads // 2) if use_dynamic_graph else None self.layers nn.ModuleList([ TransformerEncoderBlock(emb_size, num_heads, drop_p, use_dynamic_graphuse_dynamic_graph) for _ in range(depth) ]) def forward(self, x, maskNone): dynamic_graph1 self.dynamic_graph_learner1(x) if self.use_dynamic_graph else None dynamic_graph2 self.dynamic_graph_learner2(x) if self.use_dynamic_graph else None for layer in self.layers: x layer(x, maskmask, dynamic_graph1dynamic_graph1, dynamic_graph2dynamic_graph2) return x class ClassificationHead(nn.Sequential): def __init__(self, emb_size, n_classes, drop_p0.3): super().__init__( nn.LayerNorm(emb_size), # Normalize features nn.Linear(emb_size, n_classes) # Map to class logits ) class FAT(nn.Module): def __init__(self, emb_size40, depth6, n_classes4, num_channels62, num_freq_bands5, num_heads8, use_dynamic_graphTrue): super(FAT, self).__init__() self.patch_embedding ModifiedPatchEmbedding2D(emb_size, num_channels, num_freq_bands) self.cls_token nn.Parameter(torch.randn(1, 1, emb_size)) self.positional_encoding PositionalEncoding(emb_size, dropout0.1, max_lennum_channels 1) self.transformer_encoder TransformerEncoder( depth, emb_size, num_heads, drop_p0.2, num_dimnum_channels1, use_dynamic_graphuse_dynamic_graph ) self.classification_head ClassificationHead(emb_size, n_classes) def forward(self, x): x self.patch_embedding(x) # [B, C, emb_size] B, C, E x.shape cls_token self.cls_token.expand(B, -1, -1) x torch.cat((cls_token, x), dim1) # [B, C1, emb_size] x self.positional_encoding(x) # [B, C1, emb_size] x self.transformer_encoder(x) # [B, C1, emb_size] cls_output x[:, 0, :] # [B, emb_size] logits self.classification_head(cls_output) return logits