HGD运动想象脑电数据集预处理实战：从数据加载到特征标准化

1. HGD数据集简介与下载指南HGDHigh Gamma Dataset是目前运动想象脑电研究领域最常用的公开数据集之一由德国柏林工业大学团队采集并开源。这个数据集包含了14名受试者在执行左手、右手、脚部和休息四种运动想象任务时的高密度脑电信号采样率高达500Hz电极数量达到128个实际使用中常选取44个运动相关通道。我第一次接触这个数据集是在做一个脑机接口项目时当时被它清晰的标签和高质量的原始数据所吸引。不过下载过程确实有点头疼官方GitHub仓库位于https://github.com/robintibor/high-gamma-dataset但由于服务器在国外国内下载速度可能较慢。这里分享一个实测可用的百度网盘备份链接提取码dk3w包含完整的训练集和测试集EDF文件。数据集的文件结构是这样的/data /train 1.edf 2.edf ... 14.edf /test 1.edf 2.edf ... 14.edf每个.edf文件都包含了原始脑电数据和事件标记annotations其中事件标记对应四种运动想象任务。在实际使用时我建议先下载1-2个受试者的数据测试流程确认无误后再下载完整数据集。2. 环境配置与依赖安装处理HGD数据集需要配置特定的Python环境。我推荐使用Anaconda创建独立环境以下是经过多次踩坑后总结出的最稳定依赖组合conda create -n hgd python3.8 conda activate hgd pip install mne1.0.3 numpy1.21.6 scipy1.7.3 scikit-learn1.0.2这里有几个关键点需要注意MNE版本1.0.3版本对EDF文件的支持最稳定新版有时会报奇怪的解码错误NumPy兼容性1.21.x版本与后续滤波处理兼容性最好避免混用conda和pip要么全部用conda安装要么全部用pip混用容易导致库冲突我曾经遇到过因为scipy版本过高导致filtfilt函数行为异常的问题症状是滤波后的信号出现奇怪的震荡。后来锁定1.7.3版本后问题解决。如果你在滤波环节遇到类似问题不妨先检查scipy版本。3. 数据加载与通道选择原始EDF文件包含128个通道但运动想象任务主要关注运动皮层区域的44个通道。以下是经过优化的数据加载代码def load_bbci_like_from_edf(edf_path, low_cut_hz0): raw mne.io.read_raw_edf(edf_path, preloadTrue) raw.pick_types(eegTrue, stimFalse) # 标准化通道名称去除EEG前缀 raw.rename_channels({ ch: ch.replace(EEG , ).replace(EOG , ).replace(EMG , ) for ch in raw.ch_names }) # 关键运动通道选择 motor_44 [FC5, FC1, FC2, FC6, C3, C4, CP5, CP1, CP2, CP6, FC3, FCz, FC4, C5, C1, C2, C6, CP3, CPz, CP4, FFC5h, FFC3h, FFC4h, FFC6h, FCC5h, FCC3h, FCC4h, FCC6h, CCP5h, CCP3h, CCP4h, CCP6h, CPP5h, CPP3h, CPP4h, CPP6h, FFC1h, FFC2h, FCC1h, FCC2h, CCP1h, CCP2h, CPP1h, CPP2h] # 检查缺失通道 avail set(raw.ch_names) miss set(motor_44) - avail if miss: raise RuntimeError(f缺失运动想象关键通道: {miss}) raw.reorder_channels(motor_44) raw.pick_channels(motor_44) return raw这段代码做了三件重要的事情加载EDF文件使用MNE的read_raw_edf函数设置preloadTrue将数据全部读入内存通道清洗去除EOG眼电、EMG肌电等非EEG通道运动通道选择选取覆盖运动皮层的44个关键通道在实际项目中我发现有些受试者的数据会缺少个别通道特别是h结尾的高密度通道。这时有几种处理方案直接跳过该受试者简单但损失数据用邻近通道插值需要专业知识修改motor_44列表影响模型一致性4. 信号重采样与滤波处理HGD原始数据的采样率是500Hz但运动想象任务通常不需要这么高的时间分辨率。重采样到250Hz既能减少计算量又不会损失有效信息def resample_cnt(raw, new_sfreq): mne.Raw 重采样 return raw.resample(new_sfreq, npadauto) def highpass_cnt(data, low_cut_hz, sfreq, filt_order3, axis-1): if low_cut_hz 0: return data nyq 0.5 * sfreq b, a butter(filt_order, low_cut_hz / nyq, btypehigh) return filtfilt(b, a, data, axisaxis) # 使用示例 raw resample_cnt(raw, 250.) raw._data highpass_cnt(raw.get_data(), low_cut_hz1.0, sfreq250.)滤波处理中有几个容易踩坑的地方滤波顺序一定要先重采样再滤波否则会引入混叠噪声滤波器类型使用IIR滤波器butter比FIR计算量小但要注意相位延迟filtfilt使用零相位滤波需要双向滤波会导致信号时间长度变化我建议先用一个受试者的数据画出滤波前后的频谱对比确认滤波效果符合预期。常见问题是截止频率设置不合理导致有效信号被滤除可以通过调整low_cut_hz参数通常在0.5-4Hz之间来优化。5. 数据分段与事件标记提取HGD数据集中的事件标记annotations对应四种运动想象任务def create_signal_target_from_raw_mne(raw, marker_def, ival, eventsNone): tmin, tmax ival[0], ival[1] if events is None: events, _ mne.events_from_annotations(raw) # 建立事件编码到类别的映射 code_to_class {v[0]: idx for idx, (k, v) in enumerate(marker_def.items())} # 只保留我们感兴趣的事件类型 keep_mask np.isin(events[:, 2], list(code_to_class.keys())) events events[keep_mask] # 创建Epochs对象 epochs mne.Epochs(raw, events, event_idNone, tmintmin, tmaxtmax, baselineNone, preloadTrue, verboseFalse) # 获取数据矩阵和标签 X epochs.get_data() # 形状为(n_epochs, n_channels, n_times) y np.array([code_to_class[c] for c in events[:, 2]], dtypenp.int64) return SimpleDataset(X, y) # 标签定义 label_map {Right Hand: 1, Left Hand: 2, Rest: 3, Feet: 4} marker_def OrderedDict([(k, [v]) for k, v in label_map.items()]) ival [-0.5, 4.0] # -500ms ~ 4000ms这里有几个关键参数需要特别注意ival时间窗-0.5到4.0秒是运动想象任务的典型分析时段基线校正设置baselineNone是因为我们后面会做标准化处理事件筛选确保只保留四种目标事件1-4排除其他无关事件在实际应用中我发现有些受试者的标记时间不太准确可以考虑将ival调整为[-0.3, 3.8]来避免边缘效应。另外epochs对象的get_data()方法返回的是(n_epochs, n_channels, n_times)的三维数组这正是深度学习模型需要的输入格式。6. 信号标准化与伪迹去除脑电信号的幅值受多种因素影响标准化是必不可少的一步def exponential_running_standardize(data, factor_new1e-3, init_block_size1000, eps1e-4): data data.copy() n_samples, n_channels data.shape # 初始区块统计量计算 if init_block_size is not None: mean np.mean(data[:init_block_size], axis0) std np.std(data[:init_block_size], axis0) else: mean np.zeros(n_channels) std np.ones(n_channels) current_mean mean.copy() current_var std ** 2 standardized np.zeros_like(data) # 指数移动平均标准化 for i in range(n_samples): current_mean (1 - factor_new) * current_mean factor_new * data[i] current_var (1 - factor_new) * current_var factor_new * (data[i] - current_mean) ** 2 standardized[i] (data[i] - current_mean) / np.sqrt(current_var eps) return standardized # 应用标准化 raw._data exponential_running_standardize( raw.get_data().T, factor_new1e-3, init_block_size1000, eps1e-4 ).T # 去除异常epoch clean_mask np.max(np.abs(dataset.X), axis(1, 2)) 800 dataset.X dataset.X[clean_mask] dataset.y dataset.y[clean_mask]这种标准化方法有三大优势在线处理能力适合实时脑机接口系统鲁棒性对瞬态伪迹不敏感保持信号特性不像z-score那样会压缩动态范围参数factor_new控制着新样本的权重我通常设置在1e-4到1e-3之间。值太大会导致标准化过于敏感太小则响应迟缓。init_block_size建议设为1000个样本左右相当于4秒的数据量250Hz采样率下。7. 完整流程封装与使用示例将上述步骤封装成端到端的处理管道def HGD_data(Sub, data_path../data): 加载单个受试者的训练和测试数据 train_edf f{data_path}/train/{Sub}.edf test_edf f{data_path}/test/{Sub}.edf def load_set(edf_path): raw load_bbci_like_from_edf(edf_path, low_cut_hz1.0) raw resample_cnt(raw, 250.) raw._data highpass_cnt(raw.get_data(), 1.0, 250.) raw._data exponential_running_standardize( raw.get_data().T, factor_new1e-3, init_block_size1000, eps1e-4 ).T events, _ mne.events_from_annotations(raw) label_map {Right Hand: 1, Left Hand: 2, Rest: 3, Feet: 4} events events[np.isin(events[:, 2], list(label_map.values()))] marker_def OrderedDict([(k, [v]) for k, v in label_map.items()]) ival [-0.5, 4.0] dataset create_signal_target_from_raw_mne(raw, marker_def, ival, eventsevents) clean_mask np.max(np.abs(dataset.X), axis(1, 2)) 800 dataset.X dataset.X[clean_mask] dataset.y dataset.y[clean_mask] return dataset train_set load_set(train_edf) test_set load_set(test_edf) return train_set.X, test_set.X, train_set.y, test_set.y # 使用示例 X_train, X_test, y_train, y_test HGD_data(1) # 加载1号受试者的数据这个封装好的函数可以直接返回NumPy数组格式的数据方便输入到scikit-learn或PyTorch等机器学习框架中。输出数据的形状为X_train: (n_samples, 44, 1126)y_train: (n_samples,)其中1126对应4.5秒的时间窗250Hz * 4.5s 1125多出的1个点是包含两端点。8. 常见问题与解决方案在实际使用HGD数据集的过程中我遇到过不少问题这里分享几个典型case的解决方法问题1内存不足错误症状加载大EDF文件时出现MemoryError 解决方法# 改用以下方式分块加载 raw mne.io.read_raw_edf(edf_path, preloadFalse) # 不立即加载 raw.crop(tmax60) # 先加载前60秒测试流程 raw.load_data()问题2滤波后信号失真症状滤波后的信号出现平直线或剧烈震荡 检查清单确认采样率在滤波前已正确重采样检查截止频率是否合理运动想象通常用1-40Hz尝试降低滤波器阶数filt_order从3降到2问题3标签不匹配症状y的长度与X不匹配 解决方法# 确保事件标记筛选正确 events events[np.isin(events[:, 2], [1, 2, 3, 4])]问题4跨受试者数据不一致症状不同受试者的通道数量或名称不一致 解决方案# 使用通道交集而非固定列表 common_ch set(motor_44) set(raw.ch_names) raw.pick_channels(list(common_ch))对于想进一步优化模型性能的开发者我建议尝试以下进阶处理独立成分分析ICA去除眼动和心电伪迹时频分析提取mu节律8-12Hz和beta节律13-30Hz特征空间滤波使用CSP或xDAWN等空间滤波方法增强信号