用于 VoIP 隐写分析的校准感知跨视图注意力网络

Calibration-Aware Cross-View Attention Network for VoIP Steganalysis用于 VoIP 隐写分析的校准感知跨视图注意力网络CACVANPyTorch implementation for VoIP steganalysis in low-bit-rate speech codecs.1. 项目简介本仓库开源了本人论文Calibration-Aware Cross-View Attention Network for VoIP Steganalysis (CACVAN)的 PyTorch 实现代码目前这项研究还在进行中欢迎感兴趣的研究者共同交流。该工作面向低比特率语音编解码场景下的 VoIP 隐写分析任务重点关注在低嵌入率、短语音片段以及复杂嵌入条件下隐写痕迹微弱、稀疏且容易被语音内容波动掩盖的问题。针对这些挑战本文提出了一个融合嵌入率感知数据增强、原始流/校准流双分支建模、跨视图特征交互以及混合注意力特征精炼的深度神经网络框架。2. 论文要解决的问题VoIP 隐写尤其是基于低比特率语音编解码器参数域如 FCB 域的隐写方法具有较强隐蔽性和较大嵌入容量因此给检测带来了较高难度。现有方法在以下场景中仍然面临明显挑战低嵌入率场景隐写扰动非常微弱容易被自然语音内容变化淹没高嵌入率场景重压缩校准过程可能引入额外结构失真影响真实隐写特征建模短语音片段场景有效判别线索更少隐写特征更稀疏复杂实际场景检测模型不仅要有较高精度还要具备稳定性、鲁棒性和一定实时性。为此本项目提出 CACVAN从数据增强、特征提取、跨流交互和特征精炼多个层面提升 VoIP 隐写分析性能。3. 方法概述CACVAN 主要由四个部分组成3.1 ERADA嵌入率感知数据增强模块在训练阶段引入基于 CutMix 的跨嵌入率样本混合策略对不同嵌入率样本进行局部重组与融合增强低嵌入率样本中的弱隐写特征缓解高嵌入率样本在校准过程中可能带来的形变偏差提升模型面对嵌入率失配时的鲁棒性。3.2 CVIB跨视图交互骨干网络网络采用双分支结构一条分支处理原始语音流original stream一条分支处理校准语音流calibration stream每个分支通过层级化特征提取模块逐步学习判别表示并在多个层级插入跨视图交互模块CVIM实现原始流与校准流之间的信息交换从而更有效地建模结构一致性与隐写扰动之间的细微差异。3.3 HARN混合注意力特征精炼模块在双分支特征融合后引入混合注意力模块进一步强化关键判别信息包括通道注意力增强对隐写敏感的特征通道空间注意力聚焦局部关键扰动区域上下文建模提升特征表达能力与稳定性。3.4 SCH分类头最后使用分类头输出二分类结果判断输入样本是否为隐写样本。4. 模型整体流程整体流程可以概括为输入成对样本原始流与校准流在训练阶段可执行嵌入率感知数据增强原始流与校准流分别进入双分支骨干网络在多个层级通过CVIM进行跨视图交互将双分支特征拼接后送入注意力精炼模块通过分类头输出最终隐写分析结果5. 代码结构当前仓库核心代码结构如下root/ ├── data/ │ ├── __init__.py │ └── data_loaders.py # 数据加载与增强 │ ├── models/ │ ├── __init__.py │ ├── models.py # 主模型定义BIEN / CACVAN主体 │ └── modules.py # 各类基础模块EXT, CVIM, Attention, Classify等 │ ├── utils/ │ ├── __init__.py │ ├── PlotCAM.py # 绘制CAM激活图 │ ├── PlotCOSINE.py # 绘制Cosine相似度图 │ ├── PlotHIST.py # 绘制特征直方图 │ ├── PlotTSNE.py # 绘制TSNE图 │ └── utils.py # 工具函数、CutMix、checkpoint保存等 │ ├── modelWeight/ # 模型权重保存目录 │ ├── dataset/ # 数据集文件需自行准备 │ ├── main.py # 训练 / 测试入口 └── run.py # train / val / prediction 过程6. 环境依赖本项目基于Python PyTorch实现建议使用如下环境Python 3.10.18PyTorchtorchaudioNumPyMatplotlib可以先按如下方式安装基础依赖condaenvcreate-fenvironment.yaml或者pipinstall-rrequirements.txt如需复现实验建议根据本机 CUDA 版本安装对应的 PyTorch 版本。7. 数据准备本项目使用.npy文件作为训练、验证和测试数据输入。下载地址BaiduNetDisk (PW: h3ts)。数据文件的组织形式类似于./dataset/ ├── data_{method}_{length}s_{em_rate}_train.npy ├── data_{method}_{length}s_{em_rate}_val.npy ├── data_{method}_{length}s_{em_rate}_test.npy ├── data_{method}_{length}s_RAND_train.npy └── data_{method}_{length}s_RAND_val.npy其中method目标隐写方法例如Geiser、Miao_enta1、Miao_enta2、Miao_enta4length语音片段长度如0.1~1.0em_rate嵌入率如10, 20, ..., 100RAND用于嵌入率感知增强的混合样本文件每条样本在加载后会被解析为三部分x原始/目标样本特征re校准样本特征y类别标签8. 训练默认训练入口在main.py中。8.1 基本训练示例python main.py\--methodMiao_enta4\--modesm_length\--length0.2\--em_rate100\--epoch40\--batch_size8\--trainTrue8.2 嵌入率感知模式训练当modeem_rate时训练和验证阶段会加载RAND数据并执行基于 CutMix 的跨嵌入率样本增强python main.py\--methodMiao_enta4\--modeem_rate\--length0.2\--em_rate100\--epoch40\--batch_size8\--trainTrue9. 测试测试时将train设为False并指定模型权重python main.py\--methodMiao_enta4\--modesm_length\--length0.2\--em_rate100\--trainFalse\--model_path./modelWeight/Miao_enta4/Length/2/\--model_weightepoch_12_best.pth.tar程序会在测试结束后输出Test Accuracy并将结果保存到test_result.txt10. 可视化分析该项目还支持多种可视化分析选项用于辅助理解模型特征表示。10.1 T-SNE 可视化python main.py--trainFalse--TSNETrue--TSNETYPE2D10.2 激活图可视化python main.py--trainFalse--ActivationTrue10.3 特征分布直方图python main.py--trainFalse--HistTrue10.4 余弦距离分析python main.py--trainFalse--CosineTrue11. 核心模块说明11.1 BIEN / 主网络主模型在models.py中定义整体包括Token EmbeddingPositional EncodingOriginal BackboneCalibration BackboneCVIM 跨视图交互模块Attention NeckClassification Head11.2 EXT分离卷积特征提取模块EXT模块结合了线性映射分支深度可分离卷积分支特征融合自适应增强模块PAEM残差连接与归一化用于从 VoIP 参数序列中提取层级化判别特征。11.3 CVIM跨视图交互模块CVIM用于在原始流与校准流之间执行跨视图注意力交互帮助模型从两种视角中提取互补信息。11.4 混合注意力模块颈部模块中引入通道注意力与空间注意力对关键通道和关键区域进行重标定提升对细粒度隐写痕迹的表达能力。12. 实验设置说明从当前代码默认参数来看训练时主要支持如下设置隐写方法Geiser,Miao_enta1,Miao_enta2,Miao_enta4语言类型Chinese,English样本长度0.1s ~ 1.0s嵌入率10% ~ 100%批大小8默认 epoch40你可以通过命令行参数灵活调整实验条件。13. 项目特点本项目具有以下特点基于PyTorch实现结构清晰便于复现与扩展支持原始流 / 校准流双输入建模支持嵌入率感知数据增强支持跨视图交互建模支持多种可视化分析工具适合用于VoIP 隐写分析研究、论文复现与模型扩展实验。14. 适用场景该项目适用于以下方向的研究与实验VoIP 隐写分析低比特率语音编码参数安全分析基于校准思想的隐写检测多分支深度网络在语音安全任务中的应用面向实时流式场景的轻量检测模型探索15. Citation如果你的研究或项目中使用了本仓库代码欢迎引用相关论文article{cacvan_voip_steganalysis, title{Calibration-Aware Cross-View Attention Network for VoIP Steganalysis}, author{Muyuan Li}, journal{Ongoing research (研究进行中)}, year{2026} }16. Acknowledgement本项目聚焦于低比特率语音编解码环境下的 VoIP 隐写分析问题。感谢相关公开数据集、已有 VoIP 隐写/隐写分析研究工作以及 PyTorch 社区工具对本研究的支持。17. TODO后续可以继续完善的方向包括补充数据集构建说明补充训练日志与实验结果表格补充预训练权重下载方式补充更详细的复现实验脚本18. Contact如果你对该项目感兴趣欢迎通过 1186141415qq.com 与仓库作者交流。如果这篇文章对你有帮助可以点个赞完整代码地址https://github.com/1186141415/Calibration-Aware-Cross-View-Attention-Network-for-VoIP-Steganalysis