（论文速读）FD-LLM：将振动信号编码为文本表示来将振动信号与大型语言模型进行对齐

论文题目Large language models for explainable fault diagnosis of machines用于机器可解释故障诊断的大型语言模型期刊Engineering Applications of Artificial IntelligenceEAAI摘要大型语言模型(Large Language Models, 大型语言模型)在从文本数据中捕获复杂的概念表示方面表现出了非凡的能力用于广泛的现实世界应用。然而在智能故障诊断(IFD)中利用传感器数据(如振动信号)是必不可少的但由于时间序列和大型语言模型输入之间的模态差距仍然是一个挑战。现有的弥补这一差距的努力通常将大型语言模型仅仅视为分类器忽视了它们对基于振动的数据的理解和推理的潜力。在本文中我们提出了一种新的基于llm的故障诊断框架(FD-LLM)该框架通过将振动信号编码为文本表示来将振动信号与大型语言模型进行对齐。FD-LLM引入了一种面向分类的方法该方法将故障诊断制定为对大型语言模型性能进行基准测试的多类分类任务以及一种上下文感知的频谱语言建模方法该方法可以实现可解释的、推理驱动的故障分析。我们使用FD-LLM在多个数据集和噪声条件下评估了四个开源大型语言模型评估了它们的有效性、适应性和鲁棒性。结果表明LLaMA模型具有鲁棒的诊断性能具有较强的跨工况零样本学习适应性具有少量样本学习的跨数据集场景的有效泛化能力。结果进一步表明大型语言模型可以实现可解释的故障诊断。用大语言模型读懂机器故障FD-LLM 框架详解一、背景机器会说话了但我们能听懂吗在智能制造和工业数字化的浪潮下状态监测Condition Monitoring, CM已成为保障设备安全、降低运维成本的核心手段。CM 系统通过振动、声学、温度等传感器采集数据并借助先进算法判断设备健康状态——这一过程被称为智能故障诊断Intelligent Fault Diagnosis, IFD。过去二十年间机器学习ML和深度学习DL方法极大地推动了 IFD 的发展。从 SVM、KNN、朴素贝叶斯到 CNN、RNN再到各类域适应Domain Adaptation方法研究者们在多个基准数据集上屡创佳绩。然而现实远比论文复杂。现有方法的三大痛点痛点一泛化能力弱。绝大多数 ML/DL 模型在面对新机器或新工况时需要大量重新标注和重新训练工程落地成本极高。痛点二可解释性差。深度学习的黑箱特性让工程师无从知晓模型为什么判断是内圈故障在高安全要求的工业场景中这种不透明严重制约了人们对系统的信任。痛点三难以融合异构信息。振动信号与设备手册、操作记录、领域知识之间存在天然的语言鸿沟传统方法难以将它们统一建模。LLM 的机会与挑战GPT-2、Llama-2、Qwen-2 等大语言模型LLMs凭借强大的推理、抽象和泛化能力正在重塑人工智能的版图。已有研究探索将 LLM 用于 IFD但主要路径有三类视觉化表示将时序信号转为图像再送入多模态 LLM如 Qwen-VL处理。这类方法会损失细粒度时频信息且受图像分辨率限制模态专用编码器用嵌入层或预训练编码器将数值序列映射到 LLM 输入空间。虽能实现准确分类但遮蔽了特征频率、谐波、边带等频谱语义限制了可解释性文本化编码将时序数据转换为数值字符串。已有工作如 Gruver et al., 2023主要针对时序预测并非专为故障诊断设计。更根本的问题是现有研究把 LLM 当成一个普通的分类器来用完全忽视了 LLM 真正的认知优势——上下文推理、抽象理解和自然语言生成。如果 LLM 只是输出一个故障标签和传统神经网络相比它的价值并没有被真正发挥出来。二、FD-LLM让 LLM 真正理解振动信号本文提出了FD-LLM一个将振动信号与大语言模型深度融合的故障诊断框架。其核心理念是不只是让 LLM 分类而是让 LLM 推理。FD-LLM 包含两条互补的训练管线共同构成一个统一的双模式框架。配图Fig. 1FD-LLM 分类导向训练框架总览图2.1 分类导向管线系统评估 LLM 的诊断能力这条管线将故障诊断形式化为多分类任务目标是系统性地评估不同 LLM 在不同信号表示方式下的诊断有效性、跨域适应性和噪声鲁棒性。给定故障样本 Xi 和对应的提示词 Pi包含设备信息和操作条件LLM 被训练为映射其中是以自然语言形式输出的故障标签。由于 LLM 的输出是文本需要通过映射函数转换为数值标签以便用标准分类指标评估。2.2 频谱语言建模管线让 LLM 生成可解释诊断这是本文最具创新性的部分。上下文感知频谱语言建模Context-aware Spectrum Language Modeling管线训练 LLM 去推理频谱特征并以自然语言形式描述故障机制。具体地给定频谱样本集合每个Xi是一组频率-幅值对和链式推理提示词 PCoT模型需要生成响应R包含观察Observation和结论Conclusion两部分。这意味着模型不只是给出标签而是要明确识别特征频率、谐波和边带并解释其与特定故障类型内圈、外圈、滚动体之间的因果关联。配图Fig. 2FD-LLM 频谱语言建模管线总览图三、关键技术如何让 LLM 读懂振动频谱3.1 信号预处理三条并行的表示路径FD-LLM 将原始振动信号预处理为三种互补的表示形式① 统计特征Statistical Summarization从每个信号段提取 15 个时域和频域统计特征包括均值、RMS、标准差、峰值因子、峭度、谱峭度、谱带宽等。这些特征被序列化为简洁的文字摘要送入 LLM。配表Table A.1统计特征及其公式汇总表② FFT 处理FFT Preprocessing将每段信号进行快速傅里叶变换FFT计算幅度谱并归一化到 [0,1]得到。这样既避免了符号分词的冗余又保留了相对幅度关系。③ 包络频谱Variational Mode Decomposition, VMD这是最关键的一步。原始振动信号经 VMD 分解为 H10 个模态分量从主导模态中提取包络频谱。对于内圈和外圈故障使用第 4、5、6 阶模态重建滤波信号对于滚动体故障使用第 1、2 阶模态。VMD 的优势在于能有效分离故障相关成分与噪声保留谐波和边带等对诊断至关重要的频谱结构。VMD 的数学优化目标为最小化各模态带宽之和同时约束所有模态之和等于原始信号3.2 频谱文本编码最关键的创新这是 FD-LLM 能够让 LLM 直接处理振动信号的核心机制。受 Gruver et al.2023工作启发本文设计了一套可逆的字符串化编码流程将 FFT 或包络频谱转换为 LLM 可直接处理的文本序列步骤 1 — 符号处理对每个频谱值 yi判断符号频谱数据本身非负故通常 si 1不引入额外符号 token步骤 2 — 量化将每个绝对值 |yi| 乘以 10^DD 为保留小数位数截断取整得到整数量化数组步骤 3 — 字符串分词将量化整数逐位以十进制字符串表示用逗号分隔形成最终的文本序列如123,456,789,...。这一编码方式的精妙之处在于以 D3 为例Llama3 的分词器倾向于将314,31415识别为314,,,314,15这类紧凑 token而非逐字符拆分。这使得 Llama3 模型能以远少于 Qwen1.5 和 Mistral 的 token 数完成信号表示进而取得更好的诊断性能。配图Fig. 3(a)不同模型在不同小数位设置 D 下的 token 数量对比柱状图配图Fig. 3(b)不同模型各故障类别 G-means 分类性能对比3.3 多模态数据集自动化构建频谱语言建模管线的训练需要高质量的频谱–文字配对数据。本文设计了三步自动化流程频谱提取对内圈IRF、外圈ORF、滚动体REF故障及正常状态的振动信号进行 VMD 处理得到频谱表示自动标注利用轴承几何参数球直径 dB、节径 dP、滚动体个数 Z和转速自动计算理论故障特征频率BPFI、BPFO、BSF、FTF 及其谐波、边带并提取对应幅值进行精确对齐配表Table B.1不同数据集和工况下的轴承故障特征频率汇总表问答对生成基于预定义的故障特异性模板每种故障类型 3 个模板保证多样性和领域知识规则自动填充属性值生成多样化的指令–输入–输出三元组训练样本。3.4 指令微调与 LoRA为高效完成 LLM 的领域适配本文采用LoRALow-Rank Adaptation进行参数高效微调对任意预训练权重矩阵仅引入两个低秩矩阵和r远小于min(d,k)训练时只更新 B 和 A而冻结原始权重 W0。具体超参数LoRA rank8缩放因子 16作用于 Transformer 的所有注意力和 MLP 线性层使用 4-bit 量化和 bfloat16 混合精度在单块 NVIDIA A10 GPU 上训练 3 个 epoch。四、实验设置4.1 数据集实验使用四个公开轴承数据集覆盖实验室受控环境和真实退化场景CWRU凯斯西储大学数据集包含内圈、外圈、滚动体人工诱发故障4 种负载0–3 HP采样率 12 kHzMFPT机械故障预防技术数据集包含正常、内圈和外圈故障采样率 97.656 kHz/48.9328 kHzXJTU-SY西安交通大学全寿命退化数据集15 个轴承3 种工况采样率 25.6 kHzPU帕德博恩大学数据集含人工故障PU-art和真实退化故障PU-real两个子集采样率 64 kHz。训练集/测试集按 9:1 划分。FFT 和统计分析以长度 2048、50% 重叠进行分段频谱样本以 1 秒为单位、90% 重叠进行分段。配表Table 2四个数据集的工况、故障类型和样本数量汇总表4.2 对比基线ML 方法SVM基于统计特征DL 方法WDCNN基于 FFT 数据1DCNN-SeNet基于 FFT 数据LLM 方法Llama3-8B、Llama3-8B-Instruct、Qwen1.5-7B、Mistral-7B-v0.2以及小模型 Llama3.2-1B-Instruct、Llama3.2-3B-Instruct4.3 评估维度分类任务使用准确率Acc、F1-Score、特异性Specificity、G-Means四项指标频谱语言建模任务额外使用RAGAS 框架忠实度、语义相似度、答案正确率、BLEU/ROUGE 分数以及LLM-as-a-Judge由 QwenMax 对生成解释打 1–5 分评估可信度。五、实验结果与深度解读5.1 有效性评估Llama 家族遥遥领先配表Table 4各模型在 CWRU 数据集驱动端和风扇端的有效性评估结果统计特征输入Llama3-8B 和 Llama3-8B-Instruct 在驱动端CWRUst-DE分别达到 94.80% 和 95.21% 的准确率SVM 达到 97.39%。但所有模型在风扇端CWRUst-FE均有不同程度下降——Llama3-8B 下降约 10%提示统计特征对传感器位置变化较为敏感。Qwen1.5 和 Mistral 在统计特征上表现持续低迷说明二者对数值型全局特征的处理能力有限。FFT 特征输入情况发生了戏剧性转变。Llama3-8B 和 Llama3-8B-Instruct 在 CWRUfft-DE 上分别达到99.7%和99.8%的准确率在 CWRUfft-FE 上也分别达到 98.75% 和 99.75%与专为数值输入设计的 WDCNNCWRUfft-FE99.16%和 1DCNN-SeNet100%相当甚至超越。Qwen1.5 和 Mistral 在 FFT 输入下依然表现不佳。关键发现——分词效率是核心配图Fig. 3分词分析图token 数量与模型性能对比对 80 个 FFT 样本每类 20 个分析 token 数量D3 设置下Llama3 模型平均约 2249 个 tokenD3 时准确率100%Qwen1.5平均约 2802 个 token准确率约 76%Mistral平均约 3295 个 token准确率仅约 54%。Token 数量与诊断准确率之间呈强负相关。Llama3 的分词器能将连续数字序列组合成紧凑的 token如将314整体识别而非拆分为3,1,4大幅缩短了输入序列长度避免了上下文碎片化从根本上解释了其性能优势。5.2 适应性评估Llama 的零样本跨域能力模型在 0HPDE 工况下训练零样本迁移到其他负载和组件工况测试。配表Table 6各模型在不同工况下的 FFT 处理数据适应性评估结果配图Fig. 4不同模型在多工况和跨组件迁移下的各类别 G-means 性能图跨负载工况同组件Llama3-8B-Instruct 在 1HPDE、2HPDE、3HPDE 上的准确率分别达到99.80%、96.48%、96.48%展现出极强的负载变化适应能力。小模型 Llama3.2-1B-Instruct 同样表现出色1HPDE97.6%表明紧凑架构在充分微调后也能有效捕获频谱模式。相比之下Qwen1.5 在偏离较大的工况下性能明显下降Mistral 持续低迷。跨组件驱动端→风扇端所有模型性能均大幅下跌。Llama3-8B-Instruct 在 0HPFE 和 1HPFE 上的准确率分别降至 52.90% 和 47.55%。这揭示了一个根本性挑战传感器位置变化带来的域偏移导致同一故障的频谱特征发生根本性改变所有模型都难逃其影响。统计特征的跨域性甚至更差见 Table 5进一步证明统计量难以反映局部变化。配表Table 5各模型使用统计特征的适应性评估结果5.3 鲁棒性评估嘈杂工业环境下的坚守配图Fig. 5Llama3-8B-Instruct 在 0HPDE 子集上不同噪声类型和 SNR 下的鲁棒性评估图配表Table 70HPDE 子集在不同 SNR 和噪声类型下的性能指标在 0HPDE 子集上向 FFT 信号注入高斯、布朗、拉普拉斯和紫色四种噪声SNR 从 -9 dB 到 9 dB 变化布朗噪声所有 SNR 下均达到100%模型对低频扰动具有天然抵抗力高斯噪声从 0 dB 起达到 100%-9 dB 时仍有84.29%拉普拉斯噪声从 0 dB 起达到 100%-9 dB 时为91.57%紫色噪声高频干扰最强-9 dB 时最低降至45.21%但从 3 dB 起迅速恢复到 100%。这些结果表明基于 FFT 的编码方式在中高 SNR 下具有非常强的噪声鲁棒性适合真实工业部署。5.4 多数据集鲁棒性与频谱样本的优势配表Table 8Llama3-8B-Instruct 在所有数据集上使用 FFT 和频谱样本的评估结果对比使用包络频谱样本相较于 FFT 样本在所有数据集上均取得显著提升PU-art 从 84.29% 跃升至 100%提升幅度达15.71 个百分点。PU-real 因内外圈故障频率在多工况下高度重叠叠加电源谐波干扰仍存在挑战但也从 76.75% 提升至 89.79%。与同类方法 DiagLLMQwen2-VL-7BXJTU-SY 准确率 98.44%PU 合并准确率 88.51%相比FD-LLM 在 XJTU-SY 和 PU-art 上均达到100%且不依赖视觉编码器和多模态融合直接以文本化频谱为输入方案更简洁、可解释性更强。5.5 少样本泛化用少量数据跨越数据集鸿沟配表Table 9Llama3-8B-Instruct 使用频谱样本进行少样本学习的泛化评估结果模型在 CWRU 上预训练再以极少量样本迁移到其他数据集MFPT100 样本准确率100%XJTU-SY100 样本准确率100%PU-art100 样本准确率97.41%250 样本时达到 100%PU-real250 样本准确率81.57%受限于该子集故障模式复杂性。这一结果证明FD-LLM 在少样本迁移场景下具有强大的适应能力能有效缓解工业场景中标注数据匮乏的痛点。唯一的局限在于从简单分布CWRU 人工故障迁移到复杂分布PU-real 真实退化时性能上限受到分布差异约束。5.6 可解释诊断FDllm 能说清楚为什么是这个故障这是本文最具差异化价值的部分。将 Llama3-8B-Instruct 微调为频谱诊断语言模型FDllm后从四个维度进行综合评估配表Table 10FDllm 在频谱语言建模任务中的评估结果涵盖 RAGAS、文本质量、可信度和分类性能一个直观的例子见论文 Fig. 6配图Fig. 6外圈和内圈故障信号的 FDllm 诊断输出示例案例一外圈故障频谱中主要故障频率出现在 80 Hz幅值为 192。FDllm 识别到邻近 81.12 Hz 处有幅值 39 的峰值判断其与理论外圈故障频率对齐结合谐波模式准确推断为外圈故障。案例二内圈故障频谱更为复杂含转频、118 Hz 处的内圈故障特征频率、93 Hz 和 143 Hz 的边带以及 236 Hz、354 Hz 的谐波。FDllm 成功解析全部频谱结构正确忽略不相关的转频成分准确诊断为内圈故障。这与传统 XAI 方法如 Grad-CAM、SHAP输出抽象热力图的方式有着本质区别FDllm 的输出是工程师能直接理解、直接使用的因果推理链。六、总结与展望核心贡献FD-LLM 框架统一了分类导向和频谱语言建模两种范式实现了从能诊断到能解释诊断的跨越频谱文本编码机制简洁而有效直接将 FFT/包络频谱编码为文本序列无需复杂的模态专用编码器同时保留了频率域结构自动化多模态数据集构建提供了一套可复现的、利用领域知识自动生成频谱–语言配对数据的方法论系统性多维度评估覆盖有效性、适应性、鲁棒性、泛化性和可解释性为 LLM 在 IFD 领域的应用提供了全面的基准。主要局限与未来方向跨组件泛化仍是难题驱动端→风扇端的迁移性能大幅下降未来可探索更大的上下文窗口、双表示融合统计FFT等策略多模态数据集规模有限制约了 FDllm 更丰富的诊断交互未来可结合仿真频谱数据扩充训练集或引入检索增强生成RAG工业部署优化尽管 4-bit 量化已使推理可在单块 RTX 4090 上近实时运行但面向更广泛的工业场景仍需进一步压缩模型规模和推理延迟。