利用LLMs准确预测旋转机械（如轴承）的剩余使用寿命（RUL）

研究背景

1. 研究问题：如何准确预测旋转机械（如轴承）的剩余使用寿命（RUL），这对于设备可靠性和减少工业系统中的意外故障至关重要。
2. 研究难点：该问题的研究难点包括：训练和测试阶段数据分布不一致、长期RUL预测的泛化能力有限。
3. 相关工作：现有工作主要包括基于模型的方法、数据驱动的方法和混合方法。基于模型的方法依赖于历史数据构建数学或物理模型，但难以准确开发。混合方法结合了数据驱动和模型驱动的方法，但仍需要深入的失效机制分析和广泛的先验知识。数据驱动的方法依赖于监测数据，具有自动学习和提取模式的优势，但在处理数据分布变化和长期预测方面存在局限性。

LM4RUL框架【用于基于预训练的大语言模型（LLM）进行轴承RUL预测】在FEMTO数据集上六个跨条件RUL预测任务中，LM4RUL在所有任务中均表现最佳。与DDAN方法相比，在Task 3中，LM4RUL的性能提高了至少16.22%。
在XJTU-SY数据集上三个跨条件RUL预测任务中，LM4RUL也取得了最佳预测性能。与DDAN方法相比，其预测性能平均提高了36.8%。

如何利用LM用于解决轴承RUL预测问题

LM4RUL框架，用于解决轴承RUL预测问题。具体来说，

1. 本地尺度感知表示（LSPR）组件：
   本地尺度感知表示（LSPR）组件通过对振动数据进行分块处理，提取时间频率特征，并通过补丁操作将局部退化信息封装成序列输入到预训练的LLM中。具体步骤如下：
   1. FPT检测：首先，使用FPT（First Point of Significant Degradation）检测方法确定轴承开始显著退化的时间点，以界定数据范围。
   2. 特征提取：使用短时傅里叶变换（STFT）从振动信号中提取时频域特征，公式如下：
      $$X(t,f)={\int }_{-\infty }^{+\infty }x(\tau )w(\tau -t)e^{-i2\pi f\tau }d\tau$$
      其中，$x(t)$ 是信号，$w(\tau -t)$ 是窗口函数，$f$ 表示频率。
   3. 补丁操作：将提取的时频特征图按固定长度窗口分割成多个子序列，并将每个子序列转换为时间频率特征图。然后将所有特征图沿时间方向拼接，形成退化特征图。接着，将这些特征图重新组织成大小为 $D\times N\times P$ 的矩阵，其中 $D$ 是特征维度，$N$ 是时间维度，$P$ 是补丁大小。通过补丁操作，模型能够聚焦于局部尺度的退化特征，并将其与全局退化趋势关联起来，从而捕捉更长的历史序列中的退化信息。

通过这些步骤，LSPR组件能够有效地将局部退化信息转化为适合LLM处理的序列，增强了LLM在捕捉长时间窗口内的退化趋势和关键退化模式方面的能力，从而提高了轴承RUL预测的准确性。

3. 混合嵌入学习（FPLM-HEL）组件：FPLM-HEL组件选择性冻结和微调预训练模型的层，保留预测知识并有效建模退化过程中的复杂非线性关系。FPLM-HEL采用三重嵌入方法，增强模型提取和学习抽象退化特征的能力。具体设计如下：

   1. 输入嵌入模块：将补丁后的退化特征序列输入到输入嵌入模块，提取局部敏感特征和全局退化特征，并结合绝对位置信息和相对时间信息进行编码和嵌入。
   2. FPLM模块：FPLM模块包含多个堆叠的FPLM块，每个块包含多头自注意力机制和前馈神经网络。在微调阶段，只更新部分层的参数，保留预训练的多头注意力和前馈网络的通用预测知识。具体公式如下：
      $${\hat{x}}_j^{(i)}={\gamma }_j\times$$