顶会新宠！KAN-LSTM完美融合新方案

2024深度学习发论文&模型涨点之——KAN+LSTM

KAN-LSTM混合预测模型是一种结合了自注意力机制（KAN, Key-attention network）和长短时记忆网络（LSTM）的深度学习模型，主要用于序列数据的预测任务，如时间序列分析、自然语言处理等。

KAN-LSTM混合模型的优势在于，KAN提供了全局视角，而LSTM则专注于捕捉局部序列中的有用信息，两者的结合能够提升模型对序列数据的理解和预测能力。通过将KAN的输出作为LSTM的输入，模型能够更有效地整合全局上下文信息和局部细节，从而提高预测的准确性和可靠性。

因为KAN是新提出的模型，这个方向现在也不是很卷，是个很好的发文方向。

我整理了一些KAN+LSTM【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

Core Temperature Estimation of Lithium-Ion Batteries Using Long Short-Term Memory (LSTM) Network and Kolmogorov-Arnold Network (KAN)

利用长短期记忆（LSTM）网络和Kolmogorov-Arnold网络（KAN）估算锂离子电池的核心温度

方法

• LSTM网络：提出了使用基本操作参数（如电压、电流和环境温度）来估算锂离子电池的表面和核心温度的LSTM网络架构。

• KAN网络：介绍了一种基于数据驱动的深度学习方法KAN，用于估算锂离子电池的核心和表面温度，而不依赖于表面温度作为神经网络的反馈。

创新点

• KAN网络的引入：通过KAN网络，能够在不需要物理表面温度传感器的情况下，准确预测电池的内部和表面温度，降低了电池管理系统（BMS）的成本和线路复杂性。

• 性能提升：实验验证显示KAN在估算核心温度时误差为0.5°C，计算成本为2.9ms至3.2ms，相较于传统方法在计算效率和准确性上都有显著提升。

• 适应性和准确性：KAN模型不仅能够适应操作条件的变化，保持电池整个生命周期内的准确性，而且计算成本保持在可接受的范围内，适合于车载BMS和基于云的数字孪生BMS使用。

论文2：

Deep state space recurrent neural networks for time series forecasting

深度状态空间递归神经网络用于时间序列预测

方法

• 状态空间模型与RNN结合：提出了将计量经济学状态空间模型的原理与递归神经网络（RNN）的动态能力相结合的新型神经网络框架。

• LSTM、GRU和TKAN：提出了使用长短期记忆（LSTM）、门控残差单元（GRU）和时间Kolmogorov-Arnold网络（TKAN）的状态空间模型。

创新点

• TKAN网络的提出：TKAN网络在Kolmogorov-Arnold网络（KAN）和LSTM的启发下展现出有希望的结果，特别是在时间序列预测方面。

• 状态切换模型：通过引入隐藏的状态切换机制，模型能够根据某些可观察的协变量随时间变化的转换概率，增强了对市场不同状态（如牛市或熊市）的适应性和预测能力。

• 性能提升：TKAN在模拟实验中展现出比LSTM和GRU更优越的性能，特别是在处理复杂非线性关系时，尽管计算复杂度和时间较高，但其预测能力和灵活性的提高是显著的

论文3：

Model Comparisons: XNet Outperforms KAN

模型比较：XNet优于KAN

方法

• XNet算法：探索了一种新型算法XNet，该算法采用复值柯西积分公式，提供了超越传统多层感知器（MLPs）和Kolmogorov-Arnold网络（KANs）的优越网络架构。

• 柯西激活函数：XNet利用柯西核作为基函数，与KAN使用的B样条基函数形成对比。

创新点

• 函数逼近能力提升：XNet在处理Heaviside步函数和复杂高维场景时展现出比KAN更优越的性能，尤其在局部数据段的逼近上，XNet的均方误差（MSE）比KAN小1000倍。

• 物理信息神经网络（PINN）中的优越性：在Poisson方程的基准测试中，XNet在物理信息神经网络（PINN）框架内的效率和准确性显著超过MLP和KAN。

• 时间序列预测的创新：通过在LSTM架构中用XNet替换传统的前馈神经网络（FNN），引入了XLSTM模型，在时间序列预测实验中，XLSTM在准确性和可靠性方面一致超越了传统的LSTM模型。

论文4：

TKAN: Temporal Kolmogorov-Arnold Networks

TKAN：时序Kolmogorov-Arnold网络

方法

• 时序Kolmogorov-Arnold网络（TKAN）：提出了一种新的神经网络架构，结合了Kolmogorov-Arnold网络（KAN）和长短期记忆网络（LSTM）。

• 循环Kolmogorov-Arnold网络（RKAN）层：在TKAN中嵌入了记忆管理，以保持短期记忆。

• 门控机制：通过门控机制管理信息流，决定哪些信息应该被保留或遗忘。

• B-Spline曲线：使用B-Spline曲线作为1D函数的参数化表示，以学习KAN层中的激活函数。

创新点

• 结合KAN和LSTM：TKAN结合了KAN和LSTM的优点，提升了多步时间序列预测的准确性和效率，特别是在处理复杂序列模式方面。

• RKAN层：通过在每个层中嵌入记忆管理，RKAN层能够存储与时间上下文相关的信息，并在处理过程中被网络访问，使网络能够显式学习和利用过去的信息。

• 性能提升：在多步预测任务中，TKAN相比于传统的LSTM和GRU模型表现出更好的性能，例如在15步预测中，TKAN的R-squared值比GRU高出至少25%，显示出在长期预测中的优势。

• 模型稳定性：TKAN在多次实验中显示出更好的稳定性，与GRU和LSTM相比，TKAN的性能变化较小，表明其在不同实验间的权重校准更为稳定。