第三十一周学习周报

摘要

在本周阅读的文献中，作者提出了一种基于生成对抗网络（GAN）和长短期记忆网络（LSTM）融合模型的连续管钻井参数预测方法，旨在提高连续管钻井的安全性、效率和使用寿命，同时降低生产成本。当LSTM 的输出为多个变量时，模型预测的准确率明显低于输出为单个变量的模型。GAN–LSTM模型的思路是使用GAN的生成模型来优化LSTM。借助GAN中强大的生成模型，LSTM 的低维数据输出被用作 GAN生成模型的输入。最终目标是预测多个变量，并避免当输出数据的维数增加时模型准确性降低的问题。本次的学习将从原理学习和实验分析两部分进行，除此还对GAN的相关知识进行了回顾学习。

Abstract

In the literature read this week, the author proposed a continuous pipe drilling parameter prediction method based on a fusion model of generative adversarial network (GAN) and long short-term memory network (LSTM), aiming to improve the safety, efficiency, and service life of continuous pipe drilling while reducing production costs. When the output of LSTM is multiple variables, the accuracy of model prediction is significantly lower than that of a model with a single variable output. The idea of the GAN-LSTM model is to use the generative model of GAN to optimize LSTM. With the powerful generative model in GAN, the low dimensional data output of LSTM is used as input for the GAN generative model. The ultimate goal is to predict multiple variables and avoid the problem of decreased model accuracy when the dimensionality of the output data increases. This study will be divided into two parts: principle learning and experimental analysis. In addition, a retrospective study of GAN related knowledge will also be conducted.

文献阅读

本周阅读了一篇名为 Parameter prediction of coiled tubing drilling based on GAN–LSTM的论文，
论文地址：Parameter prediction of coiled tubing drilling based on GAN–LSTM
在文中，作者利用GAN–LSTM模型预测连续油管的钻孔参数，以提高连续油管的使用寿命，降低生产成本并提高石油生产率。
目前使用神经网络进行连续油管研究的难点在于两个方面。一是数据，钻探数据有保密协议，不能轻易用于研究，数据量巨大、复杂且不准确。二是神经网络的选择，因为井下数据是一组序列数据，前后数据的联系比较大，只有通过 RNN模型才能达到更好的预测效果。作者提出了一种用于预测循环压力、井口压力、ROP和总重量数据的GAN 和LSTM融合模型，解决了RNN在预测多个参数和数据量过大时出现的问题。

总体架构

首先我们来简单回顾一下LSTM模型，LSTM网络非常适合捕获序列的局部时间特征。它们旨在保留先前时间步长中的信息，并将其用于处理当前时间步长。这使他们能够有效地对序列中元素之间的依赖关系进行建模，并捕获数据中存在的局部时间模式。

但是当LSTM 的输出为多个变量时，模型预测的准确率明显低于输出为单个变量的模型。也就是说，随着输出数据的维数增加，预测准确性会降低。并且模型的误差率随着预测参数深度的增加而增加。GAN–LSTM模型的思路是使用GAN的生成模型来优化LSTM。借助GAN中强大的生成模型，LSTM 的低维数据输出被用作 GAN生成模型的输入。最终目标是预测多个变量，并避免当输出数据的维数增加时模型准确性降低的问题。GAN网络模型由生成网络模型和判别网络模型组成。GAN-LSTM融合网络需要使用GAN的生成网络模型，因此在训练过程中需要分别训练GAN和LSTM。
模型的总体架构如下所示：

GAN–LSTM模型结合了GAN和LSTM的优势，既有GAN的生成能力又有LSTM的序列处理能力。GAN生成器能够生成与真实数据难以区分的假数据，这为LSTM提供了更丰富的输入数据，从而优化了LSTM的预测性能。LSTM通过记忆单元和门控机制，能够有效捕捉时间序列数据中的长期依赖关系，解决了传统RNN在处理长序列数据时的梯度消失和梯度爆炸问题。这种结合使得模型在处理复杂的钻井参数时更加稳定和准确。
模型的工作原理：
（1）数据划分输入：数据的输入划分为LSTM和GAN两部分。
（2）分别训练：
LSTM训练的目标是通过LSTM捕捉时间序列数据中的长期依赖关系，预测ROP和指重。
GAN训练的目标是通过生成器生成逼真的井口压力和循环压力数据，通过判别器判断数据的真实性，优化生成器的输出。
（3）融合训练：
生成器优化：将GAN的生成器输出作为LSTM的输入，通过GAN的生成器优化LSTM的输出，以提高模型的泛化能力。
协同训练：GAN和LSTM在训练过程中相互协作，GAN生成的假数据作为LSTM的输入，LSTM的输出进一步优化GAN的生成器。通过这种协同训练，模型能够更好地捕捉数据的分布特征，提高预测精度。
（4）得到最终的预测结果。

实验分析

（1）数据集
数据来源于川西地区单口定向井的历史数据，对选定的井段数据进行了6次筛选，并将这些数据划分为训练集和测试集，通过交叉验证进行模型训练。

（2）数据处理
大多数井下数据由传感器测量，因此会产生大量离散、重复和缺失的数据。这些数据可能会导致模型的整体误差变大，并影响模型的泛化能力。因此需要通过聚类方法去除离散和重复的数据，通过均值插值法填充缺失值等方法对数据进行清洗。处理后的数据对比如下所示

（3）实验结果
经过数据清洗和数据归一化，作者获得了循环压力、井口压力、钻速、深度和总重量5个相关特征的有效数据用于GAN-LSTM 模型的训练数据集。
GAN-LSTM 的具体网络参数如下所示。其中Mape是训练集丢失率，Val mape是测试集丢失率。

下图显示了在预测 GAN-LSTM 和LSTM的总权重时误差率变化的过程。从图中可以看出，两个模型在初始阶段的误差率差异很小，GAN-LSTM在50轮后继续下降并趋于稳定。LSTM 网络模型错误率在早期表现出较大的波动，并在130轮后逐渐稳定。GAN-LSTM 网络模型的错误率在训练后逐渐稳定在10%左右。

下图显示了GAN-LSTM 和LSTM预测总权重的拟合曲线。在大多数情况下，GAN-LSTM 模型的拟合相对稳定，预测值和真实值之间的平均差值约为100。一些超参数的影响导致2400和2470m之间出现相对较大的波动。LSTM 的预测值和真实值之间的平均差异约为 200。在2400m之后，由于误差率仅收敛到20%左右，LSTM模型预测的平均差异约为400。

下图显示了GAN-LSTM和LSTM在预测ROP时的损失率变化过程。从图中可以看出，GAN-LSTM的误差率从约90%开始向下收敛，前沿收敛相对较快。GAN-LSTM的错误率在130轮后继续下降并稳定在10%左右。LSTM网络模型的误差率从约70%向下收敛，第一阶段的误差率波动约10%。LSTM模型的误差率在140轮后逐渐稳定在27%左右

下图显示了GAN-LSTM和LSTM预测ROP的拟合曲线。在大多数情况下，GAN-LSTM 模型是相对稳定的拟合，预测值和真实值之间的平均差约为1.5m/h。由于一些超参数，2400和2470m之间的波动约为3mh。预测 ROP的LSTM 模型最终收敛到大约 27%的误差率，导致大多数曲线波动很大。预测值和真实值之间的平均差约为6m/h。


上述结果提供了足够的经验证据，以支持GAN-LSTM在连续管钻井参数预测的精度和稳定性，特别是在预测多个参数时表现优于传统人工神经网络。除此数据预处理的重要性在实验中也有明显体现，使用原始数据和处理过后的数据进行预测所得结果还是差别很大的，数据预处理可以显著提高模型的预测精度。GAN–LSTM模型在预测总重量和ROP时的误差率分别稳定在约10%和10%左右，而单独的LSTM模型误差率分别为20%和27%，进一步证明了GAN–LSTM模型在预测精度上的优势。

知识复习

生成对抗网络由生成器器(G)和判别器(D)组成。
生成器的作用是捕获数据分布并生成新数据。判别器的作用是确定数据是真实数据还是生成器生成的数据。

训练集数据向量 Z-p(z)用作生成模型的输入，新数据G(z)在生成器网络G之后生成。判别模型 D的输入要么是真实数据样本，要么是生成器网络生成的样本G(Z)。对判别器网络模型进行训练，以确定其输入是来自真实数据样本还是来自生成器模型生成的样本。然后，生成器模型由已经训练过的判别器模型进行训练，以生成更接近真实数据分布的数据，从而欺骗判别器。这两个模型相互配合，并交替训练以达到最佳平衡点。此时生成模型能够生成最接近真实数据的数据，判别器模型无法区分数据是来自真实数据还是生成数据。

以下是对为什么P_data(x)=P_g(x)时目标函数最优的数学推导：

总结

通过本周的学习我回顾了LSTM和GAN的相关知识并明白了LSTM在处理时序问题的不足，论文作者通过将GAN和LSTM相融合以解决LSTM在处理多个变量时遇到的问题。但到此我有一些思考，如果将原来学习到的Adjusted-LSTM与GAN融合是否会有更好的效果呢？后续可以试试。