Granite TimeSeries FlowState R1模型数据预处理保姆级教程：从原始数据到模型输入

Granite TimeSeries FlowState R1模型数据预处理保姆级教程从原始数据到模型输入你是不是也遇到过这种情况好不容易拿到一份时间序列数据比如工厂设备的传感器读数、网站的每日访问量或者股票的收盘价兴冲冲地准备丢给模型去预测结果模型要么报错要么给出的结果完全没法看。问题往往就出在第一步——数据预处理。对于像Granite TimeSeries FlowState R1这样的专业时序模型来说它就像一位挑剔的大厨你给的食材数据不新鲜、不干净、切得不对它就没法做出一道好菜。很多人模型跑不起来预测不准第一步就卡在了数据准备上。今天这篇教程我们就来彻底解决这个问题。我会手把手带你把一份原始的、可能乱七八糟的时间序列数据一步步处理成模型能“吃”得下、并且“消化”得好的标准格式。跟着走一遍你就能掌握这套流程以后遇到任何时序数据都知道该怎么“收拾”它了。1. 准备工作认识你的数据和工具在动手处理数据之前我们得先搞清楚两件事我们要处理的数据长什么样以及我们需要用什么工具。1.1 理解时间序列数据时间序列数据简单说就是按时间顺序排列的一系列数据点。它通常包含两个核心部分时间戳数据点发生的时间比如2023-10-01 08:00:00。观测值在那个时间点记录下的数值比如温度是25.3度销售额是12000元。一份原始数据可能是一个CSV文件、一个Excel表格或者从数据库里导出来的一堆记录。它可能有很多列比如多个传感器的读数也可能有缺失、有异常值时间间隔还不一定均匀。1.2 搭建你的工作环境我们主要使用Python来完成所有处理因为它有丰富且强大的数据处理库。请确保你的电脑上已经安装了Python建议3.8及以上版本。然后我们需要几个核心的“帮手”打开你的终端或命令提示符安装这些库pip install pandas numpy scikit-learn matplotlibpandas数据处理的“瑞士军刀”读取、清洗、转换数据都靠它。numpy进行高效的数值计算比如数组运算。scikit-learn提供数据标准化、归一化等预处理工具。matplotlib用来可视化数据帮助我们直观地发现问题。安装好后我们就可以在Python脚本或Jupyter Notebook里导入它们了import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler, MinMaxScaler import matplotlib.pyplot as plt # 设置图表显示中文如果需要 plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号环境准备好了接下来我们找一份数据开始实战。为了演示我们这里用pandas生成一份简单的模拟销售数据它包含了真实数据中常见的各种问题。# 生成一份有问题的模拟时序数据 np.random.seed(42) # 固定随机种子确保每次生成的数据一样 date_rng pd.date_range(start2023-01-01, end2023-01-31, freqD) # 生成1月份每天的日期 # 创建数据基本趋势 季节性波动 随机噪声 故意制造的问题 trend np.linspace(100, 150, len(date_rng)) seasonality 20 * np.sin(2 * np.pi * np.arange(len(date_rng)) / 7) # 每周周期 noise np.random.normal(0, 5, len(date_rng)) values trend seasonality noise # 创建DataFrame df_raw pd.DataFrame(date_rng, columns[timestamp]) df_raw[sales] values # 故意制造一些数据问题 # 1. 插入几个缺失值 (NaN) df_raw.loc[[5, 12, 20], sales] np.nan # 2. 插入几个明显的异常值 df_raw.loc[[8, 18], sales] [300, -10] # 3. 打乱顺序模拟原始数据乱序的情况 df_raw df_raw.sample(frac1, random_state42).reset_index(dropTrue) print(原始数据预览已打乱并有缺失、异常) print(df_raw.head(10)) print(f\n数据形状{df_raw.shape}) print(f‘sales’列缺失值数量{df_raw[sales].isnull().sum()})运行上面的代码你会得到一份看起来有点“糟糕”的数据顺序是乱的里面有些值是空的NaN还有两个数字300和-10明显和其他值不在一个量级。我们的任务就是把它变“漂亮”。2. 第一步数据清洗与规整拿到数据后别急着分析先给它“洗个澡”把明显的脏东西去掉并整理成标准的时序格式。2.1 排序与时间索引设置时间序列分析的前提是数据按时间顺序排列。我们首先要把数据按时间戳排序。# 确保‘timestamp’列是日期时间格式 df_raw[timestamp] pd.to_datetime(df_raw[timestamp]) # 按时间戳排序 df_cleaned df_raw.sort_values(bytimestamp).reset_index(dropTrue) print(按时间排序后的数据) print(df_cleaned.head())更关键的一步是把timestamp这一列设置为数据的索引。这样做的好处是pandas会知道这是一个时间序列后续的很多操作比如重采样、滑窗都会变得非常方便。df_cleaned.set_index(timestamp, inplaceTrue) print(设置时间索引后的数据前5行) print(df_cleaned.head()) print(f\n索引类型{type(df_cleaned.index)})2.2 处理缺失值数据中的“空洞”缺失值是时序分析的大敌。Granite TimeSeries FlowState R1模型通常要求输入是连续、完整的序列。我们有几种方法来填补这些空洞前向填充用缺失值前面的那个值来填充。适用于数据变化缓慢的场景。后向填充用缺失值后面的那个值来填充。线性插值用缺失值前后两个已知点连成一条直线用直线上的值来填充。这对具有趋势的数据比较友好。均值/中位数填充用整个序列的均值或中位数来填充。简单但可能引入偏差。对于我们的销售数据它有一定的趋势和周期性使用线性插值是个不错的选择。# 检查缺失值 print(f处理前缺失值数量{df_cleaned[sales].isnull().sum()}) # 使用线性插值法填充缺失值 df_cleaned[sales_filled] df_cleaned[sales].interpolate(methodlinear) # 如果序列开头或结尾有缺失interpolate可能填不了可以用邻近值填一下 df_cleaned[sales_filled] df_cleaned[sales_filled].fillna(methodbfill).fillna(methodffill) print(f处理后缺失值数量{df_cleaned[sales_filled].isnull().sum()}) print(df_cleaned[[sales, sales_filled]].head(15)) # 对比看下填充效果2.3 处理异常值异常值就是那些“不合群”的、远远偏离正常范围的数据点。比如我们数据里的300和-10。它们会严重扭曲数据的统计特性如均值、标准差进而影响模型学习到的规律。一个常用的简单方法是使用四分位距法来检测异常值。# 计算四分位数和IQR Q1 df_cleaned[sales_filled].quantile(0.25) Q3 df_cleaned[sales_filled].quantile(0.75) IQR Q3 - Q1 # 定义异常值的边界 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR print(fQ1 (25分位): {Q1:.2f}) print(fQ3 (75分位): {Q3:.2f}) print(fIQR: {IQR:.2f}) print(f正常值范围: [{lower_bound:.2f}, {upper_bound:.2f}]) # 识别异常值 outliers df_cleaned[(df_cleaned[sales_filled] lower_bound) | (df_cleaned[sales_filled] upper_bound)] print(f\n检测到的异常值数量{len(outliers)}) print(outliers[[sales_filled]])检测到异常值后我们同样需要处理它们。可以用中位数、前后值的均值或者直接用插值法来替换。# 将异常值标记为NaN然后用插值法替换一种处理方式 df_cleaned[sales_cleaned] df_cleaned[sales_filled].copy() df_cleaned.loc[outliers.index, sales_cleaned] np.nan df_cleaned[sales_cleaned] df_cleaned[sales_cleaned].interpolate(methodlinear) # 可视化对比 plt.figure(figsize(12, 6)) plt.plot(df_cleaned.index, df_cleaned[sales_filled], b-, alpha0.5, label填充后 (含异常)) plt.plot(df_cleaned.index, df_cleaned[sales_cleaned], r-, linewidth2, label清洗后) plt.scatter(outliers.index, outliers[sales_filled], colororange, s100, zorder5, label检测到的异常值) plt.axhline(yupper_bound, colorg, linestyle--, alpha0.7, label异常值边界) plt.axhline(ylower_bound, colorg, linestyle--, alpha0.7) plt.title(数据清洗前后对比) plt.xlabel(日期) plt.ylabel(销售额) plt.legend() plt.grid(True, alpha0.3) plt.show()现在我们的数据df_cleaned[‘sales_cleaned’]已经是一份干净、完整、按时间排序的序列了。可以进入下一步。3. 第二步特征工程与标准化干净的原始数据直接给模型用效果往往不好。我们需要做一些变换让数据更适合模型学习。3.1 数据标准化/归一化这是至关重要的一步。时间序列数据特别是多变量序列不同特征比如温度、压力、转速的量纲和数值范围可能差异巨大。标准化就是将数据按特征缩放到一个特定的区间如均值为0标准差为1可以加速模型收敛并提高预测稳定性。常用方法Z-Score标准化(x - mean) / std。适用于数据分布近似正态的情况。Min-Max归一化(x - min) / (max - min)。将数据缩放到[0, 1]区间。对于时序数据要特别注意我们不能用未来的数据信息比如整个序列的最大值来标准化过去的数据这会导致信息泄露。正确的做法是用训练集的数据计算标准化参数均值和标准差或最小最大值然后用这些参数去转换训练集和测试集。我们先演示对整个序列进行标准化假设这是训练集# 使用Z-Score标准化 scaler StandardScaler() # 注意fit_transform接受二维数组所以要用.values.reshape(-1, 1) scaled_values scaler.fit_transform(df_cleaned[[sales_cleaned]]) df_cleaned[sales_scaled] scaled_values # 或者使用Min-Max归一化 # scaler MinMaxScaler() # scaled_values scaler.fit_transform(df_cleaned[[sales_cleaned]]) # df_cleaned[sales_scaled] scaled_values print(标准化后的数据统计) print(f均值{df_cleaned[sales_scaled].mean():.6f}) print(f标准差{df_cleaned[sales_scaled].std():.6f}) print(df_cleaned[[sales_cleaned, sales_scaled]].head())3.2 构建时序特征可选但推荐除了原始数值我们还可以从时间戳中提取出有意义的特征帮助模型捕捉周期性规律。比如小时、星期几、月份捕捉日、周、年周期。是否周末、是否节假日捕捉特殊日期的模式。距离某个参考点的时间如距离序列开始的天数。# 从时间索引中提取特征 df_cleaned[hour] df_cleaned.index.hour # 本例是日数据小时都是0 df_cleaned[day_of_week] df_cleaned.index.dayofweek # 周一0, 周日6 df_cleaned[day_of_month] df_cleaned.index.day df_cleaned[month] df_cleaned.index.month df_cleaned[is_weekend] df_cleaned[day_of_week].apply(lambda x: 1 if x 5 else 0) print(添加了时间特征后的数据) print(df_cleaned[[sales_scaled, day_of_week, is_weekend]].head(10))如果你的数据是多元的多个传感器那么每个序列都需要单独进行清洗和标准化。最终所有特征标准化后的主序列和提取的时间特征会合并成一个多维特征矩阵作为模型的输入。4. 第三步构建模型输入序列滑窗采样Granite TimeSeries FlowState R1这类模型通常不是用一个单点数据做预测而是用过去连续一段时间的数据称为“历史窗口”或“lookback window”来预测未来一个或多个时间点的数据称为“预测窗口”或“forecast horizon”。这就需要我们把一条长的时间序列切成许多个连续的、有重叠的小片段。这个过程叫做滑窗采样。假设我们想用过去7天的数据历史窗口7来预测下1天的数据预测窗口1。def create_sliding_windows(data, window_size, horizon1): 为单变量时间序列创建滑窗样本。 参数: data: 一维数组标准化后的时间序列。 window_size: 历史窗口大小用多少个过去点。 horizon: 预测窗口大小预测未来几个点。 返回: X: 模型输入特征形状为 (样本数, window_size) y: 模型预测目标形状为 (样本数, horizon) X, y [], [] for i in range(len(data) - window_size - horizon 1): # 取过去window_size个点作为特征 X.append(data[i:(i window_size)]) # 取未来horizon个点作为目标 y.append(data[(i window_size):(i window_size horizon)]) return np.array(X), np.array(y) # 使用我们标准化后的销售额数据 series_data df_cleaned[sales_scaled].values window_size 7 # 看过去7天 horizon 1 # 预测未来1天 X, y create_sliding_windows(series_data, window_size, horizon) print(f原始序列长度: {len(series_data)}) print(f生成的样本数: {len(X)}) print(f每个样本X的形状历史窗口: {X.shape}) # 应该是 (样本数, 7) print(f每个样本y的形状预测目标: {y.shape}) # 应该是 (样本数, 1) # 查看第一个样本 print(\n第一个样本) print(f历史窗口 (X[0]): {X[0]}) print(f预测目标 (y[0]): {y[0]})对于多变量预测用多个特征预测一个或多个目标或者多步预测预测未来多个点y的构建方式会有所不同但滑窗的思想是一样的。X的维度会变成(样本数, 窗口大小, 特征数)。5. 第四步划分训练集与验证集我们不能用所有数据来训练必须留出一部分不参与训练用来评估模型在“没见过”的数据上的表现防止过拟合。对于时间序列绝对不能随机划分因为时间顺序是重要的因果关系。我们必须按时间顺序划分通常用前面的大部分数据做训练最后一部分数据做验证/测试。# 按时间顺序划分假设用80%的数据训练20%的数据验证 split_idx int(len(X) * 0.8) X_train, X_val X[:split_idx], X[split_idx:] y_train, y_val y[:split_idx], y[split_idx:] print(f训练集样本数: {X_train.shape[0]}) print(f验证集样本数: {X_val.shape[0]}) print(f特征维度: {X_train.shape[1:]})现在X_train和y_train就是可以喂给Granite TimeSeries FlowState R1模型的训练数据了X_val和y_val则用来验证模型效果。6. 总结与回顾走完这一整套流程我们再回头看其实时间序列数据预处理的核心逻辑非常清晰就像一条流水线原始杂乱数据 - 排序清洗 - 处理缺失异常 - 标准化 - 构建时序特征 - 滑窗切片 - 训练/验证集每一步都是为了解决一个具体问题排序是为了恢复时间因果清洗是为了保证数据质量标准化是为了让模型更好学滑窗是为了构建监督学习的样本。实际操作中有几个点需要特别留意 第一处理缺失值和异常值没有绝对最好的方法选择哪种方法取决于你的数据特性和业务背景。比如股票数据突然的暴涨暴跌可能不是异常值而是重要信号就不能简单剔除。 第二标准化一定要按正确的时间顺序进行用训练集的信息去转换验证集和测试集这是很多新手容易犯错的地方。 第三滑窗的窗口大小和预测步长是需要根据你的预测任务来调整的超参数。预测明天和预测下个月需要的窗口长度很可能不同。这套流程是一个坚实的基础模板。当你面对更复杂的数据比如多变量序列、不规则的采样频率、或者需要加入外部特征如天气、促销活动时都是在这个模板上进行扩展和调整。把数据预处理好了模型训练就成功了一大半。希望这篇保姆级的教程能帮你理顺思路下次再遇到时间序列数据可以自信地动手“收拾”它了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。