墨语灵犀结合LSTM进行时间序列预测：原理与代码实现

墨语灵犀结合LSTM进行时间序列预测原理与代码实现最近在做一个金融数据分析的项目客户提了个挺有意思的需求能不能把新闻、社交媒体上的文字情绪也加到股价预测模型里毕竟一条突发利空消息可能比一堆历史K线数据更能影响明天的开盘价。传统的LSTM模型处理时间序列预测很在行但它主要“吃”的是数字比如历史价格、成交量。而那些海量的、非结构化的文本信息——新闻标题是乐观还是悲观、财报电话会议纪要里透露了什么信号——这些“语义”层面的东西它处理不了。这就引出了我们今天的主题把擅长理解文字的“墨语灵犀”大模型和擅长分析时间序列的LSTM网络结合起来。简单说就是让墨语灵犀当“翻译官”把文本变成数字情绪分再让LSTM当“分析师”结合历史股价和这个情绪分一起预测未来走势。下面我就以一个金融舆情分析预测股价的场景为例带你看看这套思路怎么落地并附上可运行的代码框架。1. 整体思路当语义理解遇见时间序列在开始敲代码之前我们先花几分钟把整个流程的逻辑理清楚。这就像做菜前先看一遍食谱知道每一步要干嘛后面才不会手忙脚乱。核心想法其实不复杂分两步走文本转数字墨语灵犀的活儿我们把每天相关的财经新闻、社交媒体帖子收集起来扔给墨语灵犀。它的任务不是生成文章而是理解这些文字背后的情绪并输出一个量化的“情感分数”。比如0.9表示极度乐观-0.8表示非常悲观0表示中性。融合预测LSTM的活儿我们原本预测股价用的特征是历史股价、成交量等。现在我们把第一步得到的情感分数作为一个新的、非常重要的特征和那些传统特征拼在一起输入到LSTM模型里。LSTM会学习历史股价走势和市场情绪之间的复杂关系从而做出更准确的预测。为什么要这么结合想象一下即使过去一周股价都在温和上涨历史序列特征但今天盘后突然爆出公司重大财务丑闻文本情绪特征。如果模型只看了股价序列它可能预测明天继续涨但结合了负面情绪特征后它就更有可能预测出下跌。这就是引入语义信息带来的“信息增量”。整个方案的流程可以用下面这张图来概括[文本数据源] - (墨语灵犀情感分析) - [情感时间序列] [股价历史数据] - (特征工程) - [传统特征序列] ↓ [特征融合] ↓ (LSTM模型训练与预测) ↓ [未来股价预测值]接下来我们就沿着这个流程一步步实现它。2. 第一步用墨语灵犀构建情感时间序列首先我们需要把每天的文本数据变成情感分数。这里假设你已经收集好了按日期排列的文本数据比如一个CSV文件里面有date和text两列。2.1 调用墨语灵犀进行情感分析我们通过其API来调用墨语灵犀的情感分析能力。你需要准备自己的API密钥和端点地址。import requests import pandas as pd import numpy as np from datetime import datetime import time # 配置你的墨语灵犀API信息此处为示例请替换为实际值 API_KEY your_moyu_lingxi_api_key_here API_ENDPOINT https://api.example.com/v1/chat/completions # 示例端点 def analyze_sentiment_with_moyu(text): 调用墨语灵犀API分析单条文本的情感倾向。 返回一个介于[-1, 1]之间的情感分数。 if not text or str(text).strip() : return 0.0 # 空文本返回中性 # 构建符合墨语灵犀格式的请求 headers { Authorization: fBearer {API_KEY}, Content-Type: application/json } # 精心设计的提示词引导模型输出情感分数 prompt f 请分析以下财经文本的情感倾向并严格输出一个介于-1到1之间的浮点数。 - -1表示极度负面/悲观 - 0表示中性 - 1表示极度正面/乐观 请只输出这个数字不要有任何其他文字、标点或解释。 文本内容{text} payload { model: moyu-lingxi-latest, # 根据实际模型名调整 messages: [{role: user, content: prompt}], temperature: 0.1, # 低温度保证输出稳定主要是数字 max_tokens: 10 } try: response requests.post(API_ENDPOINT, jsonpayload, headersheaders, timeout30) response.raise_for_status() result response.json() # 解析返回内容提取数字 content result[choices][0][message][content].strip() # 安全地提取数字防止模型返回非数字内容 try: sentiment_score float(content) # 确保分数在合理范围内 sentiment_score max(-1.0, min(1.0, sentiment_score)) return sentiment_score except ValueError: # 如果解析失败可以记录日志这里返回中性值 print(f解析情感分数失败返回内容{content}文本前50字{text[:50]}...) return 0.0 except requests.exceptions.RequestException as e: print(fAPI请求失败: {e}文本{text[:50]}...) return 0.0 except KeyError as e: print(fAPI响应格式异常: {e} 响应{result}) return 0.0 # 示例处理一批文本 def batch_sentiment_analysis(df): 为DataFrame中的每一行文本计算情感分数 print(开始批量情感分析...) sentiment_scores [] for idx, row in df.iterrows(): score analyze_sentiment_with_moyu(row[text]) sentiment_scores.append(score) # 避免请求过快添加短暂延迟根据API限制调整 time.sleep(0.1) if idx % 10 0: print(f已处理 {idx1}/{len(df)} 条) df[sentiment_score] sentiment_scores print(情感分析完成) return df # 假设你的文本数据是这样的 # df_text pd.read_csv(financial_news_daily.csv) # df_text[date] pd.to_datetime(df_text[date]) # df_with_sentiment batch_sentiment_analysis(df_text)这段代码的核心是analyze_sentiment_with_moyu函数。关键在于我们设计了一个非常明确的提示词Prompt要求模型只输出一个浮点数。这比让模型输出“正面”、“负面”等文字更容易后续处理。同时代码里加入了异常处理和限流延迟适合处理真实数据。2.2 聚合每日情感分数一天可能有多条新闻我们需要把它们聚合成一个代表当日市场整体情绪的分数。def aggregate_daily_sentiment(df_with_sentiment): 将情感分析后的数据按天聚合。 可以取平均值也可以根据新闻来源权重加权平均。 # 按日期分组计算平均情感分 daily_sentiment df_with_sentiment.groupby(date)[sentiment_score].mean().reset_index() daily_sentiment.rename(columns{sentiment_score: daily_sentiment}, inplaceTrue) # 确保日期是连续的对于没有新闻的日期用前向填充或置0 all_dates pd.date_range(startdaily_sentiment[date].min(), enddaily_sentiment[date].max(), freqD) daily_sentiment_full pd.DataFrame({date: all_dates}) daily_sentiment_full daily_sentiment_full.merge(daily_sentiment, ondate, howleft) daily_sentiment_full[daily_sentiment].fillna(methodffill, inplaceTrue) # 用前一天的填充 daily_sentiment_full[daily_sentiment].fillna(0, inplaceTrue) # 如果最开始几天没有填0 return daily_sentiment_full # 使用示例 # daily_sentiment_df aggregate_daily_sentiment(df_with_sentiment)现在我们得到了一个干净的情感分数时间序列daily_sentiment_df它和股价数据一样按日排列。3. 第二步准备LSTM模型的特征与数据现在我们有了两部分数据传统的股价序列和新鲜出炉的情感序列。下一步就是把它们“揉”在一起做成LSTM模型爱吃的样子。3.1 获取与处理股价数据假设我们从某数据源获取了股价数据。# 假设的股价数据应有日期、收盘价、成交量等 # stock_df pd.read_csv(stock_price.csv) # stock_df[date] pd.to_datetime(stock_df[date]) # 这里我们模拟生成一些数据用于演示 def generate_sample_stock_data(start_date2023-01-01, periods200): 生成模拟股价数据 dates pd.date_range(startstart_date, periodsperiods, freqD) np.random.seed(42) # 模拟一个带有趋势和波动的股价序列 base_price 100 trend np.linspace(0, 20, periods) noise np.random.randn(periods) * 5 close_prices base_price trend noise volumes np.random.randint(1000000, 5000000, sizeperiods) stock_df pd.DataFrame({ date: dates, close: close_prices, volume: volumes }) # 计算简单收益率作为预测目标 stock_df[return] stock_df[close].pct_change() return stock_df stock_df generate_sample_stock_data() print(stock_df.head())3.2 特征工程与融合这是关键一步将股价特征和情感特征对齐、合并并构造出LSTM需要的“滑动窗口”样本。def prepare_lstm_features(stock_df, sentiment_df, target_colreturn, seq_length10): 准备LSTM的输入特征和标签。 stock_df: 股价DataFrame含日期、收盘价、成交量、收益率等 sentiment_df: 情感分数DataFrame含日期和daily_sentiment seq_length: 用过去多少天的数据预测未来时间窗口长度 # 1. 按日期合并股价和情感数据 merged_df pd.merge(stock_df, sentiment_df, ondate, howinner) # 2. 选择特征列 # 传统技术指标特征这里简单举例实际可加入更多 feature_cols [close, volume, return] # 股价相关特征 # 加入情感特征 feature_cols.append(daily_sentiment) # 确保数据按日期排序 merged_df merged_df.sort_values(date).reset_index(dropTrue) feature_data merged_df[feature_cols].values # 3. 标准化/归一化 (非常重要) from sklearn.preprocessing import StandardScaler scaler StandardScaler() feature_data_scaled scaler.fit_transform(feature_data) # 4. 构造滑动窗口样本 (X) 和 对应的标签 (y) # 我们用过去seq_length天的所有特征来预测下一天的target_col例如收益率 X, y, dates [], [], [] for i in range(seq_length, len(feature_data_scaled)): X.append(feature_data_scaled[i-seq_length:i]) # 窗口特征 y.append(feature_data_scaled[i, feature_cols.index(target_col)]) # 下一天的收益率 dates.append(merged_df.iloc[i][date]) # 对应日期 X np.array(X) y np.array(y) # 5. 划分训练集和测试集 (按时间顺序不能随机打乱) split_ratio 0.8 split_idx int(len(X) * split_ratio) X_train, X_test X[:split_idx], X[split_idx:] y_train, y_test y[:split_idx], y[split_idx:] dates_train, dates_test dates[:split_idx], dates[split_idx:] print(f样本总数: {len(X)}) print(f训练集形状: X_train {X_train.shape}, y_train {y_train.shape}) print(f测试集形状: X_test {X_test.shape}, y_test {y_test.shape}) return X_train, X_test, y_train, y_test, scaler, feature_cols, dates_test # 生成模拟情感数据并与股价合并 sentiment_dates pd.date_range(start2023-01-01, periods200, freqD) np.random.seed(123) # 模拟情感分数与股价有一定相关性但非完全一致 simulated_sentiment np.random.randn(200) * 0.3 stock_df[return].shift(1).fillna(0).values * 0.5 sentiment_df pd.DataFrame({date: sentiment_dates, daily_sentiment: simulated_sentiment}) # 准备LSTM数据 seq_len 15 X_train, X_test, y_train, y_test, scaler, feature_cols, dates_test prepare_lstm_features( stock_df, sentiment_df, target_colreturn, seq_lengthseq_len )代码里的prepare_lstm_features函数完成了所有脏活累活合并数据、特征缩放、创建滑动窗口样本、并按时间顺序划分数据集。注意seq_length15意味着模型会看过去15天的所有信息包括股价和情感来预测第16天的收益率。4. 第三步构建与训练结合情感的LSTM模型数据准备好了我们来搭建模型。这里会构建两个LSTM模型进行对比一个只用传统股价特征另一个加入情感特征。这样我们能直观看到情感特征带来的提升。import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout, Input from tensorflow.keras.callbacks import EarlyStopping import matplotlib.pyplot as plt def build_lstm_model(input_shape, with_sentimentTrue): 构建LSTM模型。 input_shape: (序列长度, 特征数量) model Sequential() model.add(Input(shapeinput_shape)) model.add(LSTM(units50, return_sequencesTrue)) # 第一层LSTM model.add(Dropout(0.2)) model.add(LSTM(units30, return_sequencesFalse)) # 第二层LSTM model.add(Dropout(0.2)) model.add(Dense(units1)) # 输出层预测一个值收益率 model.compile(optimizeradam, lossmean_squared_error, metrics[mae]) model_name LSTM_with_Sentiment if with_sentiment else LSTM_Baseline print(f{model_name} 模型结构概要:) model.summary() return model # 为了公平对比我们需要准备一份不含情感特征的基线数据 # 从特征列表中移除情感特征 baseline_feature_idx [i for i, col in enumerate(feature_cols) if col ! daily_sentiment] X_train_baseline X_train[:, :, baseline_feature_idx] X_test_baseline X_test[:, :, baseline_feature_idx] print(全特征数据形状含情感:, X_train.shape) print(基线数据形状不含情感:, X_train_baseline.shape) # 构建并训练两个模型 print(\n--- 训练结合情感的LSTM模型 ---) model_with_sentiment build_lstm_model((seq_len, X_train.shape[2]), with_sentimentTrue) early_stop EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue) history_with model_with_sentiment.fit( X_train, y_train, validation_split0.2, epochs50, batch_size32, callbacks[early_stop], verbose1 ) print(\n--- 训练基线LSTM模型仅股价特征 ---) model_baseline build_lstm_model((seq_len, X_train_baseline.shape[2]), with_sentimentFalse) history_baseline model_baseline.fit( X_train_baseline, y_train, validation_split0.2, epochs50, batch_size32, callbacks[early_stop], verbose1 )4.1 模型预测与效果对比训练完成后我们在测试集上看看两个模型的表现。# 在测试集上进行预测 y_pred_with_sentiment model_with_sentiment.predict(X_test).flatten() y_pred_baseline model_baseline.predict(X_test_baseline).flatten() # 计算评估指标 from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score def evaluate_predictions(y_true, y_pred, model_name): mse mean_squared_error(y_true, y_pred) mae mean_absolute_error(y_true, y_pred) r2 r2_score(y_true, y_pred) print(f{model_name} 评估结果:) print(f 均方误差 (MSE): {mse:.6f}) print(f 平均绝对误差 (MAE): {mae:.6f}) print(f 决定系数 (R²): {r2:.4f}) return mse, mae, r2 print(\n *50) mse_with, mae_with, r2_with evaluate_predictions(y_test, y_pred_with_sentiment, 结合情感的LSTM) mse_base, mae_base, r2_base evaluate_predictions(y_test, y_pred_baseline, 基线LSTM) # 可视化对比 plt.figure(figsize(14, 6)) # 绘制预测值与真实值对比 plt.subplot(1, 2, 1) plt.plot(dates_test, y_test, label真实值, alpha0.7, linewidth2) plt.plot(dates_test, y_pred_baseline, label基线LSTM预测, linestyle--) plt.plot(dates_test, y_pred_with_sentiment, label结合情感LSTM预测, linestyle--) plt.xlabel(日期) plt.ylabel(标准化收益率) plt.title(股价收益率预测对比) plt.legend() plt.grid(True, alpha0.3) plt.xticks(rotation45) # 绘制误差对比柱状图 plt.subplot(1, 2, 2) metrics [MSE, MAE, R²] values_with [mse_with, mae_with, r2_with] values_base [mse_base, mae_base, r2_base] x np.arange(len(metrics)) width 0.35 plt.bar(x - width/2, values_base, width, label基线LSTM, alpha0.8) plt.bar(x width/2, values_with, width, label结合情感LSTM, alpha0.8) plt.xlabel(评估指标) plt.ylabel(值) plt.title(模型性能指标对比) plt.xticks(x, metrics) plt.legend() plt.grid(True, axisy, alpha0.3) plt.tight_layout() plt.show()运行这段代码你会得到两张图。第一张是预测走势与真实值的对比可以直观看到哪个模型的预测线更贴近真实线。第二张是三个关键指标MSE、MAE、R²的柱状图对比通常你会发现结合了情感特征的模型在误差指标上更小R²更高说明其预测能力更强。5. 实际应用中的要点与扩展建议走通了整个流程你可能已经跃跃欲试想应用到自己的数据上了。别急在实际操作前有几个坑点和优化方向值得你关注。1. 文本数据质量与时效性是根本模型效果的上限很大程度上取决于你喂给墨语灵犀的文本质量。爬取的新闻要干净避免无关噪音。更重要的是情感数据的日期必须和股价数据严格对齐。用今天收盘后的新闻预测明天的股价是合理的但如果用今天早上的新闻预测今天收盘价就存在“未来信息泄露”的问题模型会虚假地表现很好。2. 情感分析的提示词需要调优我们示例中的提示词比较简单直接。在实际应用中你可能需要针对金融文本进行优化。比如可以要求模型区分“对公司本身的情绪”和“对宏观经济的情绪”甚至可以尝试让模型输出多个维度的分数如情绪强度、确定性等作为更丰富的特征。3. 特征工程可以更精细除了简单的情感均值还可以构造更复杂的文本衍生特征。例如情感波动率计算一段时间内情感分数的标准差市场情绪不稳定时可能预示波动加大。情感动量当前情感分数与N天前分数的差值。主题关键词计数结合简单的关键词匹配统计特定主题如“加息”、“财报”、“并购”出现的频率作为特征。4. 模型层面的改进多任务学习可以让模型同时预测股价方向和情感分数共享底层特征表示可能互相促进。注意力机制在LSTM基础上加入注意力层让模型学会在预测时更关注历史中那些情绪波动剧烈的日子。更复杂的架构对于非常高频的数据如分钟级可以考虑用CNN先提取文本的局部特征再用LSTM处理时间序列。5. 谨慎评估与回测金融预测充满挑战。一定要在足够长的历史数据上进行严格的回测并考虑交易成本。模型在测试集表现好不代表实盘就能赚钱。建议先用小资金模拟运行一段时间。6. 写在最后把墨语灵犀的语义理解能力和LSTM的时间序列建模能力结合起来确实为预测问题打开了一扇新窗。它不再是单纯地看数字曲线而是尝试去“理解”市场正在讨论什么、情绪如何。从我们的对比实验来看引入情感特征在多数情况下能带来可观的预测精度提升。当然这套方案不是银弹。文本数据的获取、清洗、情感分析的准确性都是需要持续投入和优化的环节。而且市场是复杂的情绪只是众多影响因素之一。如果你正在研究股价预测、商品需求预测、甚至网络流量预测而你的领域恰好有丰富的相关文本数据如社交媒体讨论、新闻报告、用户评论那么尝试引入类似墨语灵犀这样的语义分析工具很可能是一个值得探索的方向。不妨从我们提供的这个代码框架开始替换上你自己的数据看看效果如何。或许下一个预测精度的突破点就藏在你尚未利用的文本信息里。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。