基于模拟退火算法优化BP神经网络的SA-BP时间序列预测模型及Matlab代码实现

基于模拟退火算法优化BP神经网络(SA-BP)的时间序列预测 SA-BP时间序列 matlab代码 暂无Matlab版本要求 -- 推荐 2018B 版本及以上模拟退火算法SA和BP神经网络结合来做时间序列预测这个思路其实挺有意思的。BP网络容易陷进局部最优而模拟退火偏偏擅长跳出局部坑两个凑一块儿算是互补短板了。我们先看看BP网络的基础结构。时间序列预测简单说就是用过去一段数据预测下一个点。假设我们用过去10个数据点预测第11个输入层节点数就是10输出层就是1。中间隐藏层节点数可以调一般先试个经验值。% 简单的BP网络结构初始化 inputSize 10; hiddenSize 15; outputSize 1; % 初始化权重和偏置 W1 randn(inputSize, hiddenSize) * 0.1; b1 zeros(1, hiddenSize); W2 randn(hiddenSize, outputSize) * 0.1; b2 zeros(1, outputSize);这段代码就是建个两层网络权重用随机小值初始化偏置先设零。注意这里权重乘了0.1是为了避免初始值太大导致梯度问题。但BP这么训练下去权重更新很容易卡住。这时候模拟退火就该上场了。模拟退火的核心是有时候接受一个更差的解反而可能找到更好的全局最优。把它用在BP上其实就是用SA来优化网络的权重和偏置。% 模拟退火参数设置 T_init 100; % 初始温度 T_min 1e-3; % 最低温度 alpha 0.95; % 降温系数 max_iter 500; % 迭代次数 % 初始解即初始权重 current_solution [W1(:); b1(:); W2(:); b2(:)]; current_cost compute_cost(current_solution, train_data); for iter 1:max_iter T T_init * alpha^(iter-1); if T T_min break; end % 生成新解 - 在当前位置加个小扰动 new_solution current_solution randn(size(current_solution)) * 0.1; new_cost compute_cost(new_solution, train_data); % 判断是否接受新解 delta_cost new_cost - current_cost; if delta_cost 0 || rand() exp(-delta_cost / T) current_solution new_solution; current_cost new_cost; end end这里compute_cost是计算预测误差的函数比如用均方误差。温度T随着迭代下降接受差解的概率也越来越小。开始时候温度高系统可以大胆跳来跳去温度降下来后就逐渐收敛到某个最优解附近。把SA和BP结合通常有两种做法一是用SA直接优化网络权重像上面那样二是用SA优化BP的训练参数比如学习率、动量因子这些。第一种更彻底但计算量大第二种轻量些效果也不错。实际用的时候数据预处理很重要。时间序列最好做归一化不然梯度计算会出问题。% 数据归一化到[0,1] data_min min(original_data); data_max max(original_data); normalized_data (original_data - data_min) / (data_max - data_min); % 构造输入输出对 seq_len 10; X []; Y []; for i 1:length(normalized_data)-seq_len X [X; normalized_data(i:iseq_len-1)]; Y [Y; normalized_data(iseq_len)]; end归一化后数据都在0到1之间网络训练起来稳定多了。注意预测完后还要反归一化才能得到真实值。基于模拟退火算法优化BP神经网络(SA-BP)的时间序列预测 SA-BP时间序列 matlab代码 暂无Matlab版本要求 -- 推荐 2018B 版本及以上训练过程中可以观察误差变化看看SA是不是真的帮上忙了。有时候会发现单纯BP训练误差下降一会儿就停了而SA-BP还能继续往下走这就是跳出局部最优的效果。% 训练过程记录误差 errors zeros(max_iter, 1); for iter 1:max_iter % ... SA优化过程 ... errors(iter) current_cost; % 每50轮显示一次进度 if mod(iter, 50) 0 fprintf(迭代 %d, 温度 %.4f, 误差 %.6f\n, iter, T, current_cost); end end % 画误差下降曲线 figure; plot(errors); xlabel(迭代次数); ylabel(均方误差); title(SA-BP训练误差曲线);误差曲线如果呈现前期快速下降、后期缓慢收敛的状态基本就对了。如果曲线还有大幅波动可能是温度下降太快或者扰动幅度太大需要调整参数。预测的时候用优化好的权重做前向传播就行。注意测试数据也要用同样的方式归一化。% 前向传播预测 function pred forward(net_params, X) % 从参数中恢复网络结构 W1 reshape(net_params(1:inputSize*hiddenSize), inputSize, hiddenSize); offset inputSize*hiddenSize; b1 reshape(net_params(offset1:offsethiddenSize), 1, hiddenSize); offset offset hiddenSize; W2 reshape(net_params(offset1:offsethiddenSize*outputSize), hiddenSize, outputSize); offset offset hiddenSize*outputSize; b2 reshape(net_params(offset1:end), 1, outputSize); % 隐藏层计算 hidden tanh(X * W1 b1); % 输出层计算 pred hidden * W2 b2; end这里用了tanh作为激活函数也可以换成sigmoid或ReLU看具体数据特性。最后说几个实践中的小技巧一是SA的初始温度别设太高否则前期完全随机游走浪费时间二是降温速度可以动态调整误差下降慢的时候降温慢点三是可以结合早停策略连续若干轮误差不下降就终止训练。这种SA-BP混合方法在处理有明显周期或趋势的时间序列时效果不错比如电力负荷预测、股票价格预测这些。但对于完全随机游走的数据什么算法都难有太好效果毕竟不可预测的部分就是噪声。代码实现时注意把SA和BP模块解耦这样方便单独调试。也可以尝试用SA优化网络结构比如隐藏层节点数说不定有意外收获。