【优化算法】梯度优化算法：一种新的原启发式优化算法算法

---

1.摘要

本文提出了一种新型的元启发式优化算法——梯度优化器（Gradient-based Optimizer, GBO）。GBO算法灵感来源于牛顿法，采用两个主要操作：梯度搜索规则（Gradient Search Rule, GSR）和局部逃逸操作算子（Local Escaping Operator, LEO），通过一组向量来探索搜索空间。GSR利用基于梯度的方法增强探索倾向并加速收敛速度，以实现更优的搜索空间定位，LEO则帮助GBO逃离局部最优解。

2.算法原理

梯度搜索规则（GSR）

在梯度搜索规则（GSR）中，GBO算法通过控制向量的移动，可以在可行域内更有效地搜索并寻找到更优的位置。考虑到许多优化问题不可微分，因此采用数值梯度方法。为了根据方程推导GSR，需要使用泰勒级数来计算函数的一阶导数：
$$\begin{array}{c}f(x+\Delta x)=0f(x)+f^{{}^{\prime }}(x_0)\Delta x+\frac{f^{{}^{\prime \prime }}(x_0)\Delta x^2}{2!}+\frac{f^{{}^{(3)}}(x_0)\Delta x^3}{3!}+\cdots \\ f(x-\Delta x)=f(x)-f^{{}^{\prime }}(x_0)\Delta x+\frac{f^{{}^{\prime \prime }}(x_0)\Delta x^2}{2!}-\frac{f^{{}^{(3)}}(x_0)\Delta x^3}{3!}+\cdots \end{array}$$
一阶导数的中心差分形式：
$$f^{{}^{\prime }}(x)=\frac{f(x+\Delta x)-f(x-\Delta x)}{2\Delta x}$$
整理为迭代形式：
$$x_{n+1}=x_n-\frac{2\Delta x\times f(x_n)}{f(x_n+\Delta x)-f(x_n-\Delta x)}$$

$x_n$的邻近位置是$x_n+\Delta x$和$x_n-\Delta x$，在GBO算法中，这些邻近位置被种群中的另外两个位置(向量)所替代。由于$f(x)$是一个最小化问题，位置$x_n+\Delta x$的适应度比$x_n$差，而$x_n-\Delta x$比$x_n$好。因此，GBO算法用更好的位置$x_{best}$,即$x_n$邻域内的位置， 替换$x_n-\Delta x$，用较差的位置$x_{worst}$代替$x_n$邻域内的较差位置，替换$x_n+\Delta x$。此外，提出的算法使用位置$x_n$而非其适应度$f(x_n)$:
$$GSR=randn\times \frac{2\Delta x\times x_n}{(x_{\mathrm{worst}}-x_{best}+\epsilon )}$$

在提出的GBO算法中，梯度搜索规则（GSR）考虑了优化过程中的随机行为，以促进探索和逃离局部最优：
$$\begin{array}{rl}& \Delta x=rand(1:N)\times |step|\\ & step=\frac{(x_{best}-x_{r1}^m)+\delta }{2}\\ & \delta =2\times rand\times \left(\left|\frac{x_{r1}^m+x_{r2}^m+x_{r3}^m+x_{r4}^m}{4}-x_n^m\right|\right)\end{array}$$

为了更有效地利用$x_n$附近的区域，GBO算法中引入了移动方向(DM)。这一机制通过使用最佳向量$x_{best}$,并将当前向量$x_n$向$(x_{best}-x_n)$方向移动来操作。这样的设计不仅加强了局部搜索的能力，还有助于提升算法的收敛速度，从而使GBO算法在寻找最优解的讨程中更加高效：
$$DM=rand\times {\rho }_2\times (x_{best}-x_n)$$

因此，位置更新为：
$$\begin{array}{rl}& X{1}_n^m=X_n^m-GSR+DM\\ & X{1}_n^m=x_n^m-randn\times {\rho }_1\times \frac{2\Delta x\times x_n^m}{(x_{\mathrm{worst}}-x_{\mathrm{best}}+\epsilon )}+rand\times {\rho }_2\times (x_{\mathrm{best}}-x_n^m)\end{array}$$

局部逃逸操作算子（LEO）

为了增强GBO算法解决复杂问题的效率，引入了局部逃逸操作算子(LEO)。LEO通过整合多个解决方案来显著改变解的位置，这些方案包括最佳位置$x_{best}$,两个随机解$x_{mr1}$和$x_{mr2}$,以及一个新生成的随机解$x_{mk}$：
$$x_k^m=L_2\times x_p^m+(1-L_2)\times x_{rand}$$

伪代码

3.结果展示

4.参考文献

[1] Ahmadianfar I, Bozorg-Haddad O, Chu X. Gradient-based optimizer: A new metaheuristic optimization algorithm[J]. Information Sciences, 2020, 540: 131-159.

5.获取代码