52°

02(b)多元无约束优化问题

此部分内容接02(a)多元无约束优化问题的内容!

第一类:最速下降法(Steepest descent method)

\[f({{\mathbf{x}}_{k}}+\mathbf{\delta })\approx f({{\mathbf{x}}_{k}})+{{\nabla }^{T}}f({{\mathbf{x}}_{k}})\cdot \mathbf{\delta }\]

要使新找到的一点${{\mathbf{x}}_{k}}+\mathbf{\delta }$的函数值小于原来点${{\mathbf{x}}_{k}}$的函数值,即:

\[f({{\mathbf{x}}_{k}}+\mathbf{\delta })-f({{\mathbf{x}}_{k}})={{\nabla }^{T}}f({{\mathbf{x}}_{k}})\cdot \mathbf{\delta }=\left\| \nabla f({{\mathbf{x}}_{k}}) \right\|\cdot \left\| \mathbf{\delta } \right\|\cos \theta <0\]

其中$\theta $为梯度向量$\nabla f({{\mathbf{x}}_{k}})$和方向向量$\mathbf{\delta }$的夹角,由上式可见当$\theta =\pi $时$f({{\mathbf{x}}_{k}}+\mathbf{\delta })$

与$f({{\mathbf{x}}_{k}})$的差值在满足(8)式的情况下达到最大,即$\mathbf{\delta }$应取与梯度向量相反的方向$-\nabla f({{\mathbf{x}}_{k}})$。故此时使函数$f(\mathbf{x})$在点${{\mathbf{x}}_{k}}$下降速度最快的方向为:

${{d}_{k}}=-\nabla f({{\mathbf{x}}_{k}})$。

Step3:通过Step2确定下降方向${{\mathbf{d}}_{k}}$之后,$f({{\mathbf{x}}_{k}}+{{\alpha }_{k}}{{\mathbf{d}}_{k}})$可以看成${{\alpha }_{k}}$的一维函数,这一步的主要方法有(Dichotomous search, Fibonacci search, Goldensection search, quadratic interpolation method, and cubic interpolation method);所确定一个步长${{\alpha }_{k}}>0$,${{\mathbf{x}}_{k+1}}={{\mathbf{x}}_{k}}+{{\alpha }_{k}}{{\mathbf{d}}_{k}}$;

Step4: if走一步的距离$\left\| {{\alpha }_{k}}{{\mathbf{d}}_{k}} \right\|<\varepsilon $,则停止并且输出解${{\mathbf{x}}_{k+1}}$;else $k:=k+1$并返回Step2,继续迭代。

 

原文链接:https://www.cnblogs.com/duyiExplorer/p/11176886.html

全部评论: 0

    我有话说: