无约束最优化的梯度方法

第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了 SKIPIF 1 < 0 次，获得了第 SKIPIF 1 < 0 个迭代点 SKIPIF 1 < 0 。从

第三章 无约束最优化的梯度方法 1.最速下降法 假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下 降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利 的。因此，取搜索方向。 此时有： 如将该方法应用于二次函数，则可求出的显式表达式。 2.Newton法 适用条件：如果目标函数在上具有连续的二阶偏导数，其Hesse矩 阵正定。 基本想法：考虑从到的迭代过程。 在点处用二次函数来逼近，即： 3.共轭方向法与共轭梯度法 1) 共轭方向法