神经网络的Levenberg-Marquardt算法研究

神经网络的Levenberg-Marquardt算法研究摘 要：本文主要介绍LM(Levenberg-Marquardt)神经网络算法，LM算法是梯度下降法和高斯—牛顿法的结合，这种神经网络算法综合

神经网络的Levenberg-Marquardt算法研究 摘要：本文主要介绍LM(Levenberg-Marquardt)神经网络算法，LM算法是 梯度下降法和高斯—牛顿法的结合，这种神经网络算法综合了这两种方法的优点， 在一定程度上克服了基本的BP网络收敛速度慢和容易陷入局部最小点等问题。对 LM算法的计算步骤作了简要的阐述。最后介绍了LM神经网络算法再监督控制上的 应用。 关键词：神经网络；LM算法；计算步骤；监督控制 0引言 神经网络BP学习算法在理论上具有逼近任意非线性连续映射的能力，在非线 性系统的建模及控制领域里有着广泛的应用。然而BP 算法存在一些不足，主要是 收敛速度很慢；往往收敛于局部极小点；数值稳定性差，学习率、动量项系数和初 始权值等参数难以调整，非线性神经网络学习算法LM可以有效地克服BP算法所存 在的这些缺陷[1]。 LM算法是高斯—牛顿法和最速下降法的结合，具有高斯—牛顿法的局部收敛 性和梯度下降法的全局特性。它通过自适应调整阻尼因子来达到收敛特性，具有更 高的迭代收敛速度，在很多非线性优化问题中得到了稳定可靠解。在LM算法的计 算过程中，初值是一个很重要的因素。若选择的初值X0接近真值时，收敛速度很 快且能够得到全局最优解，但如果初值远离真解时，优化结果往往过早的陷入局部 最优解从而得到的结果完全背离真解。要解决该问题，一是通过得到大量的原始信 息来对真值有一个较准确的估计，但这在实际问题中往往不太可能达到；另外就是 选择一种合理的全局最优化算法与其相结合，消除LM算法对初值的依赖且具有很 快的收敛速度[2]。 1神经网络 神经网络具有高度的自学习、自组织和自适应能力，能通过学习和训练获取