LM算法作为非线性优化的“标准”方法，算法的数学原理有很多优秀的参考资料。我看过这些参考资料之后，觉得再重新写一遍已经是无力且多余的事情了。我简单说明一下这些参考资料，然后贴上自己的手写笔记。 参考资料： 1.《Methods for non-linear least squares problems》这本书将非线性最小二乘问题的优化方法讲了一大通，非常值得一看。因为LM算法是从Gauss-Newton方法演进来的，而Gauss-Newton方法又是从Newton方法演进过来的，所以追根溯源应该从Newton法开始看起。而比Newton法更简洁的就是最速下降法了，这本书将所有的非线性优化问题讲了个底朝天，聪明人仔细读一读不吃亏。 2.A Brief Description of the Levenberg-Marquardt Algorithm Implemened by levmar 如果说上面那本书是准备好给搞理论看的版本的话，那这篇文章一定就是准备好给工程师看的了，文章对LM算法的实现给出了很好的讲解，工程师读一下，醍醐灌顶就可以写代码了。 3.[blog]原理及C++实现：Levenberg–Marquardt算法学习 4.[blog]原理及matlab实现：Levenberg-Marquardt 5.[blog]另一篇python实现：Python 算例实现Levenberg-Marquardt算法 6.我的笔记，你可以放心略过的部分:)D

在LM算法原理中提到的参考资料提供了一些算法实现的伪代码，但是他们略有不同，主要的不同点是在公式表述以及u、v的更新比率上有小的差异。 我运行过他们的部分代码，发现优化效果也能够快速收敛，并不影响实际效果。 我按照文章A Brief Description of the Levenberg-Marquardt Algorithm Implemened by levmar中的步骤，重新写了python代码，代码实现步骤如下：

1.我随机产生了100个input_data,设定正确的参数a和b，然后按照我要拟合的公式a×np.exp(b×input_data)加上一些高斯噪声计算出了100个对应的output_data, 作为观察。 2.初始化参数a和b，使之不要与真实值太离谱 3.用LM算法对其优化拟合，画出拟合曲线和迭代误差曲线。