说明：本系列博客用来记录本人在学习minisam过程中的理解，方便同大家一起谈论。
1，非线性最小二乘以及和因子图的关系
(1)非线性最小二乘
非线性最小二乘优化可以表示为：
其中，$x^{*} \in \mathcal{M}$ 是需要求解项，$f_{i} \in \mathbb{R}^{n}$ 是误差函数，$\rho_{i}$ 为核函数。
考虑简单的情况，我们可以定义使$h_{i}(x) \doteq R_{i} f_{i}(x)$ 然后上式变为：
我们定义$x_0$点处，$h_i(x)$的雅克比矩阵为：
由泰勒公式展开，可以得到：
由此我们通过使用它并搜索$x_0$附近区域解决最小二乘问题，并以迭代的方法找到线性最小二乘问题的解。
其中， 。
接下来将公式改写成：
由Cholesky factorization方法来求解：
我们让 ，R是上三角矩阵。则可以分成两部来进行求解：
除了Cholesky factorization方法，还有很多其他方法可以进行求解，例如：QR，SVD等，这里就不介绍了。
(2)因子图与非线性最小二乘问题的联系
因子图是一种概率图模型，表示所有因子的联合概率分布。有：
最大似然估计可以表示为：
如果考虑每个因子符合高斯分布的情况，则：
其中，为协方差。
然后，最大似然估计为：
可以得到，最大似然估计问题可以转化成非线性最小二乘问题，以上述非线性最小二乘问题的求解步骤进行求解。
