[toc] 前置知识最小二乘问题定义：$min\ f(x)=\large\frac{1}{2}\normalsize\sum_{i=1}^mr_i^2(x)=\large\frac{1}{2}\normalsize r(x)^Tr(x...

[toc] 最速下降法最速下降法即下降方向是梯度的负方向，步长由精确线搜索得到 一般步骤如下： 给出$x_0,k:=0$ 若终止条件满足，迭代停止 计算$d_k=-g_k$ 精确线搜索得到$\alpha_k$ $x_{k+1}:=x...

[toc] 共轭方向我们首先看一个函数$f(x)=x_1^2+x_2^2$，图像是一个圆 在$x_1,x_2$的坐标轴中，由于$x_1,x_2$是解耦合的,即是$x_1,x_2$是对正交向量，$x_1,x_2$构成了一个向量空间，也就...