[toc] 前置知识最小二乘问题定义：$min\ f(x)=\large\frac{1}{2}\normalsize\sum_{i=1}^mr_i^2(x)=\large\frac{1}{2}\normalsize r(x)^Tr(x...

[toc] 最速下降法最速下降法即下降方向是梯度的负方向，步长由精确线搜索得到 一般步骤如下： 给出$x_0,k:=0$ 若终止条件满足，迭代停止 计算$d_k=-g_k$ 精确线搜索得到$\alpha_k$ $x_{k+1}:=x...

[toc] 罚函数罚函数法定义：将约束最优化问题转化为无约束最优化问题去求解 等式约束问题对于约束问题 \large{ \begin{align} min\ & f(x)\\ s.t.\ & g_i(x) = 0 \end{ali...

[toc] 介绍因为等式约束二次规划问题的Lagrange函数是二次函数，求Lagrange函数的稳定点就是求KKT方程组，而一般等式约束的最优化问题的Lagrange函数一般事非线性函数，就需要用迭代的方法求稳定点 求解一般等式约束...

[toc] 共轭方向我们首先看一个函数$f(x)=x_1^2+x_2^2$，图像是一个圆 在$x_1,x_2$的坐标轴中，由于$x_1,x_2$是解耦合的,即是$x_1,x_2$是对正交向量，$x_1,x_2$构成了一个向量空间，也就...

[toc] 二次规划二次规划问题（Quadratic Programming，QP）一般描述为： \begin{align} min\ q(x)&=\frac{1}{2}x^TGx+h^Tx,\\ s.t.\ a_i^Tx &= b...

[TOC] 无约束优化问题——求导首先我们复习下： 给定一个目标函数$f=R^n\rightarrow R^n$,求出目标函数的最小值，记为： \large{ min f(x)\\ s.t\ x \in X }找出最小值的办法很简单...