凸优化的一些基础算法

2014年11月10日

本文假设读者对凸优化有基本了解,主要归纳一些基础算法,以便查阅。

其中,f,g,h都是凸函数,g是光滑项,h是非光滑项。

Gradient Descent

Proximal Gradient

Conjugate Gradient

是介于最速下降法和牛顿法之间的一个方法,它仅需要利用一阶导数信息,但克服了最速下降法收敛慢的缺点,又避免了牛顿法需要存储和计算Hession并求逆的缺点。它是解决大型线性方程组最有用的方法之一,也是解决大型非线性最优化最有效的算法之一。

Newton

牛顿法与拟牛顿法(DFP BFGS LBFGS VLBFGS)

Quasi Newton

牛顿法与拟牛顿法(DFP BFGS LBFGS VLBFGS)