本文假设读者对凸优化有基本了解，主要归纳一些基础算法，以便查阅。
其中，f，g，h都是凸函数，g是光滑项，h是非光滑项。
Gradient Descent
Proximal Gradient
Conjugate Gradient
是介于最速下降法和牛顿法之间的一个方法，它仅需要利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hession并求逆的缺点。它是解决大型线性方程组最有用的方法之一，也是解决大型非线性最优化最有效的算法之一。
Newton
见牛顿法与拟牛顿法（DFP BFGS LBFGS VLBFGS）