Convex Analysis on Chen Kai Blog

优化理论（九）：内点法与自和谐障碍函数

Mon, 26 Sep 2022 09:00:00 +0000

1984 年，Karmarkar 证明了线性规划（LP）不仅在理论上（椭球法早已在纸面上实现这一点），更在实际中可于多项式时间内求解。他的内点法始终停留在可行多面体内部，并以 $$O(n L)$$ 次迭代收敛，远优于单纯形法的指数级最坏时间复杂度。短短十年之内，Nesterov 与 Nemirovski 利用自和谐障碍函数（self-concordant barrier）框架，将该思想推广至所有凸规划问题。其标志性成果——对 $$n$$ 维问题仅需 $O(\sqrt{n} \log(1/\epsilon))$ 次牛顿迭代——至今仍是中等规模凸优化的黄金标准。

优化理论（八）：Lagrangian 对偶与 KKT 条件

Sat, 24 Sep 2022 09:00:00 +0000

约束优化中最具深远意义的思想是：约束具有价格。拉格朗日函数通过为每个不等式约束赋予一个非负乘子、为每个等式约束赋予一个自由（无符号限制）乘子，将带约束的问题转化为无约束问题。由此得到的无约束问题可能更易求解（如支持向量机 SVM 的对偶问题），也可能提供一个可验证的下界（如线性规划 LP 对偶性用于整数规划的可行性认证）。

优化理论（六）：复合优化与近端方法

Wed, 21 Sep 2022 09:00:00 +0000

当目标函数包含不可导项（如稀疏正则、TV 正则或约束集的指示函数），又或者约束难以直接处理时，“直接上梯度下降”往往会卡住——要么在不可导点处没有梯度可用，要么每一步都破坏可行性。近端算子（proximal operator） 提供了一种精巧而优美的解决方案：把每次更新理解为“先对光滑部分走一步，再通过一个带二次惩罚的小规模优化，将当前点拉回具有特定结构的解空间”。

优化理论（二）：光滑性、强凸性与 Nesterov 加速

Thu, 15 Sep 2022 09:00:00 +0000

大量关于优化器的“民间智慧”其实可以归结为三个核心概念：

梯度有多陡？ Lipschitz 光滑性（ $$L$$ -smoothness）限制了步长上限。
底部有多尖锐？ $\mu$ -强凸性决定了收敛速率，并保证最小值点唯一。
能否在不牺牲稳定性的情况下更快到达？ Nesterov 加速和自适应重启将每条件数的代价从 $\kappa$ 降至 $\sqrt{\kappa}$ 。

本文将这三个概念串成一条主线：用最少的不等式建立几何直觉，证明关键定理，最后通过一个最小二乘实验，让 GD、Heavy Ball 和 Nesterov 正面交锋。目标不是堆砌公式——而是让你面对新问题时，能立刻回答：“该用多大步长？收敛速率是多少？加速是否值得？”

优化理论（一）：凸分析基础

Wed, 14 Sep 2022 09:00:00 +0000

本文是本系列其余所有内容的基石。我们后续将证明的几乎所有结论——梯度下降法的收敛速率、拉格朗日对偶性、近端算子（proximal operator），乃至随机优化方法的分析——都依赖于关于凸集与凸函数的一小套基本事实。本文从零开始，逐一推导全部结论。