标签
Convex Analysis
Sep 26, 2022
优化理论
20 分钟优化理论（九）：内点法与自和谐障碍函数
内点法何以成为凸规划默认求解器：以对数障碍函数替代不等式约束，参数化中心路径，并应用牛顿法；涵盖自协调性理论及著名的 $O(\sqrt{n} \log(1/\varepsilon))$ 迭代复杂度证明。
Sep 24, 2022
优化理论
22 分钟优化理论（八）：Lagrangian 对偶与 KKT 条件
约束如何转化为价格：拉格朗日函数、弱对偶性、保证强对偶性的 Slater 条件、KKT 条件作为最优性的充要条件，以及为何 SVM 的对偶问题远小于其原始问题；包含完整证明与鞍点表征。
Sep 21, 2022
优化理论
24 分钟优化理论（六）：复合优化与近端方法
系统讲解近端算子的理论与应用：凸分析基础、Moreau 包络、常见近端闭式解，以及 ISTA/FISTA、ADMM 等算法中的实际用法。
Sep 15, 2022
优化理论
20 分钟优化理论（二）：光滑性、强凸性与 Nesterov 加速
用三个核心概念理清优化直觉：Lipschitz 光滑性决定步长上限，强凸性决定收敛速度与解的唯一性，Nesterov 加速在不牺牲稳定性的前提下加速到达。含关键定理证明与最小二乘实验对比。
Sep 14, 2022
优化理论
20 分钟优化理论（一）：凸分析基础
解锁本系列后续内容的几何与分析工具包：凸集、凸函数、共轭（Fenchel）变换、次梯度，以及示性函数/支撑函数对；包含詹森不等式、投影定理及基本范数次微分的完整证明。