https://www.chenk.top/zh/tags/acceleration/Recent content in Acceleration on Chen Kai BlogHugozh-CNTue, 20 Sep 2022 09:00:00 +0000https://www.chenk.top/zh/optimization-theory/05-acceleration-beyond-nesterov/Tue, 20 Sep 2022 09:00:00 +0000https://www.chenk.top/zh/optimization-theory/05-acceleration-beyond-nesterov/<p><a href="../02-smoothness-strong-convexity-nesterov/">文章 02</a> 介绍了 Nesterov 加速，并展示了它将每次迭代的复杂度从 <span class="math-inline">$\kappa$</span> 改进到 <span class="math-inline">$\sqrt{\kappa}$</span> 。本文探讨更深层次的问题：</p> <ul> <li><strong>为什么是 <span class="math-inline">$\sqrt{\kappa}$</span> 而不是更快？</strong> 我们证明了一个匹配的下界——没有任何一阶方法能做得更好。</li> <li><strong>Nesterov 是唯一的方式吗？</strong> Polyak 的 Heavy-Ball 方法通过完全不同的更新规则达到了相同的速率。</li> <li><strong>我们能加速任意求解器吗？</strong> Catalyst 框架通过包装一个黑盒优化器来获得加速速率，代价是求解一个正则化的子问题。</li> </ul> <p>统一的工具是一个 <strong>Lyapunov 势函数（Lyapunov potential）</strong> —— 一种非负量，算法在每一步都会使其减小。Nesterov 和 Heavy-Ball 都有 Lyapunov 证明，而下界本质上说明了 Lyapunov 减小的速度不可能更快。</p>