https://www.chenk.top/zh/tags/deep-learning-theory/Recent content in Deep Learning Theory on Chen Kai BlogHugozh-CNThu, 29 Sep 2022 09:00:00 +0000https://www.chenk.top/zh/optimization-theory/11-nonconvex-saddle-escape/Thu, 29 Sep 2022 09:00:00 +0000https://www.chenk.top/zh/optimization-theory/11-nonconvex-saddle-escape/<p>对于非凸函数 <span class="math-inline">$f$</span> ，梯度下降法（GD）没有全局收敛保证。我们最多只能说 <span class="math-inline">$\nabla f(x_t) \to 0$</span> ——即算法会收敛到一个<strong>平稳点（stationary point）</strong>，而该点可能是局部极小值、鞍点，甚至是局部极大值。本文要探讨的问题是：<strong>在什么条件下，我们能得出更强的结论？</strong></p>