Optimization Theory on Chen Kai Bloghttps://www.chenk.top/zh/tags/optimization-theory/Recent content in Optimization Theory on Chen Kai BlogHugozh-CNFri, 31 May 2024 09:00:00 +0000偏微分方程与机器学习（三）：变分原理与优化https://www.chenk.top/zh/pde-ml/03-%E5%8F%98%E5%88%86%E5%8E%9F%E7%90%86%E4%B8%8E%E4%BC%98%E5%8C%96/Fri, 31 May 2024 09:00:00 +0000https://www.chenk.top/zh/pde-ml/03-%E5%8F%98%E5%88%86%E5%8E%9F%E7%90%86%E4%B8%8E%E4%BC%98%E5%8C%96/<p>训练神经网络的本质是什么？当我们在高维参数空间中运行梯度下降时，背后是否存在某种更深刻的连续时间动力学？当网络宽度趋于无穷时，离散的参数更新是否会收敛到某个优雅的偏微分方程？这些问题的答案，正位于变分法、最优传输与 PDE 理论的交汇处。</p>