https://www.chenk.top/zh/tags/fokker-planck/Recent content in Fokker-Planck on Chen Kai BlogHugozh-CNSat, 15 Jun 2024 09:00:00 +0000https://www.chenk.top/zh/pde-ml/04-%E5%8F%98%E5%88%86%E6%8E%A8%E6%96%AD%E4%B8%8Efokker-planck%E6%96%B9%E7%A8%8B/Sat, 15 Jun 2024 09:00:00 +0000https://www.chenk.top/zh/pde-ml/04-%E5%8F%98%E5%88%86%E6%8E%A8%E6%96%AD%E4%B8%8Efokker-planck%E6%96%B9%E7%A8%8B/<p>为什么变分推断（一个看起来纯优化的方法）和 Langevin MCMC（一个看起来纯采样的方法）最后会汇到同一个偏微分方程？</p> <p><figure class="article-figure"> <img src="https://blog-pic-ck.oss-cn-beijing.aliyuncs.com/posts/zh/pde-ml/04-Variational-Inference/illustration_1.png" alt="偏微分方程与机器学习（四）：变分推断与 Fokker-Planck 方程 — 章节概览图" loading="lazy" decoding="async" class="content-image"> </figure> </p> <p>这一篇我想讲的就是这件事。它们在连续时间下其实是<strong>同一个 Fokker-Planck PDE 的两面</strong>：一边是密度的演化，一边是 KL 散度沿 Wasserstein 几何的梯度流。看清这一点之后，许多看起来不相关的工具——SVGD 的粒子算法、对数 Sobolev 不等式给出的指数收敛、贝叶斯神经网络的训练——会突然落到同一张图上。</p>