Pde-Ml on Chen Kai Blog

偏微分方程与机器学习（八）：反应扩散系统与 GNN

Wed, 14 Aug 2024 09:00:00 +0000

深层 GNN 大家都见过它崩——堆到十几层之后所有节点的 embedding 几乎一样，模型“糊掉”了。这个现象有个名字叫 over-smoothing，背后的数学原因其实非常干净：GNN 的消息传递本质上就是图上的扩散方程，扩散到最后所有节点都收敛到同一个常数。

偏微分方程与机器学习（七）：扩散模型与 Score Matching

Tue, 30 Jul 2024 09:00:00 +0000

扩散模型的输出端我们很熟悉：一张高质量图片。但训练目标乍看之下却很反直觉——先把数据加噪声加到完全是高斯，再学怎么一步步去噪。为什么这个绕远路的策略反而比直接学数据分布有效？

偏微分方程与机器学习（六）：连续归一化流与 Neural ODE

Mon, 15 Jul 2024 09:00:00 +0000

怎么把一团各向同性的高斯噪声“吹”成一张猫的照片？

归一化流给的答案很直接：用一系列可逆变换，一步步把简单分布推到复杂分布。这一篇要讲的连续归一化流（CNF）把“一系列变换”推到极限——让步长趋于零，离散变换链就变成一个 ODE，可逆性自动满足，密度变化由瞬时换元公式控制。

偏微分方程与机器学习（五）：辛几何与保结构网络

Sun, 30 Jun 2024 09:00:00 +0000

钟摆能摆很久而不慢慢停下来——能量守恒。地球绕太阳转十亿年也不会突然飞走——角动量守恒。这种“某个量恒定不变”的性质背后，藏着一种叫辛结构的几何。

偏微分方程与机器学习（四）：变分推断与 Fokker-Planck 方程

Sat, 15 Jun 2024 09:00:00 +0000

为什么变分推断（一个看起来纯优化的方法）和 Langevin MCMC（一个看起来纯采样的方法）最后会汇到同一个偏微分方程？

这一篇我想讲的就是这件事。它们在连续时间下其实是同一个 Fokker-Planck PDE 的两面：一边是密度的演化，一边是 KL 散度沿 Wasserstein 几何的梯度流。看清这一点之后，许多看起来不相关的工具——SVGD 的粒子算法、对数 Sobolev 不等式给出的指数收敛、贝叶斯神经网络的训练——会突然落到同一张图上。

偏微分方程与机器学习（三）：变分原理与优化

Fri, 31 May 2024 09:00:00 +0000

训练神经网络的本质是什么？当我们在高维参数空间中运行梯度下降时，背后是否存在某种更深刻的连续时间动力学？当网络宽度趋于无穷时，离散的参数更新是否会收敛到某个优雅的偏微分方程？这些问题的答案，正位于变分法、最优传输与 PDE 理论的交汇处。

偏微分方程与机器学习（二）：神经算子理论

Thu, 16 May 2024 09:00:00 +0000

经典 PDE 求解器，如有限差分、有限元、谱方法，本质上是函数——输入初始条件和参数，输出解；PINN 本质上也是面向单实例的函数：一旦初始条件改变（例如机翼来流速度变化或预报中传感器读数微小偏移），就需要重新训练。

偏微分方程与机器学习（一）：物理信息神经网络

Wed, 01 May 2024 09:00:00 +0000

本系列第一章 · 阅读约 35 分钟。 这章是整个系列的地基。后面七章讲神经算子、变分原理和 Score Matching，其实都在探讨同一个问题：如何将物理或数学约束编码进神经网络的优化目标？搞定了 PINN，后续章节只是更换不同的约束。