PDE on Chen Kai Blog

辛几何与结构保持神经网络：让模型学会守恒

Mon, 28 Jul 2025 09:00:00 +0000

随手训练一个普通的 MLP 来拟合一维谐振子的运动——尽管验证集上的误差很小，前十步看起来也正确，但继续预测一千步后，轨道不再闭合，能量缓慢漂移，原本应周期运动的系统变成了一条慢慢张开的螺旋。网络学到了“数据点之间的插值”，却没有学到“物理”。结构保持网络（structure-preserving NN）的做法是把守恒律——能量守恒、辛 2-形式、欧拉-拉格朗日方程——直接编码进架构里，使得模型从数学结构上就不可能违反这些约束，无论积分多长时间。

偏微分方程与机器学习（八）：反应扩散系统与 GNN

Wed, 14 Aug 2024 09:00:00 +0000

深层 GNN 大家都见过它崩——堆到十几层之后所有节点的 embedding 几乎一样，模型“糊掉”了。这个现象有个名字叫 over-smoothing，背后的数学原因其实非常干净：GNN 的消息传递本质上就是图上的扩散方程，扩散到最后所有节点都收敛到同一个常数。

偏微分方程与机器学习（七）：扩散模型与 Score Matching

Tue, 30 Jul 2024 09:00:00 +0000

扩散模型的输出端我们很熟悉：一张高质量图片。但训练目标乍看之下却很反直觉——先把数据加噪声加到完全是高斯，再学怎么一步步去噪。为什么这个绕远路的策略反而比直接学数据分布有效？

偏微分方程与机器学习（六）：连续归一化流与 Neural ODE

Mon, 15 Jul 2024 09:00:00 +0000

怎么把一团各向同性的高斯噪声“吹”成一张猫的照片？

归一化流给的答案很直接：用一系列可逆变换，一步步把简单分布推到复杂分布。这一篇要讲的连续归一化流（CNF）把“一系列变换”推到极限——让步长趋于零，离散变换链就变成一个 ODE，可逆性自动满足，密度变化由瞬时换元公式控制。

偏微分方程与机器学习（五）：辛几何与保结构网络

Sun, 30 Jun 2024 09:00:00 +0000

钟摆能摆很久而不慢慢停下来——能量守恒。地球绕太阳转十亿年也不会突然飞走——角动量守恒。这种“某个量恒定不变”的性质背后，藏着一种叫辛结构的几何。

偏微分方程与机器学习（四）：变分推断与 Fokker-Planck 方程

Sat, 15 Jun 2024 09:00:00 +0000

为什么变分推断（一个看起来纯优化的方法）和 Langevin MCMC（一个看起来纯采样的方法）最后会汇到同一个偏微分方程？

这一篇我想讲的就是这件事。它们在连续时间下其实是同一个 Fokker-Planck PDE 的两面：一边是密度的演化，一边是 KL 散度沿 Wasserstein 几何的梯度流。看清这一点之后，许多看起来不相关的工具——SVGD 的粒子算法、对数 Sobolev 不等式给出的指数收敛、贝叶斯神经网络的训练——会突然落到同一张图上。

偏微分方程与机器学习（三）：变分原理与优化

Fri, 31 May 2024 09:00:00 +0000

训练神经网络的本质是什么？当我们在高维参数空间中运行梯度下降时，背后是否存在某种更深刻的连续时间动力学？当网络宽度趋于无穷时，离散的参数更新是否会收敛到某个优雅的偏微分方程？这些问题的答案，正位于变分法、最优传输与 PDE 理论的交汇处。

偏微分方程与机器学习（二）：神经算子理论

Thu, 16 May 2024 09:00:00 +0000

经典 PDE 求解器，如有限差分、有限元、谱方法，本质上是函数——输入初始条件和参数，输出解；PINN 本质上也是面向单实例的函数：一旦初始条件改变（例如机翼来流速度变化或预报中传感器读数微小偏移），就需要重新训练。

偏微分方程与机器学习（一）：物理信息神经网络

Wed, 01 May 2024 09:00:00 +0000

本系列第一章 · 阅读约 35 分钟。 这章是整个系列的地基。后面七章讲神经算子、变分原理和 Score Matching，其实都在探讨同一个问题：如何将物理或数学约束编码进神经网络的优化目标？搞定了 PINN，后续章节只是更换不同的约束。

泛函分析（十二）：泛函分析在行动 —— 偏微分方程和量子力学

Sat, 23 Oct 2021 09:00:00 +0000

工具箱兑现#

我开始写这个系列时给自己定了一条规矩：每一篇的抽象都必须最终回到一个具体的应用问题。十一篇下来这条线一直绷着——度量空间是为了讨论函数空间的距离，赋范空间为了引入算子范数，Hilbert 空间为了恢复几何，对偶为了 Hahn-Banach，弱拓扑为了变分紧性，三大定理为了刚性结果，紧算子为了谱分解，谱定理为了量子可观测量，半群为了演化方程，分布与 Sobolev 空间为了弱解。每一步都是因为某个具体问题需要它才被引入。这一篇就是兑现的时候。

泛函分析（十）：算子半群 — 无限维空间中的演化方程

Tue, 19 Oct 2021 09:00:00 +0000

把 $$u' = Au$$ 搬到无穷维#

我第一次试图把热方程 $\partial_t u = \Delta u$ 写成“无穷维 ODE”时被一个具体障碍卡住：标量 ODE $$u' = au$$ 的解 $u(t) = e^{at}u_0$ 我从大学一年级就会写，矩阵 ODE $$u' = Au$$ 用矩阵指数 $e^{tA} = \sum_n (tA)^n/n!$ 也不难——那为什么 $u' = \Delta u$ 的解不能直接写成 $e^{t\Delta}u_0$ ？尝试展开 $\sum_n (t\Delta)^n / n!$ ，每一项都是更高阶的微分算子，作用在初始条件上得到无穷阶导数——级数对一般 $$L^2$$ 函数完全发散。矩阵指数那一招在无穷维直接失效。