数学 on Chen Kai Blog

核方法（八）：深度核学习 vs 深度学习——选择指南与故障排查

Thu, 30 Dec 2021 09:00:00 +0000

2026 年了，为什么还要读核方法？Transformer 不是已经把整个 ML 栈吃掉了吗？是也不是。Transformer 吃掉了头条，核方法吃掉的是角落——只有 200 个样本的场景、必须给出校准误差棒的场景、物理学家需要知道是哪个基函数贡献了这次预测的场景。本系列的最终篇就是这份"角落工程师手册"：核方法什么时候真的能赢、出了问题怎么诊断、怎么把核挂在神经网络头顶上拿到两边的好处，以及为什么 NTK（Jacot et al., 2018）告诉我们深网在某个极限下其实就是一种核方法——两派的边界，到 2026 年比任何时候都更模糊。

核方法（七）：大规模核方法——Nystrom 近似与随机傅里叶特征

Fri, 24 Dec 2021 09:00:00 +0000

你想拿 RBF SVM 去跑一个百万规模的图像分类任务。Gram 矩阵是 $10^6 \times 10^6$ 的 double 数组，整整 8 TB。光是这一个数字——八个 TB 的内存，仅仅为了存那个核矩阵——就解释了为什么大部分在统计课上学过核方法的工程师，在真实生产环境里都默默不再碰它。核技巧用一次内积就送你一个无穷维特征空间；账单是在你有 $$n^2$$ 对数据时寄到。

核方法（六）：高斯过程——当核方法遇到贝叶斯推断

Sun, 19 Dec 2021 09:00:00 +0000

核岭回归给你一个数。喂进 $$x_*$$ ，它返回 $\hat{y}_* = 23.7$ 。完。但你接下来要用这个预测做事——安排发货、调整剂量、下注——光一个数字不够用。“明天 25 度"是一句话；“很可能 25 度，95% 的概率落在 22 到 28 之间"才是可以行动的信息。任何在不确定性下的决策都需要后一种。高斯过程是把核方法从"点预测器"升级到"分布预测器"最干净的路径，且不需要扔掉前五篇里任何一行核函数的代数。这一升级的代价仅仅是一次 Cholesky——同样的 $$O(n^3)$$ 、同样的 Gram 矩阵——却额外白送了后验协方差和边际似然两件相当昂贵的礼物。

核方法（五）：核 SVM、核 PCA 与核岭回归

Tue, 14 Dec 2021 09:00:00 +0000

你的特征只有二维，数据明明是一个圆环套一个圆环，而 LinearSVC 在 50% 准确率上瞪着你——一副"我真心觉得直线就是答案"的天真神情。你盯着散点图，又盯着模型，脑子后台终于冒出"核 SVM"三个字。改成 kernel='rbf'，准确率瞬间跳到 0.98，整个下午你都在琢磨：刚才那一手到底是什么魔法？为什么同样的招数还能让核 PCA 把瑞士卷展平，让核岭回归三行代码拟合一个正弦波？

核方法（四）：常见核函数族——RBF、Matern、多项式、周期与更多

Thu, 09 Dec 2021 09:00:00 +0000

你第一次在 sklearn 里写 SVC(kernel='rbf')，gamma 设了多少？'scale'？'auto'？滚动过那个默认值时你压根没看一眼。三个月后模型严重过拟合，Gram 矩阵看着像单位阵，你也不知道是哪个旋钮拧错了。大多数"核调参"的债，其实是选核的债——你为了错误的理由选了默认的核，再多 grid search 也救不回来。

核方法（三）：RKHS——核方法的理论灵魂

Sat, 04 Dec 2021 09:00:00 +0000

如果你曾在某节课上听到老师写下 “RKHS” 三个字母就感觉血压升高，那这篇文章是写给你的。RKHS 不是一个由三个吓人字母组成的秘密俱乐部——它就是一个函数空间。一旦你看清楚里面装的是什么东西，核方法就不再是魔法，而是你已经熟悉的那种线性代数。

核方法（二）：数学基础——正定核与 Mercer 定理

Mon, 29 Nov 2021 09:00:00 +0000

写核 SVM 的第一周，我自信地造了一个相似度函数 tanh(1.5 * x.dot(y) - 2.0)：对称、有界、看起来一切都很正常。然后 sklearn 给我吐了一句 ValueError: kernel matrix is not positive semidefinite，模型效果比瞎猜还差。

核方法（一）：为什么需要它——从线性算法的天花板说起

Wed, 24 Nov 2021 09:00:00 +0000

我第一次想把逻辑回归扔到一对交错的螺旋数据上时，整整一个下午都在折腾正则化系数、换求解器、归一化输入——一直觉得是哪里写错了。准确率始终徘徊在 50% 上下，跟掷硬币没区别。换句话说，模型什么都没学到。

微分几何（十一）：黎曼几何中的曲率 —— 黎曼、里奇和标量

Sun, 21 Nov 2021 09:00:00 +0000

上一章在球面上做了一个简单的实验：从北极点出发，把一个切向量沿着一条闭合的三角形回路平行移动一圈，结果回到北极时，向量转了一个角度。在 $\mathbb{R}^n$ 上做同样的实验，向量回来还是原来的方向，没转过任何角度。

微分几何（九）：流形上的积分与斯托克斯定理

Wed, 17 Nov 2021 09:00:00 +0000

大学一年级数学课的最后一次作业里有这么一道题：证明一维微积分基本定理 $\int_a^b f'(x)\,dx = f(b) - f(a)$ 。当时我觉得这个公式平淡无奇——左边是导数的积分，右边是函数在端点的差，证明也不过是对 $$f$$ 用一次中值定理。

微分几何（八）：微分形式 —— 流形上积分的自然语言

Mon, 15 Nov 2021 09:00:00 +0000

本科电磁学课上有三个让我背得很熟但一直觉得很奇怪的恒等式： $\nabla\times\nabla f = 0$ ， $\nabla\cdot(\nabla\times F) = 0$ ， $\oint_C F\cdot dr = \iint_S (\nabla\times F)\cdot dS$ （经典 Stokes 定理）。还有散度定理、Green 定理，每一个都是分别证明的，要记一长串公式。当时一个朴素的疑问是：这些恒等式凭什么都长得这么"恰好"？三个不同的"基本定理"凭什么都把"边界上的积分"和"内部的导数"连起来？

微分几何（七）：向量场、流和李括号

Sat, 13 Nov 2021 09:00:00 +0000

看看天气预报地图上的风场图——每个城市上面画一个小箭头，箭头方向是风向，长度是风速。这是一张典型的向量场图。它告诉你：地球表面上每一点都有一个切向量（风速向量）；这些向量在空间上连续地变化。

微分几何（六）：光滑流形 —— 超越嵌入曲面的几何

Thu, 11 Nov 2021 09:00:00 +0000

广义相对论说，宇宙是一个四维时空，物质的存在让时空弯曲，物体的运动其实是沿着弯曲时空的"直线"——测地线。这个图像很美，但我第一次听说时有一个简单的问题没人回答：

微分几何（四）：内蕴几何 —— 惊人定理与测地线

Sun, 07 Nov 2021 09:00:00 +0000

前一章结束的时候我留下了一个剧透：高斯曲率 $$K$$ 虽然是用外在的形状算子定义的，但只依赖于第一基本形式——也就是说，曲面上的蚂蚁，仅凭它能感受到的距离和角度信息，就能算出 $$K$$ 。这是 Gauss 在 1827 年证明的 Theorema Egregium（拉丁语"绝妙定理"），是经典曲面理论的核心结果。这一章就是来把这个剧透变成证明的。

微分几何（三）：形状算子——曲面的曲率

Fri, 05 Nov 2021 09:00:00 +0000

把一张 A4 纸放在桌上，铺平。它是平的。卷起来变成一个圆筒，它看起来弯了——但纸面上的距离、角度都没变，蚂蚁趴在纸上感觉不到任何区别。再换一种做法：把纸团成一团，纸面上确实出现褶皱、撕扯。前一种动作是"弯而不拉"，后一种是"必须拉伸"。

微分几何（二）：曲面与第一基本形式 —— 内在测量

Wed, 03 Nov 2021 09:00:00 +0000

我小时候第一次看世界地图，被一个细节困扰了很久：格陵兰岛在地图上和非洲大陆差不多大，但地球仪上的格陵兰只是非洲的一个小角落。这是为什么？后来知道答案是"墨卡托投影把高纬度的面积放大了"——但这个解释只是把问题换了个名字，没有解释为什么没法画出一张完美的平面地图。

微分几何（一）：空间中的曲线 —— 曲率、挠率和 Frenet 标架

Mon, 01 Nov 2021 09:00:00 +0000

我第一次在课本里看到"曲率"这个词，配的图是一条蜷成圈的螺旋线，旁边写着 $\kappa =$ 这个 $\tau =$ 那个，公式带一堆叉积。我当时的反应是：“为什么不是直接说这条线弯得有多厉害？“用尺子量行不行？为什么要这么多记号？

泛函分析（九）：无界算子 —— 当有界性失效时

Sun, 17 Oct 2021 09:00:00 +0000

当算子拒绝在整个空间上定义#

我第一次写下“位置算子 $$X$$ 在 $L^2(\mathbb{R})$ 上”这句话时没多想——直到我试图把它平方。 $$(Xf)(x) = xf(x)$$ 看起来人畜无害，但 $$f(x) = 1/(1+|x|)$$ 满足 $f \in L^2(\mathbb{R})$ ，而 $$Xf(x) = x/(1+|x|)$$ 在无穷远处不衰减为零，根本不在 $$L^2$$ 中。也就是说， $$X$$ 把 $$L^2$$ 中的某些元素送出 $$L^2$$ 之外。它甚至不是“有界但范数大”——它是“在某些点根本没定义”。整个之前关于有界算子的理论在这里失效。

泛函分析（二）：赋范空间与Banach空间

Sun, 03 Oct 2021 09:00:00 +0000

度量不够用的那一刻#

我第一次写下“两个函数之间的距离”时，就把度量空间当成 $\mathbb{R}^n$ 的脱壳版本来用——直到我想做最朴素的事：把两个向量加起来，再问加完之后离原点有多远。度量公理里没有“加法”这件事；它只回答“两点相距多少”。我可以在度量空间里收敛，却不能在度量空间里把收敛的两个序列相加再统一估计范数。这个小小的失能让我意识到，度量并不知道自己活在向量空间上。

抽象代数（四）：Sylow 定理 —— 剖析有限群

Tue, 07 Sep 2021 09:00:00 +0000

我记得第一次翻开抽象代数教材时，盯着 Lagrange 定理发愣了好半天。书上写着“子群的阶必须整除群的阶”，我心想这多直观啊，就像切蛋糕，12 寸的蛋糕当然只能切成 1、2、3、4、6 或 12 块。可当我试着反过来问：“既然 6 整除 12，那 12 阶的群一定有个 6 阶子群吧？”教材冷冷地甩出一个反例：交错群 $$A_4$$ 的阶是 12，但它根本没有 6 阶子群。那一刻我突然意识到，Lagrange 定理只是一道单向的门禁，它告诉你哪些尺寸“不可能”，却对哪些尺寸“一定存在”闭口不谈。

抽象代数（三）：商群与同态 —— 结构压缩的艺术

Sun, 05 Sep 2021 09:00:00 +0000

我盯着那张画满箭头的凯莱图（Cayley graph），脑子里只有一个念头：这也太乱了。一个只有几十个元素的群，乘法表就已经像一团解不开的毛线；要是元素多达几百万，对称性描述得写满十几页纸，我该怎么抓住它的核心？后来我才明白，数学家面对庞然大物时，从不硬刚。他们有一套极其优雅的“压缩术”：把群内部结构相似的整块元素捏成一个点，生成一个更小的群。这个新群虽然丢了细节，却死死咬住了原群的骨架。这篇笔记就是我摸索这套压缩术的记录，核心工具是正规子群（normal subgroup）、商群（quotient group）、群同态（group homomorphism），以及把它们缝在一起的三大同构定理（isomorphism theorems）。

抽象代数（二）：群的作用 —— 群如何移动事物

Fri, 03 Sep 2021 09:00:00 +0000

从抽象群到具体作用#

我第一次碰到“群作用”这个词的时候，脑子里全是乱码。书上冷冰冰地写着 $G \times X \to X$ ，满足两条公理，然后直接跳到轨道和稳定子。我盯着那几行字看了半小时，心里只有一个问题：这到底在干什么？群不是已经定义好了吗，为什么还要让它去“作用”在别的集合上？

抽象代数（一）：群 —— 你与代数结构的初次相遇

Wed, 01 Sep 2021 09:00:00 +0000

为什么代数结构很重要#

我第一次接触抽象代数时，盯着一本教材的目录发呆了整整一个下午。目录上写着“群、环、域”，旁边配着一堆我完全看不懂的符号。我当时心里只有一个念头：这些字母和箭头到底在算什么？实数我会算，矩阵我会乘，函数我会求导，可“群”到底是个什么东西？它连个具体的数字都没有，凭什么能成为一门课的核心？