算法 on Chen Kai Blog

核方法（八）：深度核学习 vs 深度学习——选择指南与故障排查

Thu, 30 Dec 2021 09:00:00 +0000

2026 年了，为什么还要读核方法？Transformer 不是已经把整个 ML 栈吃掉了吗？是也不是。Transformer 吃掉了头条，核方法吃掉的是角落——只有 200 个样本的场景、必须给出校准误差棒的场景、物理学家需要知道是哪个基函数贡献了这次预测的场景。本系列的最终篇就是这份"角落工程师手册"：核方法什么时候真的能赢、出了问题怎么诊断、怎么把核挂在神经网络头顶上拿到两边的好处，以及为什么 NTK（Jacot et al., 2018）告诉我们深网在某个极限下其实就是一种核方法——两派的边界，到 2026 年比任何时候都更模糊。

核方法（七）：大规模核方法——Nystrom 近似与随机傅里叶特征

Fri, 24 Dec 2021 09:00:00 +0000

你想拿 RBF SVM 去跑一个百万规模的图像分类任务。Gram 矩阵是 $10^6 \times 10^6$ 的 double 数组，整整 8 TB。光是这一个数字——八个 TB 的内存，仅仅为了存那个核矩阵——就解释了为什么大部分在统计课上学过核方法的工程师，在真实生产环境里都默默不再碰它。核技巧用一次内积就送你一个无穷维特征空间；账单是在你有 $$n^2$$ 对数据时寄到。

核方法（六）：高斯过程——当核方法遇到贝叶斯推断

Sun, 19 Dec 2021 09:00:00 +0000

核岭回归给你一个数。喂进 $$x_*$$ ，它返回 $\hat{y}_* = 23.7$ 。完。但你接下来要用这个预测做事——安排发货、调整剂量、下注——光一个数字不够用。“明天 25 度"是一句话；“很可能 25 度，95% 的概率落在 22 到 28 之间"才是可以行动的信息。任何在不确定性下的决策都需要后一种。高斯过程是把核方法从"点预测器"升级到"分布预测器"最干净的路径，且不需要扔掉前五篇里任何一行核函数的代数。这一升级的代价仅仅是一次 Cholesky——同样的 $$O(n^3)$$ 、同样的 Gram 矩阵——却额外白送了后验协方差和边际似然两件相当昂贵的礼物。

核方法（五）：核 SVM、核 PCA 与核岭回归

Tue, 14 Dec 2021 09:00:00 +0000

你的特征只有二维，数据明明是一个圆环套一个圆环，而 LinearSVC 在 50% 准确率上瞪着你——一副"我真心觉得直线就是答案"的天真神情。你盯着散点图，又盯着模型，脑子后台终于冒出"核 SVM"三个字。改成 kernel='rbf'，准确率瞬间跳到 0.98，整个下午你都在琢磨：刚才那一手到底是什么魔法？为什么同样的招数还能让核 PCA 把瑞士卷展平，让核岭回归三行代码拟合一个正弦波？

核方法（四）：常见核函数族——RBF、Matern、多项式、周期与更多

Thu, 09 Dec 2021 09:00:00 +0000

你第一次在 sklearn 里写 SVC(kernel='rbf')，gamma 设了多少？'scale'？'auto'？滚动过那个默认值时你压根没看一眼。三个月后模型严重过拟合，Gram 矩阵看着像单位阵，你也不知道是哪个旋钮拧错了。大多数"核调参"的债，其实是选核的债——你为了错误的理由选了默认的核，再多 grid search 也救不回来。

核方法（三）：RKHS——核方法的理论灵魂

Sat, 04 Dec 2021 09:00:00 +0000

如果你曾在某节课上听到老师写下 “RKHS” 三个字母就感觉血压升高，那这篇文章是写给你的。RKHS 不是一个由三个吓人字母组成的秘密俱乐部——它就是一个函数空间。一旦你看清楚里面装的是什么东西，核方法就不再是魔法，而是你已经熟悉的那种线性代数。

核方法（二）：数学基础——正定核与 Mercer 定理

Mon, 29 Nov 2021 09:00:00 +0000

写核 SVM 的第一周，我自信地造了一个相似度函数 tanh(1.5 * x.dot(y) - 2.0)：对称、有界、看起来一切都很正常。然后 sklearn 给我吐了一句 ValueError: kernel matrix is not positive semidefinite，模型效果比瞎猜还差。

核方法（一）：为什么需要它——从线性算法的天花板说起

Wed, 24 Nov 2021 09:00:00 +0000

我第一次想把逻辑回归扔到一对交错的螺旋数据上时，整整一个下午都在折腾正则化系数、换求解器、归一化输入——一直觉得是哪里写错了。准确率始终徘徊在 50% 上下，跟掷硬币没区别。换句话说，模型什么都没学到。