ML Math Derivations on Chen Kai Blog

机器学习数学推导（二十）：正则化与模型选择

Sun, 08 Feb 2026 09:00:00 +0000

本文要点

一个有 1 亿参数的网络，用 5 万张图训练，按经典理论应当过拟合到一塌糊涂；可现代深度网络偏偏泛化得很好。这背后是两件事在配合：正则化——一系列约束模型容量的技巧；以及泛化理论——从数学上回答"学习什么时候真的有效"。本文是整个系列的收官之作，我们把前面攒下的所有工具——最小二乘、MAP 估计、凸优化、EM、神经网络——一起拿出来，直面这个领域里最深的开放问题：为什么机器学习能泛化？

机器学习数学推导（十九）：神经网络与反向传播

Sat, 07 Feb 2026 09:00:00 +0000

本文概览

单个感知机连 XOR 都解决不了；把足够多的感知机用非线性激活叠起来，却能成为通用函数逼近器。剩下的问题只有一个：这样的网络如何从数据中学习？答案是反向传播——一次链式法则的精巧应用，借由一次"反向遍历"把所有中间结果重复利用。这套机制是过去四十年所有深度学习库的核心引擎。把它的数学讲清楚，会顺带回答两件事：为什么深层网络会出现梯度消失/爆炸，以及为什么权重初始化远比看上去讲究。

机器学习数学推导（十八）：聚类算法

Fri, 06 Feb 2026 09:00:00 +0000

本文要解决什么

一百万条客户记录摆在面前，没有任何标签。能不能自动找出有意义的分组？这就是聚类——无监督学习中最基础的任务。和分类不同，聚类逼着你先回答一个棘手的问题：“相似” 到底是什么意思？ 每一种聚类算法，本质上都是对这个问题的一种回答——是对"什么是一个群组"提出的某种几何、概率或图论假设。

机器学习数学推导（十七）：降维与主成分分析

Thu, 05 Feb 2026 09:00:00 +0000

这篇文章讲什么

把一万维的数据扔给聚类算法，多半会失败——不是算法不好，而是 高维空间本身对距离类方法极其不友好：体积都集中在球壳上，最近邻和最远邻的距离比趋近于 1，“近"这个概念失去了信息。降维的目的就是回应这件事：把数据投到一个低维空间里，同时尽可能保留真正重要的结构。

机器学习数学推导（十六）：条件随机场

Wed, 04 Feb 2026 09:00:00 +0000

这一篇要讲什么

命名实体识别、词性标注、信息抽取——这一类任务都要给序列里的每一个元素打标签。HMM（第十五篇）用生成式思路硬刚：建模联合分布 $P(\mathbf{X},\mathbf{Y})$，但代价是必须假设每个观测只依赖自己的隐状态。可现实里，bank 是名词还是动词，依赖于前一个词、后一个词、词缀、大小写、词典命中——这些重叠特征 HMM 全都用不了。

机器学习数学推导（十五）：隐马尔可夫模型

Tue, 03 Feb 2026 09:00:00 +0000

雾里有人在你身后走过。看不见人，只听见脚步——短促、轻、急。从节奏和音色，你能猜出对方是在走、跑，还是跛着腿吗？如果听到一整段声音呢？哪条步态序列最可能产生它？又或者，在你对"走路"建立的模型下，这段声音本身有多大概率出现？

机器学习数学推导（十四）：变分推断与变分EM

Mon, 02 Feb 2026 09:00:00 +0000

后验 $p(\mathbf{z}\mid\mathbf{x})$ 算不出来时，你有两条路。采样路线（MCMC）让一条马尔可夫链以后验为平稳分布慢慢走，理论上渐近精确，但收敛慢、难诊断。变分路线（VI）则换个角度：先选一个简单的分布族 $\mathcal{Q}$，再在其中找到与真实后验最接近的那个 $q^\star$。推断变成了优化——同样的工具链既能训练神经网络，也能拟合贝叶斯模型。

机器学习数学推导（十三）：EM算法与GMM

Sun, 01 Feb 2026 09:00:00 +0000

数据里常常藏着看不见的结构——你不知道每个样本属于哪个簇、不知道某个特征的真实取值、不知道一段文本背后是哪些主题在驱动。这些隐变量让最大似然估计变得棘手：似然函数变成"对数里套求和"的形式，既无闭式解，梯度法也容易绕进死胡同。EM 算法用一招看似朴素的拆解破解了这种困境：在隐变量的后验下"猜"一次（E 步），再把参数当成完全数据来"拟合"一次（M 步），交替进行。每一轮迭代都被数学保证不会让似然下降。本文从第一性原理推导 EM，借 Jensen 不等式证明其单调上升性，并把它落到最经典的应用——高斯混合模型（GMM）——上：K-means 的软化、椭球化版本。

机器学习数学推导（十二）：XGBoost 与 LightGBM

Sat, 31 Jan 2026 09:00:00 +0000

XGBoost 与 LightGBM 是当下表格数据领域最常用的两套库——Kaggle 榜单、风控流水线、广告排序、流失预测，背后多半都是它们。两者共享同一个骨架（梯度提升树，见第十一篇），但在工程取舍上走了完全不同的路：

机器学习数学推导（十一）：集成学习

Fri, 30 Jan 2026 09:00:00 +0000

为什么"三个臭皮匠顶个诸葛亮"在机器学习里几乎是字面意义上成立的？答案不浪漫，但精确：平均能压方差，串行重加权能压偏差，再加一点随机化打破相关性——否则前两件事都白干。本文把这条线索的数学推到底：从偏差-方差分解出发，到 Bagging/随机森林如何利用 Bootstrap，再到 AdaBoost 如何被解读为指数损失下的前向分步加性建模，最后是 GBDT 把所有这些抽象成函数空间里的梯度下降。

机器学习数学推导（十）：半朴素贝叶斯与贝叶斯网络

Thu, 29 Jan 2026 09:00:00 +0000

引子。 朴素贝叶斯假定特征在给定类别后两两独立——这是个非常方便的谎言，让我们能用一遍数据扫描就训出一个分类器，但几乎在所有 UCI 基准上，基于树结构和小型概率图的模型都能稳稳地把它再压一个百分点。这一篇沿着「依赖关系」的轴线从 0 走到 d：先看从「全独立」到「全联合」之间的三个甜蜜点——SPODE、TAN、AODE，再把这套因子分解的思路推到极致，就得到贝叶斯网络。

机器学习数学推导（九）：朴素贝叶斯

Wed, 28 Jan 2026 09:00:00 +0000

引子： 一个训练只需毫秒、特征量级可达百万、几乎没有超参数可调的垃圾邮件过滤器，却能在短文本任务上击败结构复杂得多的模型。朴素贝叶斯靠的就是一个看似离谱的假设——给定类别后所有特征都条件独立——并且毫不掩饰这一点。在几乎所有真实数据上这个假设都不成立，但分类器照样能用。要理解为什么，需要走一趟生成模型、MAP 估计、Dirichlet 先验和偏差-方差权衡的完整链路。本文就把这条路从头走一遍。

机器学习数学推导（八）：支持向量机

Tue, 27 Jan 2026 09:00:00 +0000

引子。 两团点，能把它们分开的直线有无穷多条，“哪一条最好”？SVM 给出的答案出奇地几何：站在两个类之间最宽的"无人走廊"正中央的那一条。把这一个想法塞进拉格朗日对偶里，会自动跑出三件礼物——稀疏的模型（只有走廊壁上的点重要）、有全局最优解的二次规划、以及核技巧（同一套线性机器可以在无限维空间里画出弯曲的边界）。

机器学习数学推导（七）：决策树

Mon, 26 Jan 2026 09:00:00 +0000

导言。 决策树模拟的是人做决定的方式：问一个问题、按答案分支、再问下一个问题。这种朴素的直觉背后藏着不少数学：信息论中的熵告诉我们应该先问哪个问题；基尼指数提供了一种几乎等价但更便宜的代替；代价复杂度剪枝则给出了一套有原则的方式来阻止树去记噪声。今天最强的一类表格学习器——XGBoost、LightGBM、CatBoost——本质上都是这套对象的巧妙组合，所以把基础打扎实，回报会反复显现。

机器学习数学推导（六）：逻辑回归与分类

Sun, 25 Jan 2026 09:00:00 +0000

开篇. 线性回归把输入映射成任意实数，但如果输出必须是 0 到 1 之间的概率呢？逻辑回归用一个优雅的小技巧解决了这件事：Sigmoid 压缩函数。它名字里带"回归"，骨子里却是分类算法——而且它的数学是现代神经网络中每一个神经元的原型。

机器学习数学推导（五）：线性回归

Sat, 24 Jan 2026 09:00:00 +0000

引子。 1886 年，Francis Galton 研究遗传时注意到一个怪现象：身高极端（很高或很矮）的父母，子女的身高总是比父母更靠近平均值。他把这种"向均值漂移"的现象叫做 regression——回归这个名字就是这么来的。一个统计学上的小观察，后来长成了机器学习里最具基础地位的模型。线性回归本身的预测能力其实很普通，它的真正价值在于：从逻辑回归、神经网络到核方法，几乎所有机器学习算法都是同一个思路的变奏——先找一个合适的空间，再在里面拟一条线。

机器学习数学推导（四）：凸优化理论

Fri, 23 Jan 2026 09:00:00 +0000

本章概览

1947 年，George Dantzig 提出了线性规划的单纯形法，现代优化理论从此正式登场。八十年过去，优化已经成为机器学习的发动机：你训练过的每一个模型——从一行代码的线性回归，到 700 亿参数的语言模型——本质上都是某个优化问题的解。

机器学习数学推导（三）：概率论与统计推断

Thu, 22 Jan 2026 09:00:00 +0000

本文要讲什么

1912 年，Ronald Fisher 在一篇短文中提出了最大似然估计（MLE），从此悄悄改写了统计学。他的洞察直白到令人有些不好意思：如果某组参数让我们恰好看到的数据出现得特别"自然"，那这组参数大概就是对的。从逻辑回归到大语言模型，几乎所有现代学习算法都是这个思路的后裔。

机器学习数学推导（二）：线性代数与矩阵论

Wed, 21 Jan 2026 09:00:00 +0000

这一章为什么写、和别处有什么不同

如果你上过一门标准的线性代数课，本文里的对象你大多见过。但本文不是那门课。 它是「机器学习视角下的线性代数」——梯度下降、PCA、神经网络训练、读论文时真正会反复用到的那六七个想法。

机器学习数学推导（一）：绪论与数学基础

Tue, 20 Jan 2026 09:00:00 +0000

本章要做的事

2005 年，Google Research 在公开机器翻译评测中表明：一个仅靠双语语料训练的统计模型，可以击败语言学家精雕细琢数十年的规则系统。结论令人不安，却也极具数学美感——一个从未被告知语法的系统，只要数据足够多，就能把语法 “推” 出来。为什么？