Machine Learning on Chen Kai Blog

阿里云全栈实战（十一）：PAI 打造机器学习平台

Fri, 08 May 2026 09:00:00 +0000

单卡跑模型很有趣，但要稳定支撑每秒 1000 个请求，才是从实验迈向产品的关键一步。PAI 正好覆盖了这两个阶段。

PAI（Platform for AI）是阿里云的托管式机器学习平台。严格来说，它并非单一产品，而是五个独立子产品共享同一控制台的集合：Notebook 用于交互式探索，分布式训练服务支撑规模化训练，模型服务平台承载生产部署，可视化流水线面向偏好拖拽操作的用户，模型库则提供开源模型的一键部署能力。经过十八个月的真实 LLM 负载验证，各组件表现不一——EAS 表现优秀，Designer 基本够用；但一旦理清它们之间的协同机制，整体效能远超各部分之和。

阿里云 PAI（二）：DSW Notebook 避坑指南

Fri, 06 Mar 2026 09:00:00 +0000

每次带新人上手 PAI，第一天的剧本都差不多：启动 DSW 实例，pip install 一通依赖，训练一小时，不知为何重启了 kernel，然后一脸茫然地问我模型文件去哪了。实话实说——“在 /root 下，但那台节点已经没了”——这种教训一次就够了。这篇文章就是让你提前避坑的版本。

阿里云 PAI（一）：平台概览与产品地图

Thu, 05 Mar 2026 09:00:00 +0000

只要你的团队在阿里云上训练或部署模型，迟早会用到 PAI 控制台。PAI 是一个平台级整合层（umbrella），真正干活的是它底下的核心产品：笔记本（DSW）、分布式训练服务（DLC）、模型推理服务（EAS），以及两个面向快速交付的 GUI 层——Designer 和 Model Gallery。我在一个 AI 营销平台上用 PAI 跑了大约十八个月的真实 LLM 负载，写下这个系列，就是希望你在部署第一个 endpoint 前，能少踩些我踩过的坑。

机器学习数学推导（二十）：正则化与模型选择

Sun, 08 Feb 2026 09:00:00 +0000

你将学到什么#

一个拥有 1 亿参数的网络，用 5 万张图片训练，按经典理论应该会严重过拟合，但现代深度网络却能很好地泛化。这背后主要有两个原因：正则化——一系列限制模型容量的技术；以及泛化理论——从数学上解释学习何时有效。作为整个系列的最后一章，我们将整合之前积累的所有工具——最小二乘、MAP 估计、优化方法、EM 算法、神经网络——来探讨这个领域最深刻的问题：机器学习为什么能泛化？

机器学习数学推导（十九）：神经网络与反向传播

Sat, 07 Feb 2026 09:00:00 +0000

本文概览#

单个感知机无法解决 XOR 问题，但只要堆叠足够多的感知机并引入非线性激活函数，就能构建出一个通用函数逼近器。那么，这样的网络如何从数据中学习？答案是反向传播——它本质上是对链式法则的高效应用，通过一次反向遍历复用中间结果，成为过去四十年所有深度学习库的核心引擎。深入理解其数学原理，还能揭示两个关键现象：为什么深层网络容易遭遇梯度消失或爆炸，以及为什么权重初始化远非随意选择。

机器学习数学推导（十八）：聚类算法

Fri, 06 Feb 2026 09:00:00 +0000

本文要解决什么#

面对一百万条没有标签的客户记录，能否自动找出有意义的分组？这就是聚类——无监督学习中最基础的任务。与分类不同，聚类首先要回答一个棘手的问题：“相似”到底是什么意思？每种聚类算法本质上都是对这个问题的不同回答：它们从几何、概率或图论的角度，对“群组”施加了不同的先验假设。

机器学习数学推导（十七）：降维与主成分分析

Thu, 05 Feb 2026 09:00:00 +0000

你将学到什么#

给聚类算法输入 10,000 维的数据，它大概率会失败——问题不在于算法本身，而在于高维空间对基于距离的学习方法天然不友好。体积几乎都集中在球壳上，最近邻和最远邻的距离比值趋近于 $$1$$ ，“近”这个概念变得毫无意义。降维的目的正是将数据投影到低维空间，同时保留其关键结构。

机器学习数学推导（十六）：条件随机场

Wed, 04 Feb 2026 09:00:00 +0000

你将学到什么#

命名实体识别、词性标注、信息抽取——这些任务都要求给序列中的每个元素打上标签。HMM（第十五篇）采用生成式方法，通过建模联合分布 $P(\mathbf{X},\mathbf{Y})$ 来解决这一问题。但为了使联合分布可分解，它不得不付出高昂代价：每个观测值仅被允许依赖于其对应的隐状态标签。然而在真实文本中，“bank”究竟是名词还是动词，往往取决于前后文、词缀、大小写乃至词典查询结果——所有这些特征共同作用。

机器学习数学推导（十五）：隐马尔可夫模型

Tue, 03 Feb 2026 09:00:00 +0000

雾里传来脚步声，有人在你身后。你看不见人，只能听到短促、轻快、急促的声音。从节奏和音调判断，对方是在走路、跑步，还是跛行？如果听到一整段声音序列，哪种步态最有可能产生它？再进一步，根据我对“走路”建立的模型，这段声音本身出现的概率有多大？

机器学习数学推导（十四）：变分推断与变分 EM

Mon, 02 Feb 2026 09:00:00 +0000

后验 $p(\mathbf{z}\mid\mathbf{x})$ 无法直接计算时，我们面临两条路径。采样方法（MCMC）通过构造一条马尔可夫链，使其平稳分布恰好等于目标后验——理论上最终能精确逼近，但收敛缓慢且诊断困难。变分推断（VI）则另辟蹊径：先选定一个结构简单的分布族 $\mathcal{Q}$ ，再从中找出最接近真实后验的那个成员 $q^\star$ 。如此一来，推断问题就转化为优化问题——训练神经网络的那一套工具，现在也能用来拟合贝叶斯模型了。

机器学习数学推导（十三）：EM 算法与 GMM

Sun, 01 Feb 2026 09:00:00 +0000

数据中常隐含难以观测的结构：样本所属的簇未知，某些特征的真实值缺失，文本背后的潜在主题也不明确。这些隐变量让最大似然估计变得棘手——似然函数变成“对数里面套求和”的形式，既没有闭式解，梯度方法也容易被隐变量困住。EM 算法用一个看似简单的思路巧妙绕开这一难题：交替进行两步操作——先基于当前参数下的隐变量后验分布计算期望（E 步），再将这些期望当作真实值来更新模型参数（M 步）。每次迭代都严格保证对数似然值不减。本文将从第一性原理出发推导 EM 算法，利用 Jensen 不等式证明其单调上升性质，并将其应用于最经典的场景——高斯混合模型（GMM），即 K-means 的软化、椭球化推广。

机器学习数学推导（十二）：XGBoost 与 LightGBM

Sat, 31 Jan 2026 09:00:00 +0000

XGBoost 和 LightGBM 是表格数据领域的两大利器——从 Kaggle 排行榜到风控系统、广告排序和用户流失预测，背后几乎都有它们的身影。两者都基于梯度提升树（Gradient-Boosted Trees，见第 11 篇），但在工程设计上选择了截然不同的方向：

机器学习数学推导（十一）：集成学习

Fri, 30 Jan 2026 09:00:00 +0000

为什么一群平庸的分类器组合起来能胜过一个超级厉害的分类器？答案很简单：取平均能降低方差，逐步调整权重能减少偏差，再加上一点随机性，就能打破相关性——否则前面的努力都会白费。本文将深入推导背后的数学原理，包括偏差-方差分解、Bagging 和随机森林如何利用 Bootstrap、AdaBoost 在指数损失下的前向分步优化，以及 GBDT 如何将这些方法统一为函数空间中的梯度下降。

机器学习数学推导（十）：半朴素贝叶斯与贝叶斯网络

Thu, 29 Jan 2026 09:00:00 +0000

引子： 朴素贝叶斯假设所有特征在给定类别下条件独立。这是一种便于计算的“善意谎言”——它让我们只需遍历一遍数据就能完成训练，但几乎所有 UCI 基准测试都表明，基于树结构或小型图的分类器总能稳定高出几个百分点的准确率。本文将沿着从“无依赖”（朴素贝叶斯）到“全依赖”（完整联合分布）的连续谱系，重点介绍实践中真正常用的三个甜点模型：SPODE、TAN 和 AODE。而将这种因子分解思想推广至一般形式，就得到了贝叶斯网络。

机器学习数学推导（九）：朴素贝叶斯

Wed, 28 Jan 2026 09:00:00 +0000

引子： 一个垃圾邮件过滤器，训练只需几毫秒，支持百万级特征，几乎不需要调整超参数，却能在短文本任务上胜过许多更复杂的模型。朴素贝叶斯能做到这一点，靠的是一个大胆到近乎离谱的假设：给定类别后，所有特征条件独立。它不仅不为此道歉，反而坚持到底；尽管这个假设在几乎所有真实数据集上都不成立，分类器依然表现良好。要搞清楚原因，需要深入理解生成模型、MAP 估计、Dirichlet 先验及偏差–方差权衡的核心概念。这篇文章将带你一步步走完这条完整路径。

机器学习数学推导（八）：支持向量机

Tue, 27 Jan 2026 09:00:00 +0000

引子： 假设有两团点，能将它们分开的直线有无数条，哪一条才是“最佳选择”？SVM 给出了一个极具几何美感的答案：位于两类点之间“最宽空白走廊”正中央的那条直线。将这一朴素思想通过拉格朗日对偶推演下去，竟能同时收获三大成果——稀疏模型（只有走廊边界上的点才起作用）、具有全局最优解的凸二次规划问题，以及几乎算是附赠的核技巧：它让同一套线性机制能在无限维空间中刻画出弯曲的决策边界。

机器学习数学推导（七）：决策树

Mon, 26 Jan 2026 09:00:00 +0000

导言： 决策树模仿了人类做决定的过程：先问一个问题，根据答案分叉，再问下一个问题。这种直观做法背后的数学却出人意料地丰富——信息论中的熵告诉我们该先问哪个问题；基尼指数提供了一个计算更高效、效果几乎相同的替代方案；而代价复杂度剪枝则给出了一种有理论依据的方法，防止模型记住噪声。如今几乎所有主流的提升集成方法（如 XGBoost、LightGBM 和 CatBoost）本质上都是这些决策树的巧妙组合，因此扎实掌握基础将带来丰厚回报。

机器学习数学推导（六）：逻辑回归与分类

Sun, 25 Jan 2026 09:00:00 +0000

开篇。线性回归可以将输入映射到任意实数——但如果输出必须是 0 到 1 之间的概率呢？逻辑回归通过一个优雅的技巧解决了这个问题：使用 Sigmoid 压缩函数。尽管名字里有“回归”，逻辑回归实际上是一种分类算法，其数学原理更是支撑着现代神经网络中每一个神经元的计算。

机器学习数学推导（五）：线性回归

Sat, 24 Jan 2026 09:00:00 +0000

引子： 1886 年，Francis Galton 在研究遗传时发现了一个奇怪的现象：特别高或特别矮的父母，他们的孩子身高往往会比父母更接近平均值。他把这种“向均值靠拢”的现象称为 regression，这个名字一直沿用至今。一个统计学上的小发现，最终演变成了机器学习中最重要的基础模型——并非因为线性回归本身有多强大，而是因为几乎所有其他算法（逻辑回归、神经网络、核方法等）本质上都是同一种思想的变体：在合适的空间里拟合一条直线。

机器学习数学推导（四）：凸优化理论

Fri, 23 Jan 2026 09:00:00 +0000

本章概览#

1947 年，George Dantzig 提出了单纯形法，用于解决线性规划问题，现代优化理论由此诞生。八十年过去了，优化已成为机器学习的核心驱动力——无论是通过一行代码实现的线性回归，还是拥有 700 亿参数的语言模型，每个训练完成的模型本质上都是某个优化问题的答案。

机器学习数学推导（三）：概率论与统计推断

Thu, 22 Jan 2026 09:00:00 +0000

本文要讲什么#

1912 年，Ronald Fisher 在一篇短文中提出了最大似然估计（MLE），从此悄悄改变了统计学的面貌。他的想法简单得让人有点不好意思：如果某组参数让观察到的数据显得特别合理，那么这组参数很可能就是正确的。从逻辑回归到大语言模型，几乎所有现代学习算法都源于这一思路。

机器学习数学推导（二）：线性代数与矩阵论

Wed, 21 Jan 2026 09:00:00 +0000

为什么写这一章，有什么不同#

如果你学过标准的线性代数课程，大部分内容你可能已经见过。但本章不是对传统课程的简单复述，而是面向机器学习实践者，聚焦于实际场景中高频使用的线性代数核心概念，如实现梯度下降、运行 PCA、训练神经网络或研读论文时所需的内容。

机器学习数学推导（一）：绪论与数学基础

Tue, 20 Jan 2026 09:00:00 +0000

本章内容#

2005 年，Google Research 在公开评测中证明：仅用原始双语语料训练的统计翻译模型，竟能超越语言学家数十年精心设计的规则系统。这一结论令当时的专家颇感不适，却在数学上令人振奋——一个从未被告知语言规则的系统，只要有足够多的例子，依然能自行还原这些规则。这是为什么？

辛几何与结构保持神经网络：让模型学会守恒

Mon, 28 Jul 2025 09:00:00 +0000

随手训练一个普通的 MLP 来拟合一维谐振子的运动——尽管验证集上的误差很小，前十步看起来也正确，但继续预测一千步后，轨道不再闭合，能量缓慢漂移，原本应周期运动的系统变成了一条慢慢张开的螺旋。网络学到了“数据点之间的插值”，却没有学到“物理”。结构保持网络（structure-preserving NN）的做法是把守恒律——能量守恒、辛 2-形式、欧拉-拉格朗日方程——直接编码进架构里，使得模型从数学结构上就不可能违反这些约束，无论积分多长时间。

迁移学习（一）：基础与核心概念

Thu, 01 May 2025 09:00:00 +0000

我花了整整两周时间，用一整柜 GPU 训练出一个 ImageNet 分类器。周一早上，团队负责人突然要求我做一个胸片肺炎识别模型，而手头的标注数据只有 200 张——难道还要再排队两周 GPU 时间，从零开始训练吗？

线性代数（十五）：机器学习中的线性代数——从 PCA 到推荐系统

Wed, 09 Apr 2025 09:00:00 +0000

随便找个资深机器学习工程师问一句：“你每天实际用得最多的数学是什么？”答案几乎肯定是线性代数。微积分用于推导公式，概率用于建模，但在实际运行 ML 系统时，大部分时间都花在矩阵向量乘法、分解和投影上。PyTorch 的 Linear、scikit-learn 的 PCA、Spark MLlib 的 ALS，还有 Transformer 的注意力头，其实都是同一个线性代数基本操作换了个马甲。

概率与统计（八）：贝叶斯统计——先验、后验，以及频率学派为何争论不休

Fri, 30 Aug 2024 09:00:00 +0000

两位统计学家走进一家酒吧。一人说：“明天下雨的概率是 30%。”另一人反驳道：“概率指的是长期频率；而明天只发生一次，这种说法毫无意义。”第一个人回应：“它量化的是我对这一独特事件的不确定性。”两人就此争论了一整晚。

偏微分方程与机器学习（八）：反应扩散系统与 GNN

Wed, 14 Aug 2024 09:00:00 +0000

深层 GNN 大家都见过它崩——堆到十几层之后所有节点的 embedding 几乎一样，模型“糊掉”了。这个现象有个名字叫 over-smoothing，背后的数学原因其实非常干净：GNN 的消息传递本质上就是图上的扩散方程，扩散到最后所有节点都收敛到同一个常数。

偏微分方程与机器学习（七）：扩散模型与 Score Matching

Tue, 30 Jul 2024 09:00:00 +0000

扩散模型的输出端我们很熟悉：一张高质量图片。但训练目标乍看之下却很反直觉——先把数据加噪声加到完全是高斯，再学怎么一步步去噪。为什么这个绕远路的策略反而比直接学数据分布有效？

偏微分方程与机器学习（六）：连续归一化流与 Neural ODE

Mon, 15 Jul 2024 09:00:00 +0000

怎么把一团各向同性的高斯噪声“吹”成一张猫的照片？

归一化流给的答案很直接：用一系列可逆变换，一步步把简单分布推到复杂分布。这一篇要讲的连续归一化流（CNF）把“一系列变换”推到极限——让步长趋于零，离散变换链就变成一个 ODE，可逆性自动满足，密度变化由瞬时换元公式控制。

偏微分方程与机器学习（五）：辛几何与保结构网络

Sun, 30 Jun 2024 09:00:00 +0000

钟摆能摆很久而不慢慢停下来——能量守恒。地球绕太阳转十亿年也不会突然飞走——角动量守恒。这种“某个量恒定不变”的性质背后，藏着一种叫辛结构的几何。

偏微分方程与机器学习（三）：变分原理与优化

Fri, 31 May 2024 09:00:00 +0000

训练神经网络的本质是什么？当我们在高维参数空间中运行梯度下降时，背后是否存在某种更深刻的连续时间动力学？当网络宽度趋于无穷时，离散的参数更新是否会收敛到某个优雅的偏微分方程？这些问题的答案，正位于变分法、最优传输与 PDE 理论的交汇处。