SVM on Chen Kai Blog

机器学习数学推导（八）：支持向量机

Tue, 27 Jan 2026 09:00:00 +0000

引子： 假设有两团点，能将它们分开的直线有无数条，哪一条才是“最佳选择”？SVM 给出了一个极具几何美感的答案：位于两类点之间“最宽空白走廊”正中央的那条直线。将这一朴素思想通过拉格朗日对偶推演下去，竟能同时收获三大成果——稀疏模型（只有走廊边界上的点才起作用）、具有全局最优解的凸二次规划问题，以及几乎算是附赠的核技巧：它让同一套线性机制能在无限维空间中刻画出弯曲的决策边界。

线性代数（十五）：机器学习中的线性代数——从 PCA 到推荐系统

Wed, 09 Apr 2025 09:00:00 +0000

随便找个资深机器学习工程师问一句：“你每天实际用得最多的数学是什么？”答案几乎肯定是线性代数。微积分用于推导公式，概率用于建模，但在实际运行 ML 系统时，大部分时间都花在矩阵向量乘法、分解和投影上。PyTorch 的 Linear、scikit-learn 的 PCA、Spark MLlib 的 ALS，还有 Transformer 的注意力头，其实都是同一个线性代数基本操作换了个马甲。

核方法（五）：核 SVM、核 PCA 与核岭回归

Tue, 14 Dec 2021 09:00:00 +0000

你的特征只有二维，数据明明是一个圆环套一个圆环，而 LinearSVC 在 50% 准确率上瞪着你——一副"我真心觉得直线就是答案"的天真神情。你盯着散点图，又盯着模型，脑子后台终于冒出"核 SVM"三个字。改成 kernel='rbf'，准确率瞬间跳到 0.98，整个下午你都在琢磨：刚才那一手到底是什么魔法？为什么同样的招数还能让核 PCA 把瑞士卷展平，让核岭回归三行代码拟合一个正弦波？