PCA on Chen Kai Blog

机器学习数学推导（十七）：降维与主成分分析

Thu, 05 Feb 2026 09:00:00 +0000

你将学到什么#

给聚类算法输入 10,000 维的数据，它大概率会失败——问题不在于算法本身，而在于高维空间对基于距离的学习方法天然不友好。体积几乎都集中在球壳上，最近邻和最远邻的距离比值趋近于 $$1$$ ，“近”这个概念变得毫无意义。降维的目的正是将数据投影到低维空间，同时保留其关键结构。

线性代数（十五）：机器学习中的线性代数——从 PCA 到推荐系统

Wed, 09 Apr 2025 09:00:00 +0000

随便找个资深机器学习工程师问一句：“你每天实际用得最多的数学是什么？”答案几乎肯定是线性代数。微积分用于推导公式，概率用于建模，但在实际运行 ML 系统时，大部分时间都花在矩阵向量乘法、分解和投影上。PyTorch 的 Linear、scikit-learn 的 PCA、Spark MLlib 的 ALS，还有 Transformer 的注意力头，其实都是同一个线性代数基本操作换了个马甲。

线性代数（九）：奇异值分解 SVD

Wed, 26 Feb 2025 09:00:00 +0000

一、为什么 SVD 配得上“皇冠”二字#

第 8 章的谱定理给出了 $A = Q\Lambda Q^{\!\top}$ ，形式简洁优美，但有个硬性限制：仅适用于对称矩阵。而现实中遇到的矩阵大多不对称，甚至根本不是方阵：

核方法（五）：核 SVM、核 PCA 与核岭回归

Tue, 14 Dec 2021 09:00:00 +0000

你的特征只有二维，数据明明是一个圆环套一个圆环，而 LinearSVC 在 50% 准确率上瞪着你——一副"我真心觉得直线就是答案"的天真神情。你盯着散点图，又盯着模型，脑子后台终于冒出"核 SVM"三个字。改成 kernel='rbf'，准确率瞬间跳到 0.98，整个下午你都在琢磨：刚才那一手到底是什么魔法？为什么同样的招数还能让核 PCA 把瑞士卷展平，让核岭回归三行代码拟合一个正弦波？