Linear Algebra on Chen Kai Blog

机器学习数学推导（二）：线性代数与矩阵论

Wed, 21 Jan 2026 09:00:00 +0000

为什么写这一章，有什么不同#

如果你学过标准的线性代数课程，大部分内容你可能已经见过。但本章不是对传统课程的简单复述，而是面向机器学习实践者，聚焦于实际场景中高频使用的线性代数核心概念，如实现梯度下降、运行 PCA、训练神经网络或研读论文时所需的内容。

矩阵低秩近似与伪逆：从 SVD 到正则化

Mon, 28 Jul 2025 09:00:00 +0000

真实数据里的矩阵几乎从不“方+满秩”：特征相关、样本不足、噪声放大病态——求逆这件事要么不存在，要么不稳定。伪逆（Moore-Penrose inverse）把“逆”的直觉延续下去：它不要求方程组有精确解，而是把“解”重新定义为最小二乘解（多解时再选最小范数那一个）。本文从最小二乘视角给出伪逆的定义与四条 Penrose 条件，再用 SVD 把它的计算与低秩近似绑在一起，最后看截断奇异值如何让解更稳、什么时候必须正则化、以及这些结论在 PCA、推荐系统、 LoRA 中如何落地。

线性代数（十八）：前沿应用与总结——量子计算、GNN、大模型，与十八章回望

Wed, 30 Apr 2025 09:00:00 +0000

我们一同走过了线性代数的漫长旅程——从平面上的箭头出发，最终抵达量子计算机的逻辑门、大语言模型的核心机制，以及数据云的拓扑结构。贯穿始终、令人惊叹的一点是（也是本系列试图揭示的）：同样的几个核心思想不断重现。向量是状态，矩阵是变换，分解揭示了变换内部的结构，范数则告诉你何时可以信任计算结果。一旦你内化了这个循环，所有所谓的“前沿”领域便不再像陌生国度，而更像是你早已掌握的语言所衍生出的新方言。

线性代数（十七）：计算机视觉中的线性代数——从像素到三维重建

Wed, 23 Apr 2025 09:00:00 +0000

计算机视觉就是教机器学会“看”。有意思的是，这个领域几乎所有问题最后都能归结为线性代数：图像可以看作矩阵，几何变换是矩阵相乘，相机成像用一个 $3 \times 4$ 的投影矩阵表示，两视图几何关系简化为方程 $\mathbf{x}_2^\top \mathbf{F}\, \mathbf{x}_1 = 0$ ，三维重建则是一个稀疏线性最小二乘问题。一旦从这个角度理解 CV，原本看似杂乱无章的算法其实只是反复应用了少数几个线性代数的核心思想。

线性代数（十六）：深度学习中的线性代数——从全连接到 Transformer

Wed, 16 Apr 2025 09:00:00 +0000

去掉那些营销包装，深度网络的本质其实很简单：一连串矩阵乘法，中间用逐元素非线性函数连接起来。前向传播、反向传播、卷积、注意力机制、归一化、微调——所有这些所谓的“技巧”不过是同一个代数主题的小小变化。一旦看清背后的矩阵，这个领域就不再是零散的配方，而是统一的语言。

线性代数（十五）：机器学习中的线性代数——从 PCA 到推荐系统

Wed, 09 Apr 2025 09:00:00 +0000

随便找个资深机器学习工程师问一句：“你每天实际用得最多的数学是什么？”答案几乎肯定是线性代数。微积分用于推导公式，概率用于建模，但在实际运行 ML 系统时，大部分时间都花在矩阵向量乘法、分解和投影上。PyTorch 的 Linear、scikit-learn 的 PCA、Spark MLlib 的 ALS，还有 Transformer 的注意力头，其实都是同一个线性代数基本操作换了个马甲。

线性代数（十四）：随机矩阵理论——混沌中的秩序

Wed, 02 Apr 2025 09:00:00 +0000

扔一百万次硬币，把结果排成一个 $1000 \times 1000$ 的对称矩阵，算出来的特征值居然会填满一个完美的半圆。一个理论上应该是单位阵的噪声协方差矩阵，特征值却会分布在一段区间上，而这段区间的宽度我甚至在看到任何数据之前就能预测出来。Wigner 矩阵的最大特征值的尾部分布无处不在——从晶体生长的高度涨落、随机排列中最长递增子序列的长度，到重核能级的能量分布，全都符合这个规律。随机矩阵理论（Random Matrix Theory，RMT）研究的就是这些规律为何会出现，以及如何加以利用。

线性代数（十三）：张量与多线性代数——从标量到高维数据立方体

Wed, 26 Mar 2025 09:00:00 +0000

如果你用过 PyTorch 或 TensorFlow，“张量”这个词你一定见过无数次。 PyTorch 把所有数组都叫 torch.Tensor， TensorFlow 更是直接把张量写进了名字。但张量到底是什么？为什么这些框架要用一个听起来像物理术语的词来描述看似多维数组的对象？

线性代数（十二）：稀疏矩阵与压缩感知——少即是多的数学奇迹

Wed, 19 Mar 2025 09:00:00 +0000

「少即是多」的奇迹#

一张 2400 万像素的原始照片，大小约为 70 MB；用 JPEG 压缩后，只有几百 KB，压缩比高达 100 倍，但你看不出区别。传统 MRI 扫描需要 30 分钟，而现代压缩感知 MRI 只需 5 分钟，图像质量完全一样。

线性代数（十一）：矩阵微积分与优化——从梯度到反向传播

Wed, 12 Mar 2025 09:00:00 +0000

从淋浴龙头到神经网络#

每天早上，你都在训练一个微型神经网络：水太冷时，你会拧一下水龙头旋钮——这是一个参数；一秒钟后，你感受到新的水温——这是误差信号；接着再拧一次。经过三四次调整，水温就刚刚好。

线性代数（十）：矩阵范数与条件数——数值计算的健康体检

Wed, 05 Mar 2025 09:00:00 +0000

困扰工程师的那个问题#

方程没错，算法也没错，为什么算出来的结果完全不对？

罪魁祸首通常是一个叫 条件数 的数字。它衡量的是线性系统有多“敏感”——输入的一点微小扰动，会不会被放大成输出中的灾难性误差。要讨论条件数，我们首先需要一种方法来度量向量和矩阵的“大小”，这正是范数的作用。

线性代数（九）：奇异值分解 SVD

Wed, 26 Feb 2025 09:00:00 +0000

一、为什么 SVD 配得上“皇冠”二字#

第 8 章的谱定理给出了 $A = Q\Lambda Q^{\!\top}$ ，形式简洁优美，但有个硬性限制：仅适用于对称矩阵。而现实中遇到的矩阵大多不对称，甚至根本不是方阵：

线性代数（八）：对称矩阵与二次型

Wed, 19 Feb 2025 09:00:00 +0000

为什么对称矩阵是“最理想的矩阵”#

在所有你可能遇到的矩阵中，对称矩阵无疑是最“乖巧”的。它们拥有三大超能力：

特征值全是实数；
拥有一组完全正交的特征向量；
可以轻松实现完美对角化 $A = Q \Lambda Q^T$ ，求逆或计算幂次几乎不费力气。

这绝非偶然。实际上，在物理、优化、统计和机器学习中，几乎所有真正重要的矩阵本质上都是对称的：

线性代数（七）：正交性与投影——当向量互不干扰

Wed, 12 Feb 2025 09:00:00 +0000

为什么正交性如此重要#

两个向量正交，意味着它们彼此互不干扰。一个方向上的信息完全不会影响另一个方向。这个简单的概念支撑了 GPS 定位、降噪耳机、JPEG 压缩、推荐系统以及数值线性代数的大部分应用。

线性代数（六）：特征值与特征向量

Wed, 05 Feb 2025 09:00:00 +0000

一个核心问题#

用矩阵作用到向量上，结果可能千变万化：大部分向量会被旋转、拉伸，最终指向一个全新的方向；但总有一些特殊的向量，无论怎样变换都不会离开自己的方向——它们只会被拉长、缩短或反向。

线性代数（五）：线性方程组与列空间

Wed, 29 Jan 2025 09:00:00 +0000

一个贯穿始终的核心问题#

在应用数学中，几乎所有问题最终都会归结为同一个核心问题：

给定矩阵 $$A$$ 和向量 $\vec{b}$ ，方程 $A\vec{x} = \vec{b}$ 是否有解？如果有，有多少个？

机械式的回答是“消元后看结果”，但结构性的回答才真正有趣——这也是本章的目标。三个几何对象足以揭示一切：

线性代数（四）：行列式的秘密

Wed, 22 Jan 2025 09:00:00 +0000

跳出公式：行列式到底是什么#

\det\begin{pmatrix}a & b\\ c & d\end{pmatrix} = ad - bc.

记住公式，代入数字，算出结果——这种教法完全忽略了行列式的本质。

一句话点明核心：

行列式 $\det(A)$ 就是变换 $$A$$ 对面积（2D）或体积（3D）的缩放倍数。

线性代数（三）：矩阵作为线性变换

Wed, 15 Jan 2025 09:00:00 +0000

核心思想#

翻开一本传统教材，矩阵通常被描述为“数字排成的矩形阵列”。你会学到如何加法、乘法甚至求逆，但没人告诉你为什么乘法规则是这样设计的，也没人解释为什么 $$AB$$ 通常不等于 $$BA$$ 。

线性代数（二）：线性组合与向量空间

Wed, 08 Jan 2025 09:00:00 +0000

为什么这一章很重要#

打开一盒只有红、绿、蓝三种颜色的蜡笔，你能画出多少种颜色？诚实的答案是无穷多种——你在屏幕上见过的每一种色彩，都不过是这三种原色以不同比例混合而成。仅凭三个“原料”，就能创造出整个色彩宇宙。

线性代数（一）：向量的本质——不仅仅是箭头

Wed, 01 Jan 2025 09:00:00 +0000

为什么要学向量？#

物理学家谈论“力”，数据科学家谈论“特征”，游戏程序员谈论“速度”，量子理论家谈论“态”。不同领域，不同术语——但背后指向的是同一个数学对象：向量。

抽象代数（九）：模——向量空间的推广

Fri, 17 Sep 2021 09:00:00 +0000

我第一次接触线性代数时，总觉得它干净得有点“不真实”。每个子空间都能找到补空间，每个有限维向量空间都乖乖地拥有一组基，而且不管你怎么挑基，基向量的个数永远一样。那时候我以为代数就该这么顺滑，直到我试着把标量从实数换成整数。结果呢？整个理论瞬间“卡壳”了。你不能随便除以 2，方程 $$2x = a$$ 在整数里经常无解，基的概念直接崩塌。我当时盯着草稿纸发愣：难道离开域（field），线性结构就彻底散架了吗？