Linear Algebra on Chen Kai Blog

前沿应用与总结 -- 量子计算、GNN、大模型，与十八章回望

Wed, 30 Apr 2025 09:00:00 +0000

我们一起走完了线性代数的漫长旅程。从平面上的箭头出发，最后走到了量子计算机的逻辑门、大语言模型的内部结构和数据云的拓扑形状。这一路最值得记住的事情——也是这套书一直想让你看到的——就是同样一小撮思想在反复出现：向量是状态，矩阵是变换，分解是变换内部的结构，范数告诉你什么时候可以信任你的计算。一旦把这套循环内化下来，再看那些"前沿"，它们就不再像异国他乡，而更像是你已经会说的语言里的另一种方言。

计算机视觉中的线性代数 -- 从像素到三维重建

Wed, 23 Apr 2025 09:00:00 +0000

计算机视觉的核心任务是让机器"看懂"图像。让人惊讶的是，整个学科几乎都建立在线性代数之上：图像本身就是矩阵，几何变换是矩阵乘法，相机成像是一个 $3 \times 4$ 的投影矩阵，两视图几何浓缩成一句 $\mathbf{x}_2^\top \mathbf{F}\,\mathbf{x}_1 = 0$，三维重建则是稀疏线性最小二乘问题。换上这副眼镜再去看 CV，你会发现原本五花八门的算法不过是同一套线性代数工具的不同用法。

深度学习中的线性代数 -- 从全连接到 Transformer

Wed, 16 Apr 2025 09:00:00 +0000

把所有营销话术都剥掉，深度学习就剩一件事：一长串矩阵乘法，中间夹一些逐元素的非线性。前向传播、反向传播、卷积、注意力、归一化、参数高效微调——每一个"花招"都不过是同一套代数主题的小变奏。一旦你能直接看见这些矩阵，整个领域就会从一袋零散食谱变成一种统一语言。

机器学习中的线性代数 -- 从 PCA 到推荐系统

Wed, 09 Apr 2025 09:00:00 +0000

如果你问一位资深机器学习工程师"日常用得最多的数学是什么"，答案几乎一定是线性代数。微积分用于推导，概率用于建模，但 ML 系统在运行时绝大部分时间都耗在矩阵乘法、矩阵分解和投影上。PyTorch 的 Linear、scikit-learn 的 PCA、Spark MLlib 的 ALS、Transformer 的注意力头，本质上都是同一个线性代数原语在不同场景下的化身。

随机矩阵理论 -- 混沌中的秩序

Wed, 02 Apr 2025 09:00:00 +0000

把一百万个独立高斯数排成一个 $1000 \times 1000$ 的对称矩阵，算它的特征值；这些特征值居然会铺成一条完美的半圆。一个本应是单位阵的样本协方差，特征值偏偏会摊到一段你能预先算出宽度的区间上。一个 Wigner 矩阵的最大特征值，其涨落分布既出现在重核能级里，也出现在生长晶体的高度涨落、随机置换最长上升子序列长度的分布里——这就是 Tracy-Widom 律。随机矩阵理论（Random Matrix Theory，RMT）研究的就是这一类"混沌中的秩序"为什么会出现，以及怎么把它们用起来。

张量与多线性代数 -- 从标量到高维数据立方体

Wed, 26 Mar 2025 09:00:00 +0000

如果你写过深度学习代码，“张量"这个词早已熟到不能再熟 —— PyTorch 里所有数组都叫 torch.Tensor，TensorFlow 干脆把它写进了产品名字。可张量到底是什么？为什么深度学习框架要借这个听起来像物理学的术语？

稀疏矩阵与压缩感知 -- 少即是多的数学奇迹

Wed, 19 Mar 2025 09:00:00 +0000

「少即是多」的奇迹

一张 24 兆像素的原始照片大约 70 MB，JPEG 压到几百 KB——压缩比上百倍——你看不出区别。传统 MRI 扫描要 30 分钟；现在的压缩感知 MRI 只要 5 分钟，图像质量一样。

矩阵微积分与优化 -- 从梯度到反向传播

Wed, 12 Mar 2025 09:00:00 +0000

从淋浴龙头讲起

每天早上你都在训练一个微型神经网络。水太凉，于是你拧一下旋钮——一个参数；过一秒钟你感受到新的水温——误差信号；再拧一下。三四次之后你就收敛了。

矩阵范数与条件数 -- 数值计算的健康体检

Wed, 05 Mar 2025 09:00:00 +0000

困扰工程师的那个问题

方程列对了，算法也写对了，为什么算出来的结果完全不对？

罪魁祸首往往是一个叫做条件数的量。它衡量一个线性系统有多"敏感"——输入端一点点抖动，会不会被放大成输出端的灾难。要谈条件数，得先有办法度量向量和矩阵的"大小"，这就是范数要做的事。

奇异值分解 SVD

Wed, 26 Feb 2025 09:00:00 +0000

一、为什么 SVD 配得上"皇冠"二字

第 8 章的谱定理告诉我们 $A = Q\Lambda Q^{\!\top}$，干净漂亮，但有一个硬性前提：$A$ 必须对称。现实里大多数矩阵既不对称，甚至不是方阵：

对称矩阵与二次型

Wed, 19 Feb 2025 09:00:00 +0000

为什么对称矩阵是"最好的矩阵"

如果让线性代数家选出"最听话的矩阵"，结果几乎一定是对称矩阵。它们具备三件好事：

特征值全是实数；
存在一组完全正交的特征向量；
一定可以完美对角化 $A = Q \Lambda Q^T$，逆矩阵和幂运算都几乎不要钱。

这并不是抽象的偏爱。日常工程里你真正会去算的矩阵，绝大多数本来就是对称的：

正交性与投影 -- 当向量互不干扰

Wed, 12 Feb 2025 09:00:00 +0000

为什么正交性如此重要

两个向量"正交"，说的是它们彼此互不干扰：一个方向上的信息不会泄漏到另一个方向。这一句简单的话背后，藏着 GPS 定位、降噪耳机、JPEG 压缩、推荐系统，以及绝大多数数值线性代数。

特征值与特征向量

Wed, 05 Feb 2025 09:00:00 +0000

一个核心问题

把一个矩阵作用到一个向量上，几乎什么事都可能发生。绝大多数向量会被同时旋转和拉伸，落到一个全新的方向。但在它们之中，总有少数特殊的向量，无论怎么作用都不肯离开自己所在的那条线——它们出来的方向和进去时一模一样，只是被拉长、缩短，或者翻了个面。

线性方程组与列空间

Wed, 29 Jan 2025 09:00:00 +0000

一个贯穿一切的核心问题

应用数学几乎所有的问题，绕到最后都会回到同一个问题上：

给定矩阵 $A$ 和向量 $\vec{b}$，方程 $A\vec{x}=\vec{b}$ 有没有解？如果有，有多少个？

机械的答案是"消元、看结果"。但结构性的答案才真正有趣，也是本章的目标。三个几何对象就足以回答一切：

行列式的秘密

Wed, 22 Jan 2025 09:00:00 +0000

跳出公式：行列式到底是什么

大多数教材是这么引入行列式的：

$$\det\begin{pmatrix}a & b\\ c & d\end{pmatrix} = ad - bc.$$

记住公式、套数字、算结果——课程到此结束。但这把行列式最重要的那一面藏起来了。

一句话点破：

矩阵作为线性变换

Wed, 15 Jan 2025 09:00:00 +0000

一切从一句话开始

打开任何一本传统教材，矩阵都会被介绍成"一张排成矩形的数字表格"。你被告知要怎么相加、相乘、求逆，却从来没有人解释为什么乘法规则要写成那样，为什么 $AB$ 一般不等于 $BA$。

线性组合与向量空间

Wed, 08 Jan 2025 09:00:00 +0000

写在前面：为什么这一章很重要

打开一盒只有红、绿、蓝三种颜色的彩笔，你能画出多少种颜色？答案是无穷多种——你在屏幕上看见的每一种颜色，本质上都是这三支笔按不同比例混合的结果。三个"原料"，撑起整个色彩宇宙。

向量的本质 -- 不仅仅是箭头

Wed, 01 Jan 2025 09:00:00 +0000

为什么要学向量？

物理学家说"力"，数据科学家说"特征"，游戏程序员说"速度"，量子物理学家说"态"——表面看是四个不同的世界、四种不同的语言，背后其实是同一个数学对象：向量。