线性代数
前沿应用与总结 -- 量子计算、GNN、大模型,与十八章回望
系列终章:把量子门、图卷积、注意力、LoRA、张量网络、矩阵指数、随机矩阵到自由概率、拓扑数据分析这些前沿话题串成一条线,再回望整套书十八章的依赖图与几何/数值/计算三角形。
计算机视觉中的线性代数 -- 从像素到三维重建
计算机视觉几乎完全建立在线性代数之上:图像是矩阵,几何变换是矩阵乘法,相机成像是投影矩阵,三维重建是求解线性方程组。本章带你串起齐次坐标、单应矩阵、相机标定、对极几何、SfM 与 SLAM 的完整脉络。
深度学习中的线性代数 -- 从全连接到 Transformer
深度学习的核心就是大规模矩阵运算。本章从单个神经元到全连接层的矩阵形式,反向传播的矩阵链式法则,卷积的 im2col 技巧,注意力机制的矩阵操作,到 LoRA 低秩微调。
机器学习中的线性代数 -- 从 PCA 到推荐系统
线性代数是机器学习的'母语'。本章深入 PCA、LDA、SVM 核方法、矩阵分解推荐系统、线性回归的矩阵形式,以及神经网络中的线性层与注意力机制背后的线性代数原理。
随机矩阵理论 -- 混沌中的秩序
把随机数填进巨大矩阵,计算特征值,竟然会出现惊人的规律。本章从 Wigner 半圆律到 Marchenko-Pastur 分布、Tracy-Widom 分布,以及随机矩阵在无线通信、金融和机器学习中的应用。
张量与多线性代数 -- 从标量到高维数据立方体
张量是向量和矩阵到任意维度的推广。本章从标量、向量、矩阵出发,讲解纤维、切片、展开等概念,以及 CP 分解、Tucker 分解和 HOSVD,并探讨张量在神经网络压缩和推荐系统中的应用。
稀疏矩阵与压缩感知 -- 少即是多的数学奇迹
为什么 JPEG 能把 10MB 照片压成几百 KB 而看不出差别?为什么 MRI 能从 30 分钟缩到 5 分钟?答案都是稀疏性。本章从 L1 几何到 RIP 理论,从 LASSO 到 ISTA/FISTA/IHT,把压缩感知讲通。
矩阵微积分与优化 -- 从梯度到反向传播
调淋浴水温就是一个最小号的神经网络训练:根据误差去调一个参数。矩阵微积分把这件事推广到上亿个参数,优化算法则是把它做下去的引擎。本章从标量梯度讲到 Jacobian、Hessian、反向传播、凸优化与 Adam。
矩阵范数与条件数 -- 数值计算的健康体检
条件数是线性系统的'健康体检报告':它告诉你输入端的微小扰动会不会被放大成输出端的灾难。本章从向量范数、矩阵范数讲到谱范数、条件数与谱半径,剖析数值不稳定的根源,并给出预条件这一治本之策。
奇异值分解 SVD
SVD 被誉为线性代数的皇冠明珠:它能分解任意矩阵,不限于方阵或对称矩阵。从图像压缩到推荐系统,从人脸识别到基因分析,SVD 无处不在。
对称矩阵与二次型
对称矩阵是线性代数中最美好的矩阵 -- 实特征值、正交特征向量、完美对角化。理解对称矩阵是掌握主成分分析、优化理论和物理振动分析的关键。
正交性与投影 -- 当向量互不干扰
正交性是 GPS 定位、降噪耳机和 JPEG 压缩的数学基础。本章从正交向量与投影的几何直觉出发,一路讲到 Gram-Schmidt 正交化、QR 分解和最小二乘 -- 现代科学计算的脊梁。
特征值与特征向量
矩阵作用在向量上,绝大多数向量会被旋转和拉伸——但总有少数向量方向不变,只是被缩放。这些特征向量和它们对应的特征值,揭示了线性变换最深的结构,从 Google 搜索到 PCA 都靠它撑起。
线性方程组与列空间
Ax = b 何时有解?有几个解?真正的答案是几何的:取决于 b 是否落在 A 的列空间里,也取决于 A 把多少输入维度压成了零。本章把高斯消元、列空间、零空间、秩与秩-零化度定理串成同一幅结构图。
行列式的秘密
行列式不只是繁琐的计算 -- 它度量的是变换对空间的拉伸或压缩程度。本章给出行列式的几何直觉、关键性质和实际应用。
矩阵作为线性变换
矩阵不是数字表格 -- 它们是变换空间的机器。本章展示如何将旋转、缩放、剪切、反射和投影视为矩阵,以及为什么矩阵乘法意味着变换的复合。
线性组合与向量空间
如果向量是积木,线性组合就是搭积木的方法。本章讲透线性代数的五个核心词:张成空间、线性无关、基、维度、子空间。
向量的本质 -- 不仅仅是箭头
向量无处不在 -- 从 GPS 导航到 Netflix 推荐。本章从空间中的箭头出发,构建直觉,一路推进到抽象向量空间,涵盖加法、数乘、内积、范数,以及线性性为何如此重要。