矩阵微积分

矩阵微积分与优化 -- 从梯度到反向传播

调淋浴水温就是一个最小号的神经网络训练：根据误差去调一个参数。矩阵微积分把这件事推广到上亿个参数，优化算法则是把它做下去的引擎。本章从标量梯度讲到 Jacobian、Hessian、反向传播、凸优化与 Adam。