Tagged
凸优化
机器学习数学推导（四）：凸优化理论
从凸集与凸函数出发，严格推导梯度下降、牛顿法、BFGS、KKT 条件与 ADMM——机器学习优化的数学基石。
矩阵微积分与优化 -- 从梯度到反向传播
调淋浴水温就是一个最小号的神经网络训练：根据误差去调一个参数。矩阵微积分把这件事推广到上亿个参数，优化算法则是把它做下去的引擎。本章从标量梯度讲到 Jacobian、Hessian、反向传播、凸优化与 Adam。
从凸集与凸函数出发，严格推导梯度下降、牛顿法、BFGS、KKT 条件与 ADMM——机器学习优化的数学基石。
调淋浴水温就是一个最小号的神经网络训练：根据误差去调一个参数。矩阵微积分把这件事推广到上亿个参数，优化算法则是把它做下去的引擎。本章从标量梯度讲到 Jacobian、Hessian、反向传播、凸优化与 Adam。