https://www.chenk.top/zh/tags/gradient-descent/Recent content in Gradient Descent on Chen Kai BlogHugozh-CNSun, 25 Jan 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/06-%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E4%B8%8E%E5%88%86%E7%B1%BB/Sun, 25 Jan 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/06-%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E4%B8%8E%E5%88%86%E7%B1%BB/<p><strong>开篇</strong>。线性回归可以将输入映射到任意实数——但如果输出必须是 0 到 1 之间的概率呢？逻辑回归通过一个优雅的技巧解决了这个问题：使用 Sigmoid 压缩函数。尽管名字里有“回归”，逻辑回归实际上是一种<strong>分类</strong>算法，其数学原理更是支撑着现代神经网络中每一个神经元的计算。</p>https://www.chenk.top/zh/ml-math-derivations/05-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/Sat, 24 Jan 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/05-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/<p><strong>引子：</strong> 1886 年，Francis Galton 在研究遗传时发现了一个奇怪的现象：特别高或特别矮的父母，他们的孩子身高往往会比父母更接近平均值。他把这种“向均值靠拢”的现象称为 <em>regression</em>，这个名字一直沿用至今。一个统计学上的小发现，最终演变成了机器学习中最重要的基础模型——并非因为线性回归本身有多强大，而是因为几乎所有其他算法（逻辑回归、神经网络、核方法等）本质上都是同一种思想的变体：<strong>在合适的空间里拟合一条直线。</strong></p>https://www.chenk.top/zh/ml-math-derivations/04-%E5%87%B8%E4%BC%98%E5%8C%96%E7%90%86%E8%AE%BA/Fri, 23 Jan 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/04-%E5%87%B8%E4%BC%98%E5%8C%96%E7%90%86%E8%AE%BA/<h2 id="本章概览" class="heading-anchor">本章概览<a href="#%e6%9c%ac%e7%ab%a0%e6%a6%82%e8%a7%88" class="heading-link" aria-label="Permalink to this section" title="Copy link to this section">#</a> </h2><p>1947 年，George Dantzig 提出了单纯形法，用于解决线性规划问题，现代优化理论由此诞生。八十年过去了，优化已成为机器学习的核心驱动力——无论是通过一行代码实现的线性回归，还是拥有 700 亿参数的语言模型，每个训练完成的模型本质上都是某个优化问题的答案。</p>