https://www.chenk.top/zh/tags/backpropagation/Recent content in Backpropagation on Chen Kai BlogHugozh-CNSat, 07 Feb 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/19-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD/Sat, 07 Feb 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/19-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD/<h2 id="本文概览" class="heading-anchor">本文概览<a href="#%e6%9c%ac%e6%96%87%e6%a6%82%e8%a7%88" class="heading-link" aria-label="Permalink to this section" title="Copy link to this section">#</a> </h2><p>单个感知机无法解决 XOR 问题，但只要堆叠足够多的感知机并引入非线性激活函数，就能构建出一个<strong>通用函数逼近器</strong>。那么，这样的网络如何从数据中学习？答案是<strong>反向传播</strong>——它本质上是对链式法则的高效应用，通过一次反向遍历复用中间结果，成为过去四十年所有深度学习库的核心引擎。深入理解其数学原理，还能揭示两个关键现象：为什么深层网络容易遭遇梯度消失或爆炸，以及为什么权重初始化远非随意选择。</p>https://www.chenk.top/zh/linear-algebra/11-%E7%9F%A9%E9%98%B5%E5%BE%AE%E7%A7%AF%E5%88%86%E4%B8%8E%E4%BC%98%E5%8C%96/Wed, 12 Mar 2025 09:00:00 +0000https://www.chenk.top/zh/linear-algebra/11-%E7%9F%A9%E9%98%B5%E5%BE%AE%E7%A7%AF%E5%88%86%E4%B8%8E%E4%BC%98%E5%8C%96/<h2 id="从淋浴龙头到神经网络" class="heading-anchor">从淋浴龙头到神经网络<a href="#%e4%bb%8e%e6%b7%8b%e6%b5%b4%e9%be%99%e5%a4%b4%e5%88%b0%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c" class="heading-link" aria-label="Permalink to this section" title="Copy link to this section">#</a> </h2><p>每天早上，你都在训练一个微型神经网络：水太冷时，你会拧一下水龙头旋钮——这是一个<strong>参数</strong>；一秒钟后，你感受到新的水温——这是<strong>误差信号</strong>；接着再拧一次。经过三四次调整，水温就刚刚好。</p>