https://www.chenk.top/zh/tags/weight-initialization/Recent content in Weight Initialization on Chen Kai BlogHugozh-CNSat, 07 Feb 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/19-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD/Sat, 07 Feb 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/19-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD/<h2 id="本文概览" class="heading-anchor">本文概览<a href="#%e6%9c%ac%e6%96%87%e6%a6%82%e8%a7%88" class="heading-link" aria-label="Permalink to this section" title="Copy link to this section">#</a> </h2><p>单个感知机无法解决 XOR 问题，但只要堆叠足够多的感知机并引入非线性激活函数，就能构建出一个<strong>通用函数逼近器</strong>。那么，这样的网络如何从数据中学习？答案是<strong>反向传播</strong>——它本质上是对链式法则的高效应用，通过一次反向遍历复用中间结果，成为过去四十年所有深度学习库的核心引擎。深入理解其数学原理，还能揭示两个关键现象：为什么深层网络容易遭遇梯度消失或爆炸，以及为什么权重初始化远非随意选择。</p>