https://www.chenk.top/zh/tags/pac-learning/Recent content in PAC Learning on Chen Kai BlogHugozh-CNSun, 08 Feb 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/20-%E6%AD%A3%E5%88%99%E5%8C%96%E4%B8%8E%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9/Sun, 08 Feb 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/20-%E6%AD%A3%E5%88%99%E5%8C%96%E4%B8%8E%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9/<h2 id="你将学到什么" class="heading-anchor">你将学到什么<a href="#%e4%bd%a0%e5%b0%86%e5%ad%a6%e5%88%b0%e4%bb%80%e4%b9%88" class="heading-link" aria-label="Permalink to this section" title="Copy link to this section">#</a> </h2><p>一个拥有 1 亿参数的网络，用 5 万张图片训练，按经典理论应该会严重过拟合，但现代深度网络却能很好地泛化。这背后主要有两个原因：<strong>正则化</strong>——一系列限制模型容量的技术；以及<strong>泛化理论</strong>——从数学上解释学习何时有效。作为整个系列的最后一章，我们将整合之前积累的所有工具——最小二乘、MAP 估计、优化方法、EM 算法、神经网络——来探讨这个领域最深刻的问题：<strong>机器学习为什么能泛化？</strong></p>https://www.chenk.top/zh/ml-math-derivations/01-%E7%BB%AA%E8%AE%BA%E4%B8%8E%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/Tue, 20 Jan 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/01-%E7%BB%AA%E8%AE%BA%E4%B8%8E%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/<h2 id="本章内容" class="heading-anchor">本章内容<a href="#%e6%9c%ac%e7%ab%a0%e5%86%85%e5%ae%b9" class="heading-link" aria-label="Permalink to this section" title="Copy link to this section">#</a> </h2><p>2005 年，Google Research 在公开评测中证明：仅用原始双语语料训练的统计翻译模型，竟能超越语言学家数十年精心设计的规则系统。这一结论令当时的专家颇感不适，却在数学上令人振奋——<strong>一个从未被告知语言规则的系统，只要有足够多的例子，依然能自行还原这些规则</strong>。这是为什么？</p>