https://www.chenk.top/zh/tags/l1-regularization/Recent content in L1 Regularization on Chen Kai BlogHugozh-CNSun, 08 Feb 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/20-%E6%AD%A3%E5%88%99%E5%8C%96%E4%B8%8E%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9/Sun, 08 Feb 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/20-%E6%AD%A3%E5%88%99%E5%8C%96%E4%B8%8E%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9/<h2 id="你将学到什么" class="heading-anchor">你将学到什么<a href="#%e4%bd%a0%e5%b0%86%e5%ad%a6%e5%88%b0%e4%bb%80%e4%b9%88" class="heading-link" aria-label="Permalink to this section" title="Copy link to this section">#</a> </h2><p>一个拥有 1 亿参数的网络，用 5 万张图片训练，按经典理论应该会严重过拟合，但现代深度网络却能很好地泛化。这背后主要有两个原因：<strong>正则化</strong>——一系列限制模型容量的技术；以及<strong>泛化理论</strong>——从数学上解释学习何时有效。作为整个系列的最后一章，我们将整合之前积累的所有工具——最小二乘、MAP 估计、优化方法、EM 算法、神经网络——来探讨这个领域最深刻的问题：<strong>机器学习为什么能泛化？</strong></p>https://www.chenk.top/zh/linear-algebra/12-%E7%A8%80%E7%96%8F%E7%9F%A9%E9%98%B5%E4%B8%8E%E5%8E%8B%E7%BC%A9%E6%84%9F%E7%9F%A5/Wed, 19 Mar 2025 09:00:00 +0000https://www.chenk.top/zh/linear-algebra/12-%E7%A8%80%E7%96%8F%E7%9F%A9%E9%98%B5%E4%B8%8E%E5%8E%8B%E7%BC%A9%E6%84%9F%E7%9F%A5/<h2 id="少即是多的奇迹" class="heading-anchor">「少即是多」的奇迹<a href="#%e5%b0%91%e5%8d%b3%e6%98%af%e5%a4%9a%e7%9a%84%e5%a5%87%e8%bf%b9" class="heading-link" aria-label="Permalink to this section" title="Copy link to this section">#</a> </h2><p>一张 2400 万像素的原始照片，大小约为 70 MB；用 JPEG 压缩后，只有几百 KB，压缩比高达 100 倍，但你看不出区别。传统 MRI 扫描需要 30 分钟，而现代压缩感知 MRI 只需 5 分钟，图像质量完全一样。</p>