Least Squares on Chen Kai Bloghttps://www.chenk.top/zh/tags/least-squares/Recent content in Least Squares on Chen Kai BlogHugozh-CNSat, 24 Jan 2026 09:00:00 +0000机器学习数学推导（五）：线性回归https://www.chenk.top/zh/ml-math-derivations/05-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/Sat, 24 Jan 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/05-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/<p><strong>引子：</strong> 1886 年，Francis Galton 在研究遗传时发现了一个奇怪的现象：特别高或特别矮的父母，他们的孩子身高往往会比父母更接近平均值。他把这种“向均值靠拢”的现象称为 <em>regression</em>，这个名字一直沿用至今。一个统计学上的小发现，最终演变成了机器学习中最重要的基础模型——并非因为线性回归本身有多强大，而是因为几乎所有其他算法（逻辑回归、神经网络、核方法等）本质上都是同一种思想的变体：<strong>在合适的空间里拟合一条直线。</strong></p>线性代数（七）：正交性与投影——当向量互不干扰https://www.chenk.top/zh/linear-algebra/07-%E6%AD%A3%E4%BA%A4%E6%80%A7%E4%B8%8E%E6%8A%95%E5%BD%B1/Wed, 12 Feb 2025 09:00:00 +0000https://www.chenk.top/zh/linear-algebra/07-%E6%AD%A3%E4%BA%A4%E6%80%A7%E4%B8%8E%E6%8A%95%E5%BD%B1/<h2 id="为什么正交性如此重要" class="heading-anchor">为什么正交性如此重要<a href="#%e4%b8%ba%e4%bb%80%e4%b9%88%e6%ad%a3%e4%ba%a4%e6%80%a7%e5%a6%82%e6%ad%a4%e9%87%8d%e8%a6%81" class="heading-link" aria-label="Permalink to this section" title="Copy link to this section">#</a> </h2><p>两个向量<strong>正交</strong>，意味着它们彼此互不干扰。一个方向上的信息完全不会影响另一个方向。这个简单的概念支撑了 GPS 定位、降噪耳机、JPEG 压缩、推荐系统以及数值线性代数的大部分应用。</p>