https://www.chenk.top/zh/tags/%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B/Recent content in 高斯过程 on Chen Kai BlogHugozh-CNSun, 19 Dec 2021 09:00:00 +0000https://www.chenk.top/zh/kernel-methods/06-%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B/Sun, 19 Dec 2021 09:00:00 +0000https://www.chenk.top/zh/kernel-methods/06-%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B/<p>核岭回归给你一个数。喂进 <span class="math-inline">$x_*$</span> ，它返回 <span class="math-inline">$\hat{y}_* = 23.7$</span> 。完。但你接下来要<em>用</em>这个预测做事——安排发货、调整剂量、下注——光一个数字不够用。&ldquo;明天 25 度&quot;是一句话；&ldquo;很可能 25 度，95% 的概率落在 22 到 28 之间&quot;才是可以<em>行动</em>的信息。任何在不确定性下的决策都需要后一种。高斯过程是把核方法从&quot;点预测器&quot;升级到&quot;分布预测器&quot;最干净的路径，且不需要扔掉前五篇里任何一行核函数的代数。这一升级的代价仅仅是一次 Cholesky——同样的 <span class="math-inline">$O(n^3)$</span> 、同样的 Gram 矩阵——却额外白送了后验协方差和边际似然两件相当昂贵的礼物。</p>https://www.chenk.top/zh/kernel-methods/04-%E5%B8%B8%E8%A7%81%E6%A0%B8%E5%87%BD%E6%95%B0%E6%97%8F/Thu, 09 Dec 2021 09:00:00 +0000https://www.chenk.top/zh/kernel-methods/04-%E5%B8%B8%E8%A7%81%E6%A0%B8%E5%87%BD%E6%95%B0%E6%97%8F/<p>你第一次在 sklearn 里写 <code>SVC(kernel='rbf')</code>，<code>gamma</code> 设了多少？<code>'scale'</code>？<code>'auto'</code>？滚动过那个默认值时你压根没看一眼。三个月后模型严重过拟合，Gram 矩阵看着像单位阵，你也不知道是哪个旋钮拧错了。大多数&quot;核调参&quot;的债，其实是<em>选核</em>的债——你为了错误的理由选了默认的核，再多 grid search 也救不回来。</p>