Random Forest on Chen Kai Bloghttps://www.chenk.top/zh/tags/random-forest/Recent content in Random Forest on Chen Kai BlogHugozh-CNFri, 30 Jan 2026 09:00:00 +0000机器学习数学推导（十一）：集成学习https://www.chenk.top/zh/ml-math-derivations/11-%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/Fri, 30 Jan 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/11-%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/<p>为什么一群平庸的分类器组合起来能胜过一个超级厉害的分类器？答案很简单：取平均能降低方差，逐步调整权重能减少偏差，再加上一点随机性，就能打破相关性——否则前面的努力都会白费。本文将深入推导背后的数学原理，包括偏差-方差分解、Bagging 和随机森林如何利用 Bootstrap、AdaBoost 在指数损失下的前向分步优化，以及 GBDT 如何将这些方法统一为函数空间中的梯度下降。</p>