Information Entropy on Chen Kai Bloghttps://www.chenk.top/zh/tags/information-entropy/Recent content in Information Entropy on Chen Kai BlogHugozh-CNMon, 26 Jan 2026 09:00:00 +0000机器学习数学推导（七）：决策树https://www.chenk.top/zh/ml-math-derivations/07-%E5%86%B3%E7%AD%96%E6%A0%91/Mon, 26 Jan 2026 09:00:00 +0000https://www.chenk.top/zh/ml-math-derivations/07-%E5%86%B3%E7%AD%96%E6%A0%91/<p><strong>导言：</strong> 决策树模仿了人类做决定的过程：先问一个问题，根据答案分叉，再问下一个问题。这种直观做法背后的数学却出人意料地丰富——信息论中的熵告诉我们该先问哪个问题；基尼指数提供了一个计算更高效、效果几乎相同的替代方案；而代价复杂度剪枝则给出了一种有理论依据的方法，防止模型记住噪声。如今几乎所有主流的提升集成方法（如 XGBoost、LightGBM 和 CatBoost）本质上都是这些决策树的巧妙组合，因此扎实掌握基础将带来丰厚回报。</p>