Trust Region on Chen Kai Bloghttps://www.chenk.top/zh/tags/trust-region/Recent content in Trust Region on Chen Kai BlogHugozh-CNTue, 26 Aug 2025 09:00:00 +0000强化学习（六）：PPO 与 TRPO —— 信任域策略优化https://www.chenk.top/zh/reinforcement-learning/06-ppo%E4%B8%8Etrpo-%E4%BF%A1%E4%BB%BB%E5%9F%9F%E7%AD%96%E7%95%A5%E4%BC%98%E5%8C%96/Tue, 26 Aug 2025 09:00:00 +0000https://www.chenk.top/zh/reinforcement-learning/06-ppo%E4%B8%8Etrpo-%E4%BF%A1%E4%BB%BB%E5%9F%9F%E7%AD%96%E7%95%A5%E4%BC%98%E5%8C%96/<p>策略梯度（第三部分）直接优化策略，绕开了离散的 <code>argmax</code> 操作，还能自然处理随机策略。但它存在一个致命缺陷：<strong>一次过大的更新就可能彻底摧毁策略</strong>。更糟的是，由于数据分布与策略紧密耦合，一旦崩溃，几乎无法恢复。</p>