https://www.chenk.top/zh/tags/ppo/Recent content in PPO on Chen Kai BlogHugozh-CNTue, 26 Aug 2025 09:00:00 +0000https://www.chenk.top/zh/reinforcement-learning/06-ppo%E4%B8%8Etrpo-%E4%BF%A1%E4%BB%BB%E5%9F%9F%E7%AD%96%E7%95%A5%E4%BC%98%E5%8C%96/Tue, 26 Aug 2025 09:00:00 +0000https://www.chenk.top/zh/reinforcement-learning/06-ppo%E4%B8%8Etrpo-%E4%BF%A1%E4%BB%BB%E5%9F%9F%E7%AD%96%E7%95%A5%E4%BC%98%E5%8C%96/<p>策略梯度（第三部分）直接优化策略，绕开了离散的 <code>argmax</code> 操作，还能自然处理随机策略。但它存在一个致命缺陷：<strong>一次过大的更新就可能彻底摧毁策略</strong>。更糟的是，由于数据分布与策略紧密耦合，一旦崩溃，几乎无法恢复。</p>https://www.chenk.top/zh/reinforcement-learning/03-policy-gradient%E4%B8%8Eactor-critic%E6%96%B9%E6%B3%95/Mon, 11 Aug 2025 09:00:00 +0000https://www.chenk.top/zh/reinforcement-learning/03-policy-gradient%E4%B8%8Eactor-critic%E6%96%B9%E6%B3%95/<p>DQN 证明了深度强化学习能够成功解决 Atari 游戏，但其能力存在明显局限：仅适用于<strong>离散动作空间</strong>。若用于控制具有七个连续关节角度的机械臂，则会完全失效——因为每一步动作选择都需要额外求解一个内部优化问题。</p>