https://www.chenk.top/zh/tags/llm-alignment/Recent content in LLM Alignment on Chen Kai BlogHugozh-CNThu, 25 Sep 2025 09:00:00 +0000https://www.chenk.top/zh/reinforcement-learning/12-rlhf%E4%B8%8E%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%BA%94%E7%94%A8/Thu, 25 Sep 2025 09:00:00 +0000https://www.chenk.top/zh/reinforcement-learning/12-rlhf%E4%B8%8E%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%BA%94%E7%94%A8/<p>GPT-3（2020 年 6 月）和 ChatGPT（2022 年 11 月）共享了大部分权重。基础模型能写出流畅的散文、补全代码，也能续写任意给定的模式；但当你直接问它一个简单问题时，它却可能喋喋不休、以错误理由拒绝回答、编造虚假引用，甚至输出有害内容。从 GPT-3 到 ChatGPT 的两年半时间，并没有花在扩大 Transformer 规模上，而是聚焦于一个更根本的问题：<strong>如何让模型真正有用</strong>——而这本质上是一个强化学习问题。</p>