https://www.chenk.top/zh/tags/prefix-tuning/Recent content in Prefix-Tuning on Chen Kai BlogHugozh-CNTue, 29 Jul 2025 09:00:00 +0000https://www.chenk.top/zh/standalone/prefix-tuning-optimizing-continuous-prompts-for-generation/Tue, 29 Jul 2025 09:00:00 +0000https://www.chenk.top/zh/standalone/prefix-tuning-optimizing-continuous-prompts-for-generation/<p>将 GPT-2 微调到具体任务上需要额外存储 1.5B 参数的权重；切换十几个任务时，存储和上线成本会让团队望而却步，更不用说实现“一份基模 + 多任务共享”的理想架构。<strong>Prefix-Tuning</strong>（Li &amp; Liang, 2021）走了一条相反的路：模型权重一个不动，只学一小段连续向量——也就是论文里所说的“前缀”——在每一层注意力里被当作“已经在那里的上下文”喂进去。模型本身保持不变，只需更换前缀，即可赋予模型对应任务的适配行为。</p>