https://www.chenk.top/zh/tags/%E5%8F%82%E6%95%B0%E9%AB%98%E6%95%88%E5%BE%AE%E8%B0%83/Recent content in 参数高效微调 on Chen Kai BlogHugozh-CNTue, 29 Jul 2025 09:00:00 +0000https://www.chenk.top/zh/standalone/prefix-tuning-optimizing-continuous-prompts-for-generation/Tue, 29 Jul 2025 09:00:00 +0000https://www.chenk.top/zh/standalone/prefix-tuning-optimizing-continuous-prompts-for-generation/<p>将 GPT-2 微调到具体任务上需要额外存储 1.5B 参数的权重；切换十几个任务时，存储和上线成本会让团队望而却步，更不用说实现“一份基模 + 多任务共享”的理想架构。<strong>Prefix-Tuning</strong>（Li &amp; Liang, 2021）走了一条相反的路：模型权重一个不动，只学一小段连续向量——也就是论文里所说的“前缀”——在每一层注意力里被当作“已经在那里的上下文”喂进去。模型本身保持不变，只需更换前缀，即可赋予模型对应任务的适配行为。</p>https://www.chenk.top/zh/standalone/mixture-of-subspaces-in-low-rank-adaptation-moslora/Sun, 01 Sep 2024 09:00:00 +0000https://www.chenk.top/zh/standalone/mixture-of-subspaces-in-low-rank-adaptation-moslora/<p>LoRA 将全量微调压缩为一个低秩更新，在工程上近乎零成本：参数量少、训练稳定、可合并回原权重，因此部署开销与原模型完全一致。然而，一旦微调数据具备一定异质性——例如混合了代码、数学、指令遵循和文本生成任务——单一低秩子空间便难以充分建模。直觉上的解法是把 <span class="math-inline">$r$</span> 调大，可惜代价线性增长，而且本质上依然只有<strong>一个</strong>子空间，只是更“胖”了。</p>