LoRA on Chen Kai Blog

大模型工程（四）：SFT、DPO 与 RLHF

Mon, 30 Mar 2026 09:00:00 +0000

预训练得到的基座模型只能续写文本，而听懂指令、拒绝有害请求、维持人设等能力，则属于后训练阶段的任务——这也正是论文宣称的效果与真正生产级模型之间差距最大的地方。本章将深入探讨各类后训练算法究竟在优化什么、为什么大多数奖励模型其实存在隐性缺陷，以及到 2026 年真正行之有效的实践方法。

自然语言处理（八）：模型微调与 PEFT

Wed, 05 Nov 2025 09:00:00 +0000

2020 年，微调一个 70 亿参数的语言模型还是一项需要专门预算的工程：八张 A100 显卡、几天时间，外加一位懂得调试梯度检查点的工程师；而到了 2024 年，一名研究生用一台笔记本电脑就能完成。从这两个世界之间的鸿沟，几乎完全被两篇论文填平——胡等人（Hu et al.）在 ICLR 2022 提出的 LoRA，以及 Dettmers 等人在 NeurIPS 2023 发表的 QLoRA。

迁移学习（九）：参数高效微调

Wed, 18 Jun 2025 09:00:00 +0000

单张 GPU 如何微调 1750 亿参数的模型？只需更新 0.1% 的参数即可——参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）使这成为可能。在大多数基准测试中，其效果几乎与全量微调持平。本文将从数学原理出发，推导 LoRA、Adapter、Prefix-Tuning、Prompt-Tuning、BitFit 和 QLoRA 的设计逻辑，并用一张图帮助你选择合适的方法。

迁移学习（二）：预训练与微调

Wed, 07 May 2025 09:00:00 +0000

2018 年，BERT 横空出世，几乎一夜之间改变了 NLP 的游戏规则。一个在 Wikipedia 和 BookCorpus 上预训练的模型，只需几千条标注数据进行微调，就能超越研究者们花费数年精心设计的任务专用架构。同样的故事后来在视觉领域（ImageNet 预训练、SimCLR、MAE）、语音领域（wav2vec 2.0）以及代码领域（Codex）不断重演。如今，“一次预训练，到处微调”已经成为现代深度学习的标准做法。

Mixture-of-Subspaces in Low-Rank Adaptation (MoSLoRA)

Sun, 01 Sep 2024 09:00:00 +0000

LoRA 将全量微调压缩为一个低秩更新，在工程上近乎零成本：参数量少、训练稳定、可合并回原权重，因此部署开销与原模型完全一致。然而，一旦微调数据具备一定异质性——例如混合了代码、数学、指令遵循和文本生成任务——单一低秩子空间便难以充分建模。直觉上的解法是把 $$r$$ 调大，可惜代价线性增长，而且本质上依然只有一个子空间，只是更“胖”了。