标签
PEFT
Nov 5, 2025
NLP 技术前沿
16 分钟自然语言处理（八）：模型微调与 PEFT
深入参数高效微调：LoRA 为什么用低秩更新就够、QLoRA 把 7B 模型塞进 6GB 显存的内存账本、Adapter 与 Prefix-Tuning 的取舍，以及生产环境怎么选。
Prefix-Tuning：为生成任务优化连续提示
Prefix-Tuning 冻结整个语言模型，只学习一组注入到注意力层的连续向量来引导生成。本文从注意力公式、重参数化、KV cache 机制到 GPT-2 上的实验，把这套方法和 Adapter、Prompt Tuning、LoRA 的边界讲清楚。
Jun 18, 2025
迁移学习
30 分钟迁移学习（九）：参数高效微调
从低秩适配的数学原理出发，系统讲解 LoRA、Adapter、Prefix-Tuning、Prompt-Tuning、BitFit、QLoRA 等参数高效微调方法，附 LoRA 从零实现与方法选型指南。
Mixture-of-Subspaces in Low-Rank Adaptation (MoSLoRA)
MoSLoRA 用一个 k×k 可学习 mixer 组合 k 个低秩子空间，整体重写为干净的 BWA 乘积，保留可合并性与零推理开销。