微调 on Chen Kai Bloghttps://www.chenk.top/zh/tags/%E5%BE%AE%E8%B0%83/Recent content in 微调 on Chen Kai BlogHugozh-CNWed, 05 Nov 2025 09:00:00 +0000自然语言处理（八）：模型微调与 PEFThttps://www.chenk.top/zh/nlp/08-%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E4%B8%8Epeft/Wed, 05 Nov 2025 09:00:00 +0000https://www.chenk.top/zh/nlp/08-%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E4%B8%8Epeft/<p>2020 年，微调一个 70 亿参数的语言模型还是一项需要专门预算的工程：八张 A100 显卡、几天时间，外加一位懂得调试梯度检查点的工程师；而到了 2024 年，一名研究生用一台笔记本电脑就能完成。从这两个世界之间的鸿沟，几乎完全被两篇论文填平——胡等人（Hu et al.）在 ICLR 2022 提出的 LoRA，以及 Dettmers 等人在 NeurIPS 2023 发表的 QLoRA。</p>