https://www.chenk.top/zh/tags/parameter-efficiency/Recent content in Parameter Efficiency on Chen Kai BlogHugozh-CNWed, 18 Jun 2025 09:00:00 +0000https://www.chenk.top/zh/transfer-learning/09-%E5%8F%82%E6%95%B0%E9%AB%98%E6%95%88%E5%BE%AE%E8%B0%83/Wed, 18 Jun 2025 09:00:00 +0000https://www.chenk.top/zh/transfer-learning/09-%E5%8F%82%E6%95%B0%E9%AB%98%E6%95%88%E5%BE%AE%E8%B0%83/<p>单张 GPU 如何微调 1750 亿参数的模型？只需更新 0.1% 的参数即可——参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）使这成为可能。在大多数基准测试中，其效果几乎与全量微调持平。本文将从数学原理出发，推导 LoRA、Adapter、Prefix-Tuning、Prompt-Tuning、BitFit 和 QLoRA 的设计逻辑，并用一张图帮助你选择合适的方法。</p>