Self-Supervised Learning on Chen Kai Bloghttps://www.chenk.top/zh/tags/self-supervised-learning/Recent content in Self-Supervised Learning on Chen Kai BlogHugozh-CNWed, 07 May 2025 09:00:00 +0000迁移学习（二）：预训练与微调https://www.chenk.top/zh/transfer-learning/02-%E9%A2%84%E8%AE%AD%E7%BB%83%E4%B8%8E%E5%BE%AE%E8%B0%83%E6%8A%80%E6%9C%AF/Wed, 07 May 2025 09:00:00 +0000https://www.chenk.top/zh/transfer-learning/02-%E9%A2%84%E8%AE%AD%E7%BB%83%E4%B8%8E%E5%BE%AE%E8%B0%83%E6%8A%80%E6%9C%AF/<p>2018 年，BERT 横空出世，几乎一夜之间改变了 NLP 的游戏规则。一个在 Wikipedia 和 BookCorpus 上预训练的模型，只需几千条标注数据进行微调，就能超越研究者们花费数年精心设计的任务专用架构。同样的故事后来在视觉领域（ImageNet 预训练、SimCLR、MAE）、语音领域（wav2vec 2.0）以及代码领域（Codex）不断重演。如今，“一次预训练，到处微调”已经成为现代深度学习的标准做法。</p>