https://www.chenk.top/zh/tags/catastrophic-forgetting/Recent content in Catastrophic Forgetting on Chen Kai BlogHugozh-CNTue, 24 Jun 2025 09:00:00 +0000https://www.chenk.top/zh/transfer-learning/10-%E6%8C%81%E7%BB%AD%E5%AD%A6%E4%B9%A0/Tue, 24 Jun 2025 09:00:00 +0000https://www.chenk.top/zh/transfer-learning/10-%E6%8C%81%E7%BB%AD%E5%AD%A6%E4%B9%A0/<p>我今年能自学吉他，同时仍记得如何骑自行车；但神经网络却无法做到这一点。先在 CIFAR-10 上微调一个视觉模型，再在 SVHN 上继续微调——此时若重新在 CIFAR-10 上测试，准确率会骤降至接近随机猜测的水平。这一现象被称为<strong>灾难性遗忘（catastrophic forgetting）</strong>。如何让模型像人一样，在源源不断的任务流 <span class="math-inline">$\mathcal{T}_1, \mathcal{T}_2, \ldots$</span> 中持续学习新知识，又不忘记旧技能，正是**持续学习（continual learning，CL）**要解决的核心问题——且必须在无法访问历史任务数据的前提下实现。</p>