迁移学习

领域自适应、微调与表征迁移。

12 篇文章

  1. 01

    迁移学习(一):基础与核心概念

    迁移学习入门指南:为什么迁移有效、形式化定义、分类体系、负迁移,以及一个基于 MMD 域适应的完整特征迁移实现。

    34 分钟
  2. 02

    迁移学习(二):预训练与微调

    预训练如何从无标注数据中学到强大的先验,微调如何把它适配到具体任务。涵盖对比学习、掩码语言模型、判别式学习率、层冻结、灾难性遗忘、LoRA,以及一个工业级 BERT 微调实现。

    40 分钟
  3. 03

    迁移学习(三):域适应

    域适应实战指南:协变量偏移、标签偏移、DANN 梯度反转、MMD 对齐、CORAL、自训练、AdaBN,以及一份可运行的 DANN 完整实现。

    36 分钟
  4. 04

    迁移学习(四):小样本学习

    从极少样本中学会新概念:N-way K-shot 评测协议、度量学习(Siamese、Prototypical、Matching、Relation 网络)、元学习(MAML、Reptile)、Episode 训练范式, …

    38 分钟
  5. 05

    迁移学习(五):知识蒸馏

    把大模型的能力压进小模型而几乎不掉点:暗知识、温度缩放、响应/特征/关系蒸馏、自蒸馏与多策略实现的完整指南。

    32 分钟
  6. 06

    迁移学习(六):多任务学习

    多任务学习完全指南:硬/软参数共享、梯度冲突与 PCGrad/GradNorm/CAGrad、辅助任务设计,以及完整的多任务框架实现。

    38 分钟
  7. 07

    迁移学习(七):零样本学习

    从第一性原理推导零样本学习:DAP 属性原型、双线性与深度兼容性函数、DeViSE、生成式 ZSL 的 f-CLSWGAN、广义 ZSL 的偏置问题与校准方法,以及 CLIP 这种视觉-语言预训练带来的范式跃迁,附 PyTorch 核心实 …

    24 分钟
  8. 08

    迁移学习(八):多模态迁移

    推导对比学习的 InfoNCE 损失与互信息下界,讲透 CLIP 双塔结构、BLIP-2 的 Q-Former 桥接策略、跨模态检索与三种融合范式,并给出可运行的 PyTorch 实现。

    44 分钟
  9. 09

    迁移学习(九):参数高效微调

    从低秩适配的数学原理出发,系统讲解 LoRA、Adapter、Prefix-Tuning、Prompt-Tuning、BitFit、QLoRA 等参数高效微调方法,附 LoRA 从零实现与方法选型指南。

    30 分钟
  10. 10

    迁移学习(十):持续学习

    从梯度干扰和 Fisher 信息出发推导灾难性遗忘的成因,系统讲解 EWC、MAS、SI、LwF 四种正则化方法,Replay/A-GEM 重放方法,动态架构与三大 CL 场景的差异,并附 Permuted MNIST 上的 EWC 从零实 …

    26 分钟
  11. 11

    迁移学习(十一):跨语言迁移

    从双语词向量对齐讲到 mBERT/XLM-R 多语言预训练,系统拆解零样本迁移、translate-train、translate-test 的取舍,分析迁移差距的来源(语系、文字、资源量),并给出 pivot 策略与可落地的工程建议。

    54 分钟
  12. 12

    迁移学习(十二):工业应用与最佳实践

    系列收官。把迁移学习推上生产线的实战指南:何时用、如何串成端到端管线、算力与美元的真实账单、四个标杆案例、A/B 测试、生产环境的分布漂移监控,以及 12 个月的 ROI 模型。

    40 分钟