Tagged

迁移学习

Oct 21, 2025 NLP 14 min read

自然语言处理(五):BERT与预训练模型

BERT 如何让双向预训练成为 NLP 的默认范式:从架构到 80/10/10 掩码规则,到微调技巧,再到 RoBERTa/ALBERT/ELECTRA 全家桶,并附完整 HuggingFace 代码。

Jul 6, 2025 Transfer Learning 11 min read

迁移学习(十二):工业应用与最佳实践

系列收官。把迁移学习推上生产线的实战指南:何时用、如何串成端到端管线、算力与美元的真实账单、四个标杆案例、A/B 测试、生产环境的分布漂移监控,以及 12 个月的 ROI 模型。

Jun 30, 2025 Transfer Learning 11 min read

迁移学习(十一):跨语言迁移

从双语词向量对齐讲到 mBERT/XLM-R 多语言预训练,系统拆解零样本迁移、translate-train、translate-test 的取舍,分析迁移差距的来源(语系、文字、资源量),并给出 pivot 策略与可落地的工程建议。

Jun 24, 2025 Transfer Learning 2 min read

迁移学习(十):持续学习

从梯度干扰和 Fisher 信息出发推导灾难性遗忘的成因,系统讲解 EWC、MAS、SI、LwF 四种正则化方法,Replay/A-GEM 重放方法,动态架构与三大 CL 场景的差异,并附 Permuted MNIST 上的 EWC 从零实现。

Jun 18, 2025 Transfer Learning 11 min read

迁移学习(九):参数高效微调

从低秩适配的数学原理出发,系统讲解 LoRA、Adapter、Prefix-Tuning、Prompt-Tuning、BitFit、QLoRA 等参数高效微调方法,附 LoRA 从零实现与方法选型指南。

Jun 12, 2025 Transfer Learning 12 min read

迁移学习(八):多模态迁移

推导对比学习的 InfoNCE 损失与互信息下界,讲透 CLIP 双塔结构、BLIP-2 的 Q-Former 桥接策略、跨模态检索与三种融合范式,并给出可运行的 PyTorch 实现。

Jun 6, 2025 Transfer Learning 12 min read

迁移学习(七):零样本学习

从第一性原理推导零样本学习:DAP 属性原型、双线性与深度兼容性函数、DeViSE、生成式 ZSL 的 f-CLSWGAN、广义 ZSL 的偏置问题与校准方法,以及 CLIP 这种视觉-语言预训练带来的范式跃迁,附 PyTorch 核心实现。

May 31, 2025 Transfer Learning 15 min read

迁移学习(六):多任务学习

多任务学习完全指南:硬/软参数共享、梯度冲突与 PCGrad/GradNorm/CAGrad、辅助任务设计,以及完整的多任务框架实现。

May 25, 2025 Transfer Learning 12 min read

迁移学习(五):知识蒸馏

把大模型的能力压进小模型而几乎不掉点:暗知识、温度缩放、响应/特征/关系蒸馏、自蒸馏与多策略实现的完整指南。

May 19, 2025 Transfer Learning 13 min read

迁移学习(四):小样本学习

从极少样本中学会新概念:N-way K-shot 评测协议、度量学习(Siamese、Prototypical、Matching、Relation 网络)、元学习(MAML、Reptile)、Episode 训练范式,以及一份可直接运行的 Prototypical 网络实现。

May 13, 2025 Transfer Learning 13 min read

迁移学习(三):域适应

域适应实战指南:协变量偏移、标签偏移、DANN 梯度反转、MMD 对齐、CORAL、自训练、AdaBN,以及一份可运行的 DANN 完整实现。

May 7, 2025 Transfer Learning 14 min read

迁移学习(二):预训练与微调

预训练如何从无标注数据中学到强大的先验,微调如何把它适配到具体任务。涵盖对比学习、掩码语言模型、判别式学习率、层冻结、灾难性遗忘、LoRA,以及一个工业级 BERT 微调实现。

May 1, 2025 Transfer Learning 15 min read

迁移学习(一):基础与核心概念

迁移学习入门指南:为什么迁移有效、形式化定义、分类体系、负迁移,以及一个基于 MMD 域适应的完整特征迁移实现。