chenk.top
EN
Tagged

GPT

Oct 26, 2025 NLP 5 min read

自然语言处理（六）：GPT与生成式语言模型

从GPT-1到GPT-4：理解自回归语言建模、解码策略（贪心、束搜索、top-k、top-p）、上下文学习，并用HuggingFace构建聊天机器人。

May 7, 2025 Transfer Learning 14 min read

迁移学习（二）：预训练与微调

预训练如何从无标注数据中学到强大的先验，微调如何把它适配到具体任务。涵盖对比学习、掩码语言模型、判别式学习率、层冻结、灾难性遗忘、LoRA，以及一个工业级 BERT 微调实现。