NLP
自然语言处理(十二):前沿技术与实战应用
系列收官:Agent 与工具调用(Function Calling、ReAct)、代码生成(Code Llama、Codex)、长上下文(Longformer、Infini-attention)、推理模型(o1、R1)、安全对齐、评估体系,以及基于 FastAPI + vLLM + Docker 的生产级部署。
自然语言处理(十一):多模态大模型
多模态大模型深度解析:CLIP的对比学习、BLIP-2的Q-Former桥接架构、LLaVA的视觉指令微调、Whisper语音识别、GPT-4V能力图谱以及MMBench/MME/MMMU评测体系——配可运行代码。
自然语言处理(十):RAG与知识增强系统
从第一性原理构建生产级 RAG 系统:retrieve-then-generate 概率分解、向量索引(FAISS / Milvus / Chroma / Weaviate / Pinecone)、稠密+稀疏混合检索与 RRF 融合、Cross-encoder 重排、切块策略、查询改写、HyDE,以及 Self-RAG / Corrective-RAG。
自然语言处理(九):大语言模型架构深度解析
拆解现代 LLM 的内部结构:Pre-norm + RMSNorm + SwiGLU + RoPE + GQA、KV Cache 机制、FlashAttention 的 IO 调度、稀疏 MoE,以及 INT8/INT4 量化。
自然语言处理(八):模型微调与PEFT
深入参数高效微调:LoRA 为什么用低秩更新就够、QLoRA 把 7B 模型塞进 6GB 显存的内存账本、Adapter 与 Prefix-Tuning 的取舍,以及生产环境怎么选。
自然语言处理(七):提示工程与In-Context Learning
从提示结构、思维链到 Self-Consistency 与 ReAct:一套关于 In-Context Learning 的工作原理、必须正面应对的方差问题,以及能扩展到生产系统的提示模式。
自然语言处理(六):GPT与生成式语言模型
从GPT-1到GPT-4:理解自回归语言建模、解码策略(贪心、束搜索、top-k、top-p)、上下文学习,并用HuggingFace构建聊天机器人。
自然语言处理(五):BERT与预训练模型
BERT 如何让双向预训练成为 NLP 的默认范式:从架构到 80/10/10 掩码规则,到微调技巧,再到 RoBERTa/ALBERT/ELECTRA 全家桶,并附完整 HuggingFace 代码。
自然语言处理(四):注意力机制与Transformer
从 Seq2Seq 的瓶颈到 Attention Is All You Need,建立缩放点积注意力、多头注意力、位置编码和因果掩码的直觉,并用 PyTorch 从零搭一个完整 Transformer。
自然语言处理(三):RNN与序列建模
RNN、LSTM、GRU 如何通过记忆处理序列。从第一性原理推导梯度消失,用 PyTorch 实现字符级文本生成器和 Seq2Seq 翻译器。
自然语言处理(二):词向量与语言模型
深入理解Word2Vec、GloVe和FastText如何将词语转化为捕获语义的向量。掌握数学原理,用Gensim训练自己的词嵌入,理解嵌入与语言模型的关系。
自然语言处理(一):NLP入门与文本预处理
从第一性原理出发的 NLP 入门:梳理四个时代的脉络,亲手搭建从清洗到向量化的完整流水线,把分词、TF-IDF、n-gram 与分布式表示背后的数学讲清楚。