MoE

自然语言处理（九）：大语言模型架构深度解析

拆解现代 LLM 的内部结构：Pre-norm + RMSNorm + SwiGLU + RoPE + GQA、KV Cache 机制、FlashAttention 的 IO 调度、稀疏 MoE，以及 INT8/INT4 量化。