https://www.chenk.top/zh/tags/mamba/Recent content in Mamba on Chen Kai BlogHugozh-CNFri, 27 Mar 2026 09:00:00 +0000https://www.chenk.top/zh/llm-engineering/01-architectures/Fri, 27 Mar 2026 09:00:00 +0000https://www.chenk.top/zh/llm-engineering/01-architectures/<p>2017 年提出的 Transformer 模块，到 2026 年依然是所有生产级大语言模型（LLM）的骨架，但其内部组件几乎已被全面替换、稀疏化或专业化。本系列将端到端覆盖现代 LLM 技术栈——架构、训练、推理、检索增强、评估、安全与部署。第一章聚焦模块本身：2026 年注意力机制的实际形态、MoE 如何打破参数量与计算量（FLOPs）的绑定关系，以及 Mamba、RWKV 等非注意力架构在哪些场景下真正优于 Transformer。</p>