https://www.chenk.top/zh/tags/clip/Recent content in CLIP on Chen Kai BlogHugozh-CNThu, 20 Nov 2025 09:00:00 +0000https://www.chenk.top/zh/nlp/11-%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E6%A8%A1%E5%9E%8B/Thu, 20 Nov 2025 09:00:00 +0000https://www.chenk.top/zh/nlp/11-%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E6%A8%A1%E5%9E%8B/<p>人类从来不会只通过单一感官来理解世界——我们看图表时会同时读标题，观察表情时会留意语气，讨论代码 bug 时也会瞥一眼截图。然而，纯文本语言模型对这些丰富的多模态信息完全无感，既“听不见”也“看不见”。<strong>多模态大语言模型（Multimodal Large Language Models, MLLMs）</strong> 的出现正是为了填补这一空白：它们将图像、音频和视频映射到与语言模型一致的表示空间中，从而让模型能够理解和处理多模态信息。</p>https://www.chenk.top/zh/transfer-learning/08-%E5%A4%9A%E6%A8%A1%E6%80%81%E8%BF%81%E7%A7%BB/Thu, 12 Jun 2025 09:00:00 +0000https://www.chenk.top/zh/transfer-learning/08-%E5%A4%9A%E6%A8%A1%E6%80%81%E8%BF%81%E7%A7%BB/<p>一个从未见过“缅甸猫”标签的模型，却能正确分类一张缅甸猫的图片。传统监督学习每个类别需要几百万张标注样本，而 OpenAI 在 2021 年发布的 CLIP 完全规避了这一限制：它将图像与自然语言描述共同映射到同一向量空间，此时“分类”即等价于从用户提供的任意候选句子中选出与该图像嵌入余弦相似度最高的一句。</p>https://www.chenk.top/zh/transfer-learning/07-%E9%9B%B6%E6%A0%B7%E6%9C%AC%E5%AD%A6%E4%B9%A0/Fri, 06 Jun 2025 09:00:00 +0000https://www.chenk.top/zh/transfer-learning/07-%E9%9B%B6%E6%A0%B7%E6%9C%AC%E5%AD%A6%E4%B9%A0/<p>你从未见过斑马。如果我告诉你它外形似马、身披黑白相间条纹，下次在动物园看到斑马时，你就能一眼认出来——无需标注数据，也无需微调，只需一座<strong>语义桥梁</strong>，将你已知的概念（如马、条纹）与未知类别（如斑马）关联起来。</p>