GNN on Chen Kai Blog

偏微分方程与机器学习（八）：反应扩散系统与 GNN

Wed, 14 Aug 2024 09:00:00 +0000

深层 GNN 大家都见过它崩——堆到十几层之后所有节点的 embedding 几乎一样，模型“糊掉”了。这个现象有个名字叫 over-smoothing，背后的数学原因其实非常干净：GNN 的消息传递本质上就是图上的扩散方程，扩散到最后所有节点都收敛到同一个常数。

HCGR —— Hyperbolic Contrastive Graph Representation Learning for Session-based Recommendation

Wed, 01 May 2024 09:00:00 +0000

会话推荐中的“兴趣结构”几乎天然是分层的：用户先点开一个大类（如“跑鞋”），再筛选品牌、尺码和价位，最终选定一个 SKU。这条交互轨迹天然构成一棵树——每次点击都会将候选集大致按固定倍数缩小。问题在于，在欧氏空间中嵌入这类树状结构需要大幅增加维度，以避免叶子节点在表示空间中过度靠近，因为欧氏空间的“体积”只随半径多项式增长；而双曲空间的体积随半径指数级增长，正好与树的分支增长是同一个量级，几维就能把整条长尾摊开。

SR-GNN —— Session-based Recommendation with Graph Neural Networks

Sun, 25 Jun 2023 09:00:00 +0000

用户依次点击 A、 B、 C、 B、 D。将其输入序列模型，得到的是五个 token 压缩而成的单一隐状态；而输入 SR-GNN，则生成一张有向图——边 B -> C 即便用户回到 B 也仍然存在，节点 B 只出现一次（它的入边和出邻居都会贡献到它的表示上），整段点击的拓扑都被原样保留在邻接矩阵里。这就是 SR-GNN（Wu 等, AAAI 2019）在多个会话推荐基准上稳稳压过 GRU4Rec、 NARM 等纯序列模型的根本原因。

Graph Contextualized Self-Attention Network for Session-based Recommendation

Sun, 29 Jan 2023 09:00:00 +0000

会话推荐里你能看到的只是一小段匿名点击序列，没有用户画像、历史长期偏好或人口统计，所有信号都封装在这几次点击中。GC-SAN（IJCAI 2019）的思路很务实：把当时最强的两个想法直接叠起来——SR-GNN 的会话图捕捉局部转移结构，Transformer 的自注意力捕捉长距离意图，最后用一个标量权重把“当前点击”和“全局意图”线性融合。它本身不引入新机制，但作为一个基准，至今仍难以被同等参数量级的模型超越。

Integrating Large Language Models with Graphical Session-Based Recommendation

Sun, 22 Jan 2023 09:00:00 +0000

会话推荐（Session-based Recommendation, SBR）本质上是一个“短历史”问题：你只看到用户在一次会话中很短的一段点击序列（通常 3-20 次），就要预测下一个最可能点击的物品。难点在于工程现实——会话短、长尾多、冷启动多，仅依赖交互图（ID + 转移边）往往难以稳定训练：新物品几乎无交互边，长尾物品的边既稀疏又不可靠，用户随意点击还会引入噪声。

Graph Neural Networks for Learning Equivariant Representations of Neural Networks

Sun, 03 Apr 2022 09:00:00 +0000

把一个 MLP 的隐藏单元换个顺序，函数本身不变，但参数向量却完全不同——这是「在网络空间里做学习」绕不开的第一道坎。如果不尊重这种置换对称性，下游模型就需要大量容量来记忆同一个函数的不同写法，从而影响泛化和迁移。 Kofinas 等人在 ICML 2024 的论文 Graph Neural Networks for Learning Equivariant Representations of Neural Networks 提出了一种简洁的解决方案：将网络视为有向图（神经元为节点，权重为边），并使用对节点置换等变的 GNN 来读取。下面依次介绍为什么需要等变、神经图怎么构造、等变的意义、模型搭建方法以及四类下游任务及其细节与坑。