https://www.chenk.top/zh/tags/reaction-diffusion/Recent content in Reaction-Diffusion on Chen Kai BlogHugozh-CNWed, 14 Aug 2024 09:00:00 +0000https://www.chenk.top/zh/pde-ml/08-%E5%8F%8D%E5%BA%94%E6%89%A9%E6%95%A3%E7%B3%BB%E7%BB%9F%E4%B8%8Egnn/Wed, 14 Aug 2024 09:00:00 +0000https://www.chenk.top/zh/pde-ml/08-%E5%8F%8D%E5%BA%94%E6%89%A9%E6%95%A3%E7%B3%BB%E7%BB%9F%E4%B8%8Egnn/<p>深层 GNN 大家都见过它崩——堆到十几层之后所有节点的 embedding 几乎一样，模型“糊掉”了。这个现象有个名字叫 <strong>over-smoothing</strong>，背后的数学原因其实非常干净：<strong>GNN 的消息传递本质上就是图上的扩散方程</strong>，扩散到最后所有节点都收敛到同一个常数。</p>