https://www.chenk.top/zh/tags/attention/Recent content in Attention on Chen Kai BlogHugozh-CNWed, 16 Oct 2024 09:00:00 +0000https://www.chenk.top/zh/time-series/04-attention%E6%9C%BA%E5%88%B6/Wed, 16 Oct 2024 09:00:00 +0000https://www.chenk.top/zh/time-series/04-attention%E6%9C%BA%E5%88%B6/<p>RNN 和 LSTM 解决了&quot;时间步太多&quot;的问题，但留下了另一个更隐蔽的限制：信息必须<strong>逐步传递</strong>。要让第 100 步看到第 1 步的内容，得让那个信号沿着隐藏状态一路传 99 次——每一步都有衰减，每一步都得经过非线性挤压。即使 LSTM 的细胞状态再&quot;高速公路&quot;，也终究是单条车道、单向通行。</p>