可视化循环神经网络的记忆
机器之心今天在 Reddit 上注意到一篇好文:RNN 记忆的可视化。循环神经网络(RNN)中的记忆在许多应用中继续构成挑战。我们希望 RNN 能够在很多时间内存储信息并在相关时检索它 - 但是 RNN 通常很难做到这一点。目前,学界已经提出了几种网络架构来解决这个问题的各个方面,例如长短期记忆(LSTM)单位和门控循环单位(GRU)。然而,记忆的实际问题仍然是一个挑战。本文介绍了一种定性可视化方法,用于比较循环单元与记忆和上下文理解。该方法适用于上述三个循环单元:嵌套 LSTM,LSTM 和 GRU。详情请点开原文链接。