ThinkNet:迄今为止最简单的语言建模网络
这篇短论文《Think Again Networks and the Delta Loss》介绍了一种名为 Think Again Network(ThinkNet)的抽象概念,并展示了 ThinkNet 在语言建模任务中的简单应用。它可以用于任何状态依赖的函数(如循环神经网络),在 Penn Treebank 上达到了当前最低的困惑度。实质上,ThinkNet 抽象概念通过添加额外的循环来扩展任何状态依赖函数。其理念是将函数 F(x, s) 重复运行 t 次(每次运行对应一个ThinkNet时间步长),并让混合函数 M 为下一次执行准备初始状态。定义 ThinkNet 后,我们可以在 T 个时间步长后简单地计算其损失。