机器之心获悉，来自微软印度研究院、加州大学伯克利分校以及德里印度理工学院的研究员开发了名为FastRNN和FastGRNN的算法，以解决不准确训练和低效预测的双RNN限制。先前的方法以牺牲预测成本为代价提高了准确性，使得它们对于资源受限和实时应用是不可行的。单一RNN通过限制状态转移矩阵的奇异值的范围在一定程度上提高了准确度，但也增加了模型大小，因为它们需要更多数量的隐藏单元来弥补表达能力的损失。门控RNN通过添加额外参数获得了最先进的精度，从而产生了更大的模型。 FastRNN通过添加一个残余连接来解决这些限制，该连接不会明确地限制奇异值的范围，并且只有两个额外的标量参数。然后，FastGRNN通过重用RNN矩阵来扩展残余连接到门，以匹配最先进的门控RNN精度，但模型更小2-4倍。将FastGRNN的矩阵强制为低秩，稀疏和量化，可以得到比领先的门控和单一RNN小35倍的精确模型。这使得FastGRNN能够准确地识别出具有1 KB模型的“Hey Cortana”唤醒字，并且可以部署在资源非常严格的IoT微控制器上，这些微控制器太小而无法存储其他RNN模型。