曦智提出了一个新颖的基于循环神经网络(RNN)的模型,该模型兼具幺正RNN的记忆能力和门控RNN有效遗忘其内存中冗余/无关信息的能力。曦智通过一个门控机制来扩展幺正RNNs实现了这一点。曦智的模型能够在一些基于长期依赖关系的基准测试任务上胜过LSTMs、GRUs和幺正RNNs。经验表明,正交/幺正RNNs缺乏遗忘能力,而GORU在记住长期依赖关系的同时,依然能够遗忘不相关信息。这在递归神经网络中起着重要的作用。曦智提供了具有竞争力的结果,并分析了其模型在许多自然顺序任务上的表现,包括bAbI问题解答、TIMIT语音频谱预测、Penn TreeBank,以及涉及长期依赖关系的合成任务(例如算法任务,括号任务,去噪任务和复制任务)。