曦智的技术

曦智研制的光学芯片将赋能下一代的高性能计算

通过光处理信息,我们的芯片与传统的电子芯片相比,

在高速度、低延迟和低功耗方面达到了重量级的改进。

集成光子学

人工神经网络极大地改善了大多数机器学习任务的性能,包括语音和图像识别等多项机器学习任务。然而,传统的计算硬件主要是为冯·诺依曼运算方案设计的,因而在运行神经网络方面效率低下。在此,曦智提出一个全光神经网络的新架构,对于传统的推理任务,它可以提供比最新电子设备还要高的计算速度和功率效率。

深度学习

在人工神经网络(ANN)中使用幺正(而不是一般的)矩阵是解决梯度爆炸/消失问题的一种充满前景的方法,同时也使ANN能够学习数据中的长期相关性。这种方法对于递归神经网络(RNNs)尤其有前途。在这项工作中,我们提出了一个新的架构来实行一个有效的酉神经网络(EUNNs)。

门控正交递归单元 (GORU):关于学习遗忘

曦智提出了一个新颖的基于循环神经网络(RNN)的模型,该模型兼具幺正RNN的记忆能力和门控RNN有效遗忘其内存中冗余/无关信息的能力。曦智通过一个门控机制来扩展幺正RNNs实现了这一点。曦智的模型能够在一些基于长期依赖关系的基准测试任务上胜过LSTMs、GRUs和幺正RNNs。经验表明,正交/幺正RNNs缺乏遗忘能力,而GORU在记住长期依赖关系的同时,依然能够遗忘不相关信息。这在递归神经网络中起着重要的作用。曦智提供了具有竞争力的结果,并分析了其模型在许多自然顺序任务上的表现,包括bAbI问题解答、TIMIT语音频谱预测、Penn TreeBank,以及涉及长期依赖关系的合成任务(例如算法任务,括号任务,去噪任务和复制任务)。

可调高效酉神经网络及其在神经网络中的应用

在人工神经网络(ANN)中使用幺正(而不是一般的)矩阵是解决梯度爆炸/消失问题的一种充满前景的方法,同时也使人工神经网络能够学习数据的长期相关性。这种方法对于递归神经网络(RNNs)尤其有意义。

关闭菜单