技术 - Lightelligence

曦智的技术

曦智研制的光学芯片将赋能下一代的高性能计算

通过光处理信息，我们的芯片与传统的电子芯片相比，

在高速度、低延迟和低功耗方面达到了重量级的改进。

集成光子学

人工神经网络极大地改善了大多数机器学习任务的性能，包括语音和图像识别等多项机器学习任务。然而，传统的计算硬件主要是为冯·诺依曼运算方案设计的，因而在运行神经网络方面效率低下。在此，曦智提出一个全光神经网络的新架构，对于传统的推理任务，它可以提供比最新电子设备还要高的计算速度和功率效率。

深度学习

在人工神经网络（ANN）中使用幺正（而不是一般的）矩阵是解决梯度爆炸/消失问题的一种充满前景的方法，同时也使ANN能够学习数据中的长期相关性。这种方法对于递归神经网络(RNNs)尤其有前途。在这项工作中，我们提出了一个新的架构来实行一个有效的酉神经网络(EUNNs)。

门控正交递归单元 (GORU):关于学习遗忘

曦智提出了一个新颖的基于循环神经网络（RNN）的模型，该模型兼具幺正RNN的记忆能力和门控RNN有效遗忘其内存中冗余/无关信息的能力。曦智通过一个门控机制来扩展幺正RNNs实现了这一点。曦智的模型能够在一些基于长期依赖关系的基准测试任务上胜过LSTMs、GRUs和幺正RNNs。经验表明，正交/幺正RNNs缺乏遗忘能力，而GORU在记住长期依赖关系的同时，依然能够遗忘不相关信息。这在递归神经网络中起着重要的作用。曦智提供了具有竞争力的结果，并分析了其模型在许多自然顺序任务上的表现，包括bAbI问题解答、TIMIT语音频谱预测、Penn TreeBank，以及涉及长期依赖关系的合成任务(例如算法任务，括号任务，去噪任务和复制任务)。

可调高效酉神经网络及其在神经网络中的应用

在人工神经网络（ANN）中使用幺正（而不是一般的）矩阵是解决梯度爆炸/消失问题的一种充满前景的方法，同时也使人工神经网络能够学习数据的长期相关性。这种方法对于循环神经网络（RNNs）尤其有意义。