编辑/绿萝
全球对人工智能和第五代通信的需求不断增长，这导致了计算能力和内存需求非常大。摩尔定律的放缓甚至失效，使得依靠先进的半导体技术来提高其性能和能效变得越来越困难。
光学设备可以具有超大带宽和低功耗。而光具有高达 100 THz 的超高频和量子态的多自由度，使得光计算成为「超越摩尔」时代大容量、低延迟矩阵信息处理最具竞争力的候选之一。近年来，光子矩阵乘法发展迅速，广泛应用于光信号处理、人工智能、光子神经网络等光子加速领域。这些基于矩阵乘法的应用显示了光子加速器的巨大潜力和机遇。
近日，由华中科技大学武汉光电子国家实验室董建绩教授领导的科学家团队在《Light Science & Application》杂志上发表综述文章「Photonic matrix multiplication lights up photonic accelerator and beyond」。首先介绍了光子矩阵乘法的方法，并总结光子矩阵乘法的发展里程碑和相关应用。然后，回顾了它们近年来在光信号处理和人工神经网络中的应用进展。还讨论了对光子矩阵乘法和光子加速的挑战和前景。
论文从光子矩阵乘法的独特观点回顾和讨论了光子加速器的进展。这些科学家总结了这篇综述的主要内容：
光子矩阵矢量乘法（MVM）的方法主要分为三类：平面光转换（PLC）方法、马赫-曾德干涉仪（MZI）方法和波分复用（WDM）方法。 光子矩阵乘法网络本身可以用作光子信号处理的通用线性光子回路。近年来，MVM 已发展成为各种光子信号处理方法的强大工具。 人工智能技术已广泛应用于各种电子行业，例如基于深度学习的语音识别和图像处理。MVM 作为 ANN 的基本构建块，占据了大部分计算任务。提高 MVM 性能是 ANN 加速最有效的手段之一。与电计算相比，光学计算在数据存储和流量控制方面较差，并且光学非线性的低效率限制了在非线性计算中的应用。因此，光子网络非常擅长 MVM。光计算与人工智能的结合有望实现智能光子处理器和光子加速器。近年来，人工智能技术在光学领域也得到了快速发展。 光子计算在信号速率、延迟、功耗和计算密度方面具有明显优势，其精度普遍低于电计算。 在全光人工神经网络成熟之前，特别是在光学非线性效应和光学级联方面，光电混合人工智能是深度人工神经网络更实用、更具竞争力的候选者。因此，开发高效专用的光电混合人工智能硬件芯片系统是光子人工智能的核心研究路线之一。
矩阵向量乘法
光子矩阵向量乘法（MVM）的方法主要分为三类：平面光转换（PLC）方法、马赫-曾德尔干涉仪（MZI）方法和波分复用（WDM）方法。
第一种光学 MVM（PLC-MVM）是通过光在自由空间中的衍射来实现的。第二种 MVM 主要由一个 MZI 网络（即 MZI-MVM）组成，主要基于旋转子矩阵分解和奇异值分解。第三种 MVM（即WDM-MVM）是一种基于 WDM 技术的非相干矩阵计算方法。
光子矩阵乘法已经走过了漫长的道路，近年来发展迅速。图 2 总结了光子矩阵计算的发展历史和里程碑。
图 2：光子矩阵计算和神经形态光子学进展的时间表。
表 1 总结了不同光子矩阵乘法方法的性能比较。一般来说，PLC-MVM 方法是连贯的，可以在整个复杂领域中运行。它的规模非常大，然而，设备尺寸相当大，因此，追求集成对应物。MZI-MVM 方法也是连贯的，但其规模远小于 PLC-MVM 方法。主要优点是可以集成到芯片中。WDM-MVM 方法更紧凑。尺度受波长数量的限制，如果所有波长都用于单个 MVM，则使用孤子晶体微梳可以为 ~102。WDM-MVM 是不连贯的，可用于实值矩阵。
对于这些方法，SPLC-MVM 和 WDM-MVM 分配的传输矩阵可以直接写入，而 MPLC-MVM 和 MZI-MVM 方法的传输矩阵需要一些算法来加载。所有这些 MVM 方法已广泛应用于各个领域。在下文中，将回顾 MVM 在光信号处理和光子 AI 中的详细应用。
用于光信号处理的 MVM
光子矩阵乘法网络本身可以用作光子信号处理的通用线性光子回路。近年来，MVM 已发展成为各种光子信号处理方法的强大工具。
MPLC-MVM
得益于空间平面的大规模计算能力，MPLC 可以实现非常强大的矩阵功能。图 3 展示了三个例子。
还演示了一些其他应用。MPLC 技术是优化横向距离估计的有用工具。
集成 MPLC-MVM 也成功验证。2017 年，唐等人首先从理论上证明了一种使用多模干涉耦合器的新型集成可重构单一 MPLC-MVM（如图 5a）。2018 年，集成 MPLC-MVM 被实验验证用于可重构的全光片上 MIMO 三模解复用（图 5b）。此外，一个十端口的单一光学处理器已被实验证明（图 5c），该处理器为大规模 MVM 提供了一种新的灵活且强大的架构。
MZI-MVM
MZI-MVM 作为一种集成的光子矩阵计算方法，非常适用于片上光信号处理。基于正交矩阵变换，可以对空间正交模式进行操作。图 6 展示了 5 个具体案例。
WDM-MVM
WDM-MVM可以直接执行，无需任何算法，受益于波长和矩阵元素之间的一对一映射关系。这种相关性使得 WDM 方法可用于结合频率时间映射的波形整形。图 7 给出了具体示例。
相比之下，相干 MVM 通常应用于多模信号处理。MPLC 方法可以管理海量模式，这得益于大规模矩阵计算的能力。主要限制是它体积庞大且难以快速响应刷新。MZI 方法易于集成，由于移相器工作速度更快，MZI 网格的功能可以自动配置。但是，矩阵计算的规模是有限的，而且这种方法只适用于少数几种模式。与 MZI 方法相比，WDM-MVM 方法占用空间更小，更容易配置传输矩阵并将 WDM-MVM 应用于可编程脉冲整形、光子 PCA、ICA 和 BSS。
用于光学神经网络的 MVM
人工智能技术已广泛应用于各种电子行业，例如基于深度学习的语音识别和图像处理。MVM 作为 ANN 的基本构建块，占据了大部分计算任务，例如 GoogleNet 和 OverFeat 模型的 80% 以上。提高 MVM 性能是 ANN 加速最有效的手段之一。与电计算相比，光学计算在数据存储和流量控制方面较差，并且光学非线性的低效率限制了非线性计算中的应用。因此，光子网络非常擅长 MVM。光学计算和人工智能的结合有望实现智能光子处理器和光子加速器。近年来，人工智能技术在光学领域也得到了飞速发展。
MPLC-MVM
MPLC 作为一种超大型的 MVM 方法，是 ONN 的天生替代品。为了寻求更通用和可重构的基于 MPLC 的 ONN，提出了一种基于光学衍射的光电融合计算框架，该框架支持多种神经网络，并保持具有数百万个神经元的高模型复杂性。基本衍射处理单元 (DPU) 的原理图如图 9a、b 所示。
MZI-MVM
与 MPLC-MVM 不同，MZI-MVM 的主要优点是潜在的小尺寸，允许小型化 ONN 芯片。除了神经网络，人们还努力通过开发优化利用光子基本优势的算法来释放这些光子架构的潜力。。
WDM-MVM
2014 年，Tait 和他的同事首次提出使用 MRR 阵列作为光子神经网络的矩阵计算方法原语。这项工作首次引入了一种可扩展的神经网络架构，称为基于 WDM 概念的广播权重。在这种架构中，可以连续调整神经网络权重，以实现类似于神经权重的正负权重。
最近，通过探索不同维度的光，展示了具有极高计算吞吐量的卷积光子处理器。
图 13：用于 ONN 中大规模并行计算的 WDM-MVM。其中：a 并行卷积处理器芯片；b 光子卷积加速器。
关于神经网络，这三种 MVM 方法都可以用于神经网络的线性部分来实现光子加速。相比之下，基于 MPLC 的 ONN 具有最强大的计算能力，可以用全光学方法解决分类问题，但空间平面的刷新率有限。基于 MZI 的 ONN 可针对不同情况进行重新配置，但其规模有限，复杂任务需要电子辅助学习。迄今为止，基于 WDM 的 ONN 比基于 MZI 的 ONN 具有更大的规模，但它们是非相干计算，其中差分检测通常串联进行。
表 2 总结了最先进的光子 AI 加速器与电子硬件的性能比较。总的来说，光子计算在信号速率、时延、功耗和计算密度等方面优势明显，其精度普遍低于电计算。
表 2：最近展示的不同光子 AI 加速器与电子硬件的比较。
挑战和前景
电学和光学 MVM 中 ANN 的权重数量存在巨大差距。横向扩展问题也可以通过优化和改进光学组件来解决。
为了形成一个可扩展的神经网络，光学神经元应该能够以一定的强度激发，以在下游神经元中唤起至少等效的响应。
MVM 和激活函数是感知器的两个基本元素。与电神经元相比，光子 MVM 在信号速率、延迟、计算密度和功耗方面表现出显着优势，而光子激活函数仍不成熟。光子神经元的实现依赖于光学器件的非线性响应。
激活函数可以通过使用电子或光子方法来实现。光激活函数仍处于初步研究阶段，由于光非线性效率较低，尚无成熟方案。实现低损耗、高非线性效应的全光激活函数仍然是整个光网络的关键问题。开发高效专用的光电混合人工智能硬件芯片系统是光子人工智能的核心研究路线之一。
光子矩阵乘法揭示了光信号处理和人工智能加速的巨大潜力。它可以大大降低功耗和信号延迟。未来，光子矩阵核心将更加全面，涵盖更丰富的功能。图 14 显示了光电混合 AI 计算芯片框架的可能路线。它主要包含三层：底层硬件层、算法层和顶层应用层。
综上所述，光子矩阵乘法已应用于许多领域，例如光通信中的光信号处理和人工智能加速器。基于矩阵乘法计算建立的许多有前途的应用为扩展光子加速器的领域提供了补充机会。在此，作者用各种方法和应用回顾了光子矩阵乘法的最新进展。进一步讨论了光子矩阵乘法的观点，该观点可能扩展到易于操作的小型计算机，用于不同的光子加速器应用。
论文链接：https://www.nature.com/articles/s41377-022-00717-8
参考内容：https://www.eurekalert.org/news-releases/943097
