近日，稀疏化研究领域又传来一个好消息，谷歌推出首个多模态稀疏化模型LIMoE，这是继MoE、GLaM之后，谷歌在稀疏化模型方面深耕的又一力作，零样本学习，降低计算成本。
那么，什么是稀疏化？为什么稀疏化能够取得如此惊人的成果？
简单来说，稀疏化是一种聪明的数据处理和模型压缩方式。它从人类大脑得到灵感，让神经网络在计算时仅启用所需神经元。稀疏化计算的技术原理是指在原有AI计算的大量矩阵运算中，将含有零元素或无效元素剔除，以加快计算速度。它在需要海量数据处理的AI加速计算中优势尤为突出，能让算力超越极限，让企业得以完成复杂的AI任务，同时能为企业显著降低能耗和成本。
LIMoE：稀疏化首次运用于多模态，大幅降低训练成本
谷歌此次展示的LIMoE多模态稀疏化模型，是首个使用稀疏化处理图像和文本的模型架构。
在模型中，Transformer架构添加了experts layers（专家层），由主Router来分配由哪个expert（专家）来处理哪些信息，根据信息的输入来决定被激活的专家。即，将特定的输入传递给不同专家，而无须处理所有信息，虽然专家增大了模型规模，但实际计算成本并不大。
在多模态对比学习中，模型在训练图像-文本时，图像模型提取图像表示，文本模型提取文本表示。对比学习的目的，是使相同的图像-文本组合中的图像和文本距离靠的更近，反之，则远离。这种方式，可以使模型直接适应新样本，而无需训练（zero-shot 零样本）。
LIMoE多模态稀疏化模型，不仅大幅减少计算量、显著提升性能，而且在零样本训练的情况下具有更高的精度。
稀疏化：下一代AI架构的关键词
谷歌AI团队长期以来一直对稀疏性研究有着浓厚的兴趣。Jeff Dean等人在2021年提出了名为Pathways的通用AI架构，作为谷歌下一代AI架构，旨在用一个架构同时处理多项任务，并且拥有快速学习新任务、更好地理解新事物的能力。Pathways架构概括了可以处理数千种任务和数据类型的单个大模型的研究目标。到2022年，语言（Switch, Task-MoE, GLaM）和计算机视觉（Vision MoE）的稀疏单峰模型已经取得了重大进展。
如今，谷歌AI团队正在研究通过与通道无关的路由的方法，同时处理图像和文本的大型稀疏模型，朝着Pathway的目标迈出更重要的一步。
在这个过程中，稀疏模型通过不将所有输入应用到整个模型，而是采取“模型专家”的形式，使其专注于不同的任务，或者不同的数据类型上，用一种更高效、更环保的方式实现研究目标。因此，谷歌AI团队认为稀疏模型将成为未来深度学习最有前途的方法之一。
这与墨芯人工智能（下称“墨芯”）对AI计算的判断不谋而合。不同于谷歌现有研究，墨芯不仅在算法稀疏化上实现突破，而且结合软、硬件协同优化的方式，将稀疏化从算法层面提升到计算层面。
稀疏化计算大有可为
墨芯人工智能是稀疏化计算的全球引领者，提供云端和终端AI加速方案，可广泛应用于互联网、运营商、生命科学等数据中心AI推理场景，并积极致力于稀疏化生态建设。自2018年起，墨芯即专注于稀疏化计算和AI芯片架构设计，将稀疏化从算法上升到计算层面，是首个成功推出高倍率稀疏化计算产品的公司。
墨芯提供端到端的解决方案，将算法、芯片通过软件开发环境进行有效结合，加速推进AI技术的产业化进程，支持多样化AI应用场景商业落地。墨芯的稀疏化计算产品以其高算力、低功耗、高精度的优势，正在引领AI稀疏化计算发展的新浪潮。
2021年12月31日，墨芯首颗芯片Antoum®顺利回片，第一次上电即点亮，仅用24小时就跑通主流AI模型ResNet50。基于Antoum®的S100计算卡专注于为数据中心AI推理应用。实测数据显示，S100计算卡的性能领先行业，如ResNet50计算速度高达33197 FPS，BERT计算速度达到7832 SPS——与国际头部厂商同类产品相比，S100计算卡在满足精度要求的同时，仅以一半的能耗，便可带来6倍算力提升。
墨芯人工智能创始人&CEO王维表示，业界越来越多人发力稀疏化。谷歌的研究充分论证了稀疏化算法技术的商业潜力，墨芯认为稀疏化是AI计算最有前景的方向，稀疏化+多模态是AI的未来。
