从去年 3 月份正式开源，现在经过 1 年半的完善、众多社区小伙伴提交的代码改进，MindSpore 也已步入成熟。那么我们对它的印象是什么样的呢？是好用的自动微分机制，还是超便捷的全自动并行训练，亦或是具有很强可读性的模型代码？
现在，MindSpore 正式推出 1.5 版本，并发布了中文名：昇思。
小伙伴们可别以为这只是常规的一次版本号升级，新版本继续在自动分布式训练上给出新的成绩， 32 块卡就能训练 2420 亿参数量的模型（稀疏模型），在这之前可是做不到的。
昇思 MindSpore 也首次探索将科学计算与深度学习结合，将数值计算与深度学习相结合，推出了MindScience。利用 DL 框架支持电磁仿真、药物分子仿真等等，我们看到的就是未来的科研吧。
当然，MindSpore 1.5 还有很多特性，例如大规模分布式训练的集群调优、完善控制流的使用等等。但我们在这篇文章中，将重点关注昇思 MindSpore在科学计算及并行训练上的新突破。
MindSpore 1.5 新特性：
https://gitee.com/mindspore/mindspore/tree/r1.5
昇思MindSpore：计算与模型的艺术
我们在看到「昇思」这个名字时，首先眼前浮现的是代表着「思」的深度学习模型，它们强大的能力确实已经慢慢接近「深度思考」这一范畴了。其次是「昇」，它也许代表的昇腾硬件平台，代表着最强大的计算力。这样一来，模型加算力，的确就是深度学习框架最关心的东西了。
确实早一段时间发布的两千亿参数大模型鹏程.盘古 ，就已经体现出了 昇思 MindSpore那种模型与计算相结合的艺术。它在训练过程中能自动将模型切分到不同的设备，并高效地利用两千多张计算设备完成并行训练。
在 MindSpore 1.5 中，同样有很多特性体现了这种艺术。
当昇思将计算与模型作为基础设施，这一艺术就又能催生出科学计算方面的新能力，为电磁仿真、药物分子设计等科学研发提供最强大的基础能力。
当我们拥有强大的混合专家模型（MoE）时，沿着这种思路，MindSpore 1.5 推出了 MoE 的专属并行训练方法，充分利用异构硬件，8 卡就能训练六百多亿参数量的模型。
未来：为科学创新插上模型的翅膀
科学创新，在于发掘现象背后的原理，而自然现象、社会现象本质上是一系列数据。例如万有引力定理，研究者通过大量实验和观察发现引力与质量成正比，与物体距离的平方成反比。寻找数据的内在关系，这可不就是机器学习模型最擅长的么？
深度学习框架的核心，自动微分已经比较完善了，而 昇思MindSpore在大规模，多种设备的训练上又有独特的优势。这两部分基础设施能为科学研究提供更大的助力，因此作为框架未来的发展方向之一，昇思 MindSpore 将重心放在科学计算领域 。
昇思 MindSpore团队计划面向 8 大科学计算行业打造 MindScience 系列套件。这些行业套件包含业界领先的数据集、基础模型、预置高精度模型和前后处理工具，加速科学行业应用开发。
当前，昇思 MindSpore团队推出面向电子信息行业的 MindElec 套件和面向生命科学行业的 MindSPONGE 套件，分别实现了电磁仿真性能提升 10 倍和生物制药化合物模拟效率提升 50%。
MindElec v0.1：将 CAD结构转化为张量，并通过电磁仿真AI 模型进行训练，以实现电磁仿真能力；
MindSPONGE v0.1：第一个根植于 AI 计算框架的分子模拟工具，当前已内置 Molecular CT、SchNet 等模型，可高效进行分子动力学模拟；
科学仿真用上 AI 框架及模型，最明显的效果就是性能上的提升。MindElec v0.1 在手机电磁仿真领域已取得技术突破，仿真精度媲美传统科学计算软件，同时性能提升 10 倍。
抗生素的出现让人类的寿命延长了数十年，然而，由于细菌的耐药性变强，人类迫切需要寻找到下一代抗生素——抗菌肽（作为一种可以有效杀灭耐药性病原菌的肽类物质）。鹏城实验室基于昇思 MindSpore 开发的鹏程.神农平台，具有强大的氨基酸序列生成能力，其利用鹏程.盘古大模型完成预训练再通过 finetune 生成新的氨基酸序列，有望极大提升新型抗菌肽的发现速度。
推出亲和算法库——MindSpore Boost
当 AI 基础设施已经完善到一定程度，需要大量计算力、需要处理大量数据的科学创新理应能利用上这些资源。未来，不应该只有深度学习模型能利用上这些便利，传统科学计算、数值计算领域的创新同样需要它们，而MindScience 正是迈出这一步的关键。
然而很多模型，尤其是自然语言处理领域的模型，大到上亿参数量后，就需要很多工程来获得更好的分布式训练效果。实际上，TensorFlow 和 PyTorch 本身只支持简单的数据并行，它们是满足不了大模型的。而像 Mesh、Lingvo这样的官方并行训练库，小编认为它们还是挺难用的，需要不少的开发、适配工作。
国内的深度学习框架在这一点上就做得特别好，如昇思 MindSpore，之前在训练 2000亿参数量的鹏程.盘古大模型时，就采用了框架自带的自动分布式训练策略。也就是说，除了简单的数据并行，模型算子并行、优化器并行、Pipeline并行、中间结果重计算都在 昇思 MindSpore的考虑范围内。
这些并行优化全都由昇思 MindSpore自行完成，这可会节省很大一笔功夫，远比 PyTorch或 TensorFlow实现大规模分布式训练简单得多。昇思MindSpore并没有满足于自动并行策略，在最近发布的 1.5 中，又新增了多种并行调优，训练起来更方便。
Transformer 目前已经成为了深度学习模型的基础组件，之前加大模型的思路就是，在基础组件上单纯地增加模型层数与隐藏层宽度，并期待模型在训练中能充分利用所有参数。但是混合专家模型（Mixture of Expert，MoE）提出了另一种解决思路，即模型中每一个专家独立地去处理数据，并最后一起统筹结果。
MoE 已被验证过在多种任务上有优异的效果，是超大规模模型的基础结构。
如下图所示，Transformer 中每层是由Multi-Head Attention 和 FeedForward(FFN) 这两个基础结构组成的。将 FFN 看做是一个专家（expert），MoE 结构是由多个专家并行组成，并由路由（router）负责将信息分发给各个专家，最后对各个专家的输出进行加权和获得最终结果。
MindSpore1.5已实现了 MoE 的结构和专家并行的功能，允许多专家在多设备上并行执行。如下 Router 经过 AllToAll 算子将 需要计算的信息分配到各个设备上的专家进行计算，而后，又通过 AllToAll 汇聚计算后的结果。
在 MindSpore1.5 中，异构并行会分析计算图上算子内存占用的大小和计算密集的程度，将内存消耗巨大且适合 CPU 处理的算子切分到 CPU 子图，将内存消耗较小且计算密集的算子切分到GPU/NPU子图。
昇思 MindSpore通过协调不同子图进行训练，能够充分利用异构硬件特点， 有效的提升单卡可训练模型规模。只有这样充分利用服务器的硬件资源，才能尽可能训练大的模型。
MindSpore团队使用 MoE 结构扩展鹏程.盘古模型，同时应用了上述两种技术。如下图所示，优化器相关的状态及其计算放到 CPU 端，而模型计算相关的过程都放到了 Device（GPU 或 NPU）中。
此外，因为MoE的专属并行方式，第一个专家 FFN1 放到了第一台服务器，第二个专家 FFN2放到了第二台服务器，两个专家之间的「交流」就通过 AllToAll 算子完成。此外，因为 FFN 里面的矩阵乘法特别大，那么也可以通过模型并行将矩阵乘法算子切分为两部分，并分别放到各服务器上的不同 GPU/NPU中。
如下图所示，使用优化器异构基本都能达到 3 倍的模型规模提升，在 8 卡上可以跑得动612 亿参数量的模型，16 卡上可以跑到 1210 亿参数量，32卡上可以跑到 2420 亿 参数量的模型规模。
