多核计算芯片领域国际权威Kunle Olukotun教授：解读用摩尔定律扩展机器学习性能

最近在影像识别、自然语言处理的进步，都是由机器学习所驱动的。这些应用已经在整个社会产生了非常重大的影响，我们觉得未来可能会出现自动驾驶的汽车，另外有一些更个性化的药物，比如根据基因序列产生出来的。它的药物作用是专门为你的基因所创造出来的。还可以进行医疗的诊断和预测。预测的质量有可能比医生预测的质量更高，所以机器学习有非常大的潜力。

开发高质量的机器学习应用，非常具有挑战性。前景非常好，但要开发应用程序却非常具有挑战性。这需要我们有深入的机器学习的知识、定制的工具以及这些要素如何组合以实现高性能的系统。

我们研究的项目包括什么？只要有数据以及某一个领域专业的知识，我们可以使任何人建立起自己的产品级机器学习产品。这也意味着这样的人不需要有机器学习方面博士学位，也没有必要成为一个DB系统的专家，更不需要理解最新的硬件。如果不了解最新硬件，不具备这方面的情况下，机器学习可以怎么样做呢？

机器学习在20世纪80年代，这里显示的是例如影像识别或者自然语言处理任务的准确度以及它跟你对于机器学习的算法所提供的数据规模的关系。

80年代，当我们第一次讨论机器学习时，大家知道怎么样建立起一个多层神经网络。那个时代，一个普通的算法表现反倒更好，机器学习表现没有那么好。因为机器学习需要更多计算、更加复杂的模型。当然，机器学习有了这些之后，就能超过传统的算法。这就是为什么现在对于机器学习有那么多高期望。

换句话说，在说到软件2.0，就是实现的一个概念，软件1.0大家都懂，先写代码，写完之后还要理解某一个领域，再把这个领域的专业知识进行应用。这样就可以做一个算法出来，然后可以把这个算法放到一个系统中。但软件2.0就不一样了。2.0你要做一个模型，就是一个神经网络，然后要把一些数据放到一个神经网络的架构中。软件2.0中最重要的一点是训练的数据量和能够训练一个非常复杂的神经网络的能力。这是要看计算能力了。训练数据就是编程2.0的关键。

我现在想跟大家说一下训练数据。我们经常说训练数据就是新时代的石油。如果你想要做一些全新的基于神经网络的系统，就需要训练数据，也必须要标签。你要知道这是一个猫，那是一只狗，那是一部车。如果这是很简单的贴标签，那网上随便谁都可以做。但如果要看一个非常复杂的图像，比如诊断一个人有没有患癌，就需要一个专家。

这种训练数据的获得就更加难。传统训练的另外一个问题是，标签是静态的。但其实你要解决的问题不同，可能把这个标签改变了。但这个训练数据不会进行进化。我们做model时就在想怎么样才能更加容易更加高层次的生成训练数据，让我们更加容易的创造更多的训练数据。我们叫做弱监督，不再给很多标签，而是有更多的噪音输入，给它们进行训练。

整个系统看起来像是这样的，用一个标签功能。比如你看到这个化学物品，可能这个人得了那种病，就可以生成一系列标签功能，再把它跟数据合成。这样就可以去噪音，可以知道哪个标签是比较好用的，哪个标签成功率是90%，哪个标签只有50%的正确率。在基于有概率的标签，就能够做一个噪声感知的判别模型。

我们的目标是希望能够用这个创建应用程序。比如这是一个知识库，我们想做的事情是让这个神经网络的训练变得更加容易，希望让这个训练的数据更加容易。解决方案就是创造另外一个全新的神经网络模型。如果要让我们更加容易的做这个神经网络，让软件2.0做得更加容易，要做更多神经网络的训练，要做更多计算。

这个机器训练模型是受到计算能力所限制的。百度的工程师说可能需要让计算性能改善100倍。我们怎么做到？比如这个微处理器的改善，这是在过去40年微处理器改善的趋势，我的研究团队参加了这个研究。在这里会看到最顶层的是摩尔定律。每隔18月或者2年处理器性能会翻一番。但这个单线程的性能已经达到一个顶点，主要是因为功耗的问题，因为功耗是有限制的。这就限制了我们进行计算的能力。

当然，这也就影响了随之的表现以及影响了整个行业。这个行业就在一个芯片上多放一些核，就能有效使用能耗，不需要一个芯片把所有的事都做了。我也参与到这个多核的技术研发中。说到能耗和性能时，可以说这个能耗是效率乘性能就等于整个能耗。你就会知道功率是固定的，但你想要做的事情是希望它的性能可以改善，性能改善就可以训练更加复杂的神经网络的模型。

但问题是软件的算法也没有在原地踏步。这就给我们看到Arxiv的论文，在过去十几年，关于机器学习的论文的增长，它的增长是比摩尔定律更快。我们看到有多新的想法不断创造出来，但是我们没有办法去执行这些好的想法。

要懂执行这些算法的硬件，我们需要的时间更加长，它比软件算法的改善需要的时间更长。你的Arxiv设计时间大概需要两年。运用在Arxiv的想法在它做完时就已经过时了，因为设计时间那么长。

所以我们必须找一个更加灵活的方法解决这个问题。我们到现在还不知道到底是要让这个通用的机器设计怎么进行设计，而且现在的机器视觉想做的东西可能跟自然语言不一样，跟决策也不一样。比如商业决策或者其他地方的决策，也是不一样的。我们当然想要加快机器学习的速度，希望它们至少能够增加100倍。另外我们也希望让它每瓦特的性能提高，让我们可以在TB甚至PB上的大数据用实时/交互式机器学习。我们也可以开发一个神经架构。

现在最重要最核心的问题是怎么样在得到每一瓦类ASIC性能同时又能得到处理器一般的灵活性。这看起来是互相矛盾的，但我觉得有解决方法。我们必须要同时改善算法、编程语言、编译器和硬件架构。

硬件感知的机器学习算法可以改善效率，旧的计算模型也是前人开发出来的，他们要决定人来开发算法，计算是确定性的，因为这个人必须要知道到底怎么样去进行调试。但在软件2.0应用的底层模型是基于神经网络的，他们是根据概率的机器模型，是由数据进行训练的。而且技术很有意思，它们不需要是确定的，也不需要永远都是100%正确的，只需要在统计学上正确就可以了。既然它只需要统计学上正确，那我们有很多机会来改善它的性能，可以使用基础性的计算模型来改善。

另外一件事情是低精度。低精度使用的能量能源会低了，另外存储的内容也会下降。也能够把你所需要的带宽尽量降低。既然你可以同时并行的处理计算更多信息。比如有8字节数据而不是16字节或者32字节的数据，也能增加吞吐量。这是我们经常要做的，比如在TPU、FPGA都在用。它最大的问题是准确性会降低。刚才说要做判断，低准确性是可以的。我们以前觉得训练至少需要16位的准确性。但我们做了一个高准确率低精度，我们能够随着更接近最佳值时把它的渐变变得更加小，我们在逐渐靠近中心。

我们看一下TensorFlow，也是注重于机器学习的，也使用了很多OptiML中使用的想法，它也是高性能适用于不同领域的语言。这里有一个高度抽象化，它比TensorFlow做得更好，而且同样给出描述。我们需要以这个领域为主的语言，就意味着需要不同的架构，所以就是Delite。任何人想开发以特定领域为基础的语言，我们希望这个工作变得更加容易。我们在这当中有一个嵌入在Scala中的DSL和IR。

除此之外，我们在继续改善机器学习，我们看到现在在做什么事情，也要看未来怎么做。怎么使用比较低的精度，稀疏性也是比较有意思的，很多开发者在关注稀疏新的神经网络模型。我们想要这个东西是比较灵活性的，加速性也是可编程的。这是为什么我们在用FPGA，这个架构现在受到越来越多的注意力。

对于分层控制也一样，在控制模板中也定义了哪些程序是要有加速器加速的，所以必须有加速器的范围。另外也需要有方法进行嵌套，怎么样进行合适的嵌套。最终用Spatial语言写了SGD，我们有自定义语言做加速器范围、内存分配，非常明确的内存传输方法和梯度计算。这是非常高层级的，让开发者能很容易的进行定义。

你们可以拿这个，用这个再运行到深度学习，比如TensorFlow，可以用这个模型转化成Spatial语言写的代码。用这个方法做卷积，用了一个流水线缓冲。在做的时候可以自动进行主动学习，他们可以知道怎么样进行选择，来平衡流水线。同时也能够选择PC的大小，以平衡储存器和带宽，也会为很多FPGA的带宽生成代码，也可以看到初步结果显示至少比人工生成的资料库DNAVO效果更加好。

现在的问题是FPGA总的表现怎么样，这张图给大家看到了，在不同的芯片中，全部把它们标准化成28纳米，CPU在左边，能耗效率是1-10。专用的硬件是右边，有效率大概是1000-10000，CPU是最灵活和最能够编译的，专用的硬件是不可以进行编码，但我们会发现专用的硬件比一个GPU的效率高1000倍。GPU比CPU大概好10倍。

但我们看看能不能够在维持FPGA的灵活性的方法，但让编码性更加靠近CPU，能耗更加靠近GPU和FPGA。这就是一个变形模式的可重构架构，这是一个空间表示，可以关注到这个架构，以跟FPGA相似的方式进行理解。这里有PCU和PMU，模式记忆单元和模式计算单元。一个是更看带宽的，带宽能以不同方法配置满足这个程序的需要。另外可以把它们组合到一起来满足你们所需要的空间运用。

我们做了这个之后，如果跟25纳米的这个比较一下，它的性能能够改善95倍，每瓦的能耗能改善77倍。但我们能做很多事，这要看架构到底怎么做，它看起来是怎么样的，怎么样进行一个平衡。性能和能耗的取舍怎么样，还有可编程性的取舍。这是我们最关注的东西和我们现在在做的事。我们非常希望软件定义的硬件架构，能够更加节省能耗，同时也能够更加可编程，比FPGA的表现更加好一些。