机器之心转载

2020/08/27 14:52

头部科技来源

不让你的AJ被雨水淹没，英特尔AI软硬结合守护城市「良心」

在后摩尔定律时代，硬件所带来的算力提升已经没有那么可观，但 Science 的一篇文章表明，在软件层面，我们还能找到大幅度提升 AI 算力的方法。在此背景下，越来越多的企业开始注重「软硬结合」的新路径，英特尔就是其中的一个实力玩家。

无论渴望在哪一领域做到极致，软实力和硬实力都是一对分不开的必备支柱，相辅而行互为协助。

面对智能+世界，「软硬结合」已经成为AI技术与各行各业互联互通、实现落地赋能的「钥匙」。

如今，世界级IT企业通常皆具备「软硬结合」的实力，因为软硬件充分结合的生态势必能释放更大的技术效能，催生更多AI赋能和重塑传统行业的新场景，而英特尔正是当中的实力派。

若要强势输出AI生态效能，只握有一张王牌将不再适应是智能化、数据化变革，需要软硬实力同时兼备，更需要二者能量的结合。

那么实力派的「融合」功力如何？我们通过案例来具体看看。

守护城市「良心」：优化工具OPENVINO，加速智能视觉变革

下水道常被称作一个城市的「良心」。如果下水道及排水系统足够有效，即使雨下得再大，走在路上地面的水也不会淹没我们脚上心爱的AJ。

然而，下水管道隐匿于城市地下，绵延无数英里。举例来说，华盛顿特区地下的下水管道纵横交错，长达 1,800 多英里，而这其中产生的污水收集与处理工作需要耗费大量的人力物力。

倘若能定期检测地下排污管道，有效防止管道泄漏、破损和堵塞。常见的一种办法是运营商远程引导安有摄像头的探测仪录制地下污水管道的视频；然后利用所录视频生成检测日志，写出总结报告，对存在问题的位置进行标记。

果然，良心守护工作需要耗费极大的人力，还无法保证准确率。然而运用人工智能，既能提升下水管道检测视频分析速度，又能确保检测的准确性。

当地相关机构联合其供应商Wipro 开发了名为Pipe Sleuth的解决方案。该方案基于视频检测，运用符合管道评估认证方案的各种标准实现了管道状况识别、标注、打分/评级以及管道缺陷报告整个流程的自动化。

在守护城市「良心」的过程中，英特尔软硬结合的技术得以应用并发挥优势。

该解决方案包含从记录在案的管道检测视频中提取的 26,600 张加注图片组成的数据库。

以这些图片为基础构建的机器学习模型已使用 TensorFlow 进行训练，并已针对推理性能采用英特尔OpenVINO工具套件分发版进行优化。

采用 Pipe Sleuth 解决方案识别的异常情况图片及已完成标注的图片的样本

通过这种训练，Pipe Sleuth 可以将新的管道检测视频与已确定的异常情况进行比较。随后，Pipe Sleuth 会生成一份全面的检测报告。该报告可与常用的资产管理系统整合，实现维护工作自动排序。

而OpenVINO 是英特尔的一款软件工具套件，能借助那些从边缘到云部署的高性能深度学习推理为应用和算法提速。

如今神经网络的低精度量化与执行已被广泛用作优化方法，可在保持准确度的同时显著提升速度。这款工具套件可以将模型转换为低精度而无需重新训练，同时还可降低延迟。

在下水道视觉检测解决方案中，采用英特尔 OpenVINO工具套件分发版和英特尔至强处理器后，推理时间也大大优化（缩短了高达 80%），同时又不会显著影响模型精度或准确性。

所谓软硬结合实力，OpenVINO可通过基于英特尔架构的处理器（CPU）及核显（Integrated GPU）和深度学习加速器（FPGA、Movidius VPU）的深度学习加速芯片，增强视觉系统功能和性能。

不止是这个案例，任何领域的视觉数据都可利用OpenVINO进行加速推理，帮助企业更快速地实现高性能计算机视觉与深度学习的开发。

填补大数据分析与 AI 结合的空白点：Analytics Zoo，英特尔又一AI底气

事实上，大数据与人工智能早已是你中有我，我中有你的关系，大数据正是人工智能的基础。

不少公司都开始尝试在他们的数据分析流程中添加 AI 功能，但实际上，深度学习模型的训练和推理只是整个流程的一部分。

如果真正应用到生产环境中，需要构建和应用深度学习模型，还需要数据导入、数据清洗、特征提取等多个工作流程，这些工作能够占据机器学习或者深度学习这样一个工业级生产应用开发大部分的时间和资源。

那么，人工智能从实验室到落地需要统一的数据分析流水线，填补大数据分析与AI结合的空白点，英特尔软件平台 Analytics Zoo应运而生。

Analytics Zoo总体架构

英特尔Analytics Zoo 是一个统一的大数据分析和人工智能平台，它可以将 Tensorflow、Keras、PyTorch、Spark、Flink 和 Ray 程序等集成在一个统一的流水线中，并且可以从笔记本环境透明地扩展到大规模集群，对生产数据进行处理。

那么，通过Analytics Zoo可以实现什么？

首先，用户可以轻松地创建端到端的人工智能应用，并加以部署，例如在 Spark 程序中书写 TensorFlow 或者 PyTorch 代码，并进行分布式的训练和推理；
其次，用户可以使用高级机器学习流水线，来实现大规模机器学习应用程序开发过程的自动化；
此外，Analytics Zoo 还提供了用于构建推荐、时序数据、计算机视觉和自然语言处理程序等不同应用场景的各种算法和模型。

在实际应用中，英特尔与腾讯的机器学习团队通过深度技术合作，将 Analytics Zoo集成到腾讯云智能钛机器学习平台。该平台是基于腾讯云强大计算能力的一站式机器学习生态服务平台。

Analytics Zoo 中的 AutoML 框架

此项合作也使该平台获得了更强大的 AutoML 特性，让 AI 初学者也能轻松使用。使用 Analytics Zoo 的 AutoML，可以很方便地进行时间序列分析，如时序预测，异常检测等。

除此之外，不变的仍然是软硬能力的携手合作。腾讯云将先进的第二代英特尔至强可扩展处理器应用于腾讯云智能钛机器学习平台。第二代英特尔至强可扩展处理器支持英特尔深度学习加速技术，提升了人工智能负载，特别是深度学习负载性能。

想要大数据分析与AI结合的空白点，确实需要跨越几大难关：如何将数据与 ML/DL 算法结合在一起？如何跨越 AI 技能组合的供需之间存在巨大的鸿沟？

Analytics Zoo的出现正是希望帮助开发者解决问题——「无缝」地从笔记本的生产原型扩展到集群或生产化部署。

如今Analytics Zoo也已经在GitHub上开源，开源地址：https://github.com/intel-analytics/analytics-zoo

硬件革命性创新，突破AI模型训练的内存瓶颈

回归到硬件，英特尔早已有一系列处理器助力企业释放AI效能，例如支持深度学习加速技术的第二代英特尔至强可扩展处理器。

谈到助力释放AI效能的硬件基础时，算力通常是最先被考虑的因素，然而对于处理工作负载极高的AI应用来讲，内存的容量更是不容忽视。

医疗保健工作负载（尤其是医学成像）常常需要采用高分辨率的 3D 图像，因此内存占用量就要比其他AI工作负载大，此类模型在训练和推理过程中内存占用量也是格外大。

对于卷积神经网络来讲，激活映射会随输入图像的大小而变化。输入图像变大时，激活映射也随之增加，其内存占用量可能要比模型的权重和偏差大很多倍。

进行训练时，可通过在多个计算机和内核之间进行分布式计算来解决这一问题，而这一解决方法亦是牺牲了速度与便捷性。

依靠存储与内存技术革命性创新——通过配置DDR4 RAM 可高达 1.5 TB 且每路可支持高达 6 TB 的英特尔傲腾持久内存，第二代英特尔至强可扩展处理器大幅降低了采用该应对方案的必要，研究人员无需更改任何代码即可利用 RAM 全部容量。

针对各种输入张量大小对 3D U-Net 模型训练的内存占用情况进行的基准测试

英特尔、戴尔和佛罗里达大学展示了基于第二代英特尔至强可扩展处理器的服务器如何凭借其大内存容量，让研究人员更有效地训练和部署几乎需要占用 1 TB RAM（如上图）的脑肿瘤分割医学成像模型。

与此同时，英特尔的软硬件优化也大大提升了训练此类大内存模型的速度。与未经优化的标准 TensorFlow 1.11 相比，英特尔面向 3D U-Net 模型优化的 TensorFlow 1.11 训练速度提升了 3.4 倍。

英特尔发布全新AI优化数据平台产品组合，夯实计算、存储的「基石」

以上案例都是基于英特尔第二代至强可扩展处理器，软硬结合的实力需不断修炼。

在6月19日召开的主题为「『芯』存高远智者更强」的2020英特尔数据创新峰会暨新品发布会上，英特尔发布了全新AI优化数据平台产品组合，进一步释放生态效能赋能智者。

此次英特尔推出的硬件和软件产品组合正是专为人工智能和数据分析工作负载而进行了全面优化，例如：

第三代英特尔至强可扩展处理器是英特尔首款集成bfloat16（BF16）支持的主流服务器CPU，而bfloat16则是英特尔深度学习加速（英特尔DL Boost）新增的指令集技术。

英特尔傲腾持久内存200系列是英特尔的新一代持久内存模组，可支持前所未有的内存容量，并以最快的速度访问持久存储的数据。与第一代产品相比，英特尔傲腾持久内存200系列的平均内存带宽增加了25％。

除此之外，英特尔首款针对AI进行优化的FPGA——英特尔Stratix 10 NX（Primero Springs），可为自然语言处理和欺诈检测等应用提供高带宽、低延迟的AI加速。

如同上述所提，内置BF16指令可以说是第三代至强可扩展平台的最大特性，进一步增强了现有的深度学习优化能力——对于新至强平台来说，BF16相对于原有的FP32可以获得近2倍的性能。这将提升大大提升AI人工智能、ML机器学习、DL深度学习等应用的性能、效率。

进一步提升的软硬结合实力，将更强势输出AI生态效能。基于新一代至强平台，下一步英特尔将如何再扩大自己的生态圈呢？我们拭目以待。

工程英特尔计算机视觉工业视觉检测软硬件结合

相关技术

推理网络 OpenCV

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

数据分析技术

数据分析是一类统计方法，其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系，并绘制出统计信息图，以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据，以便弄清哪些是同质的，从而更好地了解数据。数据分析可以处理大量数据，并确定这些数据最有用的部分。

来源：维基百科

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

异常检测技术

在数据挖掘中，异常检测（英语：anomaly detection）对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。

来源：维基百科

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

摩尔定律技术

摩尔定律是由英特尔创始人之一戈登·摩尔提出来的。其内容为：积体电路上可容纳的电晶体数目，约每隔两年便会增加一倍；经常被引用的“18个月”，是由英特尔首席执行官大卫·豪斯所说：预计18个月会将芯片的性能提高一倍。

来源：维基百科

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/