Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

解析UCloud人工智能与英特尔背后的技术故事「下」

在上一篇中,我们介绍了UAI-Service借力英特尔技术如何让使用AI服务像使用云主机一样便捷等技术问题。在这一篇中,我们将继续就UAI-Service如何以低TCO获取高效AI服务等问题展开讨论。

UAI-Service另一个重要优势是平台内数据的安全性:

1.首先,由于UAI-Service在每个虚拟机上只部署一个AI节点,因此做到了各个AI任务之间的隔离;

2.其次,由于平台本身并不涉及AI训练数据以及训练方法,在运行时仅需模型文件及接口代码,杜绝了数据外泄的可能;

3.最后,UCloud基于SDN技术实现了网络链路层的隔离,使每个客户的UAI- Service项目子网之间相互隔离,提升了网络安全性。

在UAI-Service中,用户之间的AI模型和接口代码是安全隔离的,全自动化的部署过程使运维人员无权访问敏感数据,进一步提升了数据的安全性。

UAI-Service的通用性优势,解决了企业面对不同AI框架时的“选择障碍症”。UAI-Service对主流的AI框架,包括TensorFlow*、Keras*、Caffe* 和MXNet* 等都提供良好的支持,企业可以根据自己的业务需求来选择不同的AI框架进行接入。

UAI-Service 框架示意图

在传统的AI框架以外,UAI-Service还与英特尔一起,引入了性能更佳的AI框架:面向英特尔®架构优化的Caffe框架。这一版本的Caffe框架与传统AI框架相比,能更好地支持英特尔®至强®处理器产品家族和英特尔®至强融核™处理器产品家族,并集成了最新版本的英特尔®数学核心函数库2017,能更高效地利用英特尔®AVX的处理能力。

源自UCloud的一系列测试结果表明,借助面向英特尔®架构优化的Caffe框架,测试系统同时运行的线程数量可以得到显著增加。基于该框架,测试系统的执行时间也能从最初未修改前的37秒缩短至优化后的3.6秒,整体执行性能提高了10倍以上。事实证明,通过采用这一框架,UAI-Service的AI在线服务效率得到了极大的跃升。

以低TCO获取高效AI服务

现阶段,致力于AI开发和创新的企业,多为初创型企业,或者是正在谋求业务转型和升级的传统企业,因此对TCO的控制尤为敏感。如何获取高性价比的在线AI能力是企业用户们普遍关心的热点话题。

由于在图像识别、自然语言处理等AI正在发挥重要作用的领域中,往往需要用到大量的浮点运算,因此在人们的传统观念里,只针对浮点计算提供加速的GPU平台,似乎更适于AI系统的构建。但在AI模型的部署实践中,GPU动辄高达数万元人民币的售价极其昂贵,而且由于其扩展性不足,一旦部署,通常就只能固定执行单一的计算工作,难以随时根据工作任务的调整和变化实现及时的适配。

这样一来,UCloud就盯上了数据中心内大量部署的、每台服务器都会配备的通用处理器。“通过技术分析,我们发现虚拟云主机中的处理器,处于工作状态的主要都是简单指令集,而英特尔®至强®处理器集成的英特尔®AVX则并没有被充分利用。”UCloud叶理灯表示:“这意味着以浮点计算性能著称的英特尔®AVX的能力,或许可以为我们提供更适用的解决方案。”

英特尔®AVX是一套完整的单指令多数据(Single Instruction Multiple Data,SIMD)指令集规范,其最大的优势在于支持256位矢量计算,大大提升了处理器的浮点计算性能。其具备的增强数据重排能力,也能更有效地存储、读取数据。在充分认识到了英特尔®AVX及其处理单元的特性和优势之后,UCloud的工程师们开始了一项大胆的创新:利用各个虚拟机中此前未能“物尽其用”的英特尔®AVX能力,来满足AI在线服务的计算需求。

为了实现这一创举,UCloud与英特尔的工程师们携手优化了英特尔®AVX在AI在线服务中的应用表现,经过反复的优化与验证,AI在线服务的重要技术指标——时延被成功降低到了数百毫秒,完全能够满足UCloud用户的实际应用需求。

在时延这一性能指标达标的同时,英特尔®至强®E5处理器产品家族出色的可扩展性也开始释放其强大的应用潜力。在数据中心内、服务器中配备的无数英特尔处理器都可以被扩展到系统中,来进一步强化AI在线服务所需的浮点计算能力,这是一种远比GPU方案经济高效得多的解决方案,毕竟,这些处理器节点已经是UCloud的既有投资,无需再为此多支出一分钱。

“这就是英特尔处理器强大的可扩展性带来的力量。在云计算平台上,处理器资源能够迅速地进行海量扩容,按我们目前的解决方案,即在每一个虚拟机上都部署一个AI在线服务计算节点,这意味着我们的AI在线服务未来可以根据用户需求得到迅速且海量的扩容能力,同时还不需要额外支付太多成本。”UCloud叶理灯满意地说。

为了对这一创新成果进行验证,UAI-Service已在200多个基于英特尔®至强®E5处理器产品家族的虚拟机节点上部署了AI在线服务计算节点,验证测试的结果表明:基于英特尔至强处理器的AI在线服务计算节点完全能满足用户对性能的要求,在帮助用户有效降低TCO的同时,也顺应了数据中心环保节能的发展方向。

最新进展:让机器更快识别”喜怒哀乐”

在前期成功开发和测试的基础上,UAI-Service最近又在人脸识别技术的应用上实现最新进展。人脸识别一直是人工智能的一个重要研究方向,而基于英特尔至强服务器平台,利用英特尔®AVX来支持的UAI-Service,已在人脸表情识别的一系列测试中达成了优异的表现,验证了其能帮助零基础用户获得强大AI能力的潜能。

在测试中,UCloud选用了Tensorflow提供的TF-Slim实验库以及人脸表情识别公开数据库fer2013,其中共包含35887张人脸图片,各测试样本在年龄、面部等方面有较大差异性,这使该项技术测试具备了巨大的挑战性。

而测试结果表明:在有并发的前提下,UAI-Service AI在线服务的性能普遍高于8核8G云主机的性能,刚刚得到的测评数据表明,目前并发数为8-16个节点时,AI在线服务在性能上基本与基于GPU的方案相仿,这不仅说明在UAI-Service AI在线服务上部署人脸表情识别应用可以带来出色的成效,还证明基于英特尔®AVX支持的UAI-Service在人工智能应用中完全具备了与传统方案相媲美的能力。

结论

以此前在UAI-Service上的成功协作为基础,UCloud未来还计划进一步深化与英特尔的创新协作,包括将最新的、面向英特尔处理器优化的AI框架引入UAI-Service在线服务平台,并将充分发掘新一代英特尔®至强®可扩展处理器的能力,特别是其集成的全新英特尔®AVX-512带来的更为强悍的浮点运算能力,来进一步优化AI在线服务,让专注于AI创新和应用的企业用户,能继续在合理的成本条件下,获取更强的AI计算能力支持。

经验

AI在线服务的普及,不仅需要在技术上予以突破,其部署的便捷性、与现有云计算能力的结合程度以及在分布式集群上部署的可行性,也在深刻影响着企业用户的AI研发和应用进程。正是因为准确捕捉到了用户的痛点和具体需求,UCloud的UAI-Service才赢得了用户的青睐。

受数据中心内普遍存在的处理器计算资源闲置现象的启发,创造性地将其空闲的浮点计算能力投入到AI在线服务中,这不仅是技术上的创新,也是AI处理工作模式上的全新探索和尝试,它既能有效帮助企业用户降低TCO,也顺应了数据中心环保节能的发展趋势。

UCloud技术
UCloud技术

分享UCloud的技术创新、架构设计、实践总结,内容同步于微信公众号“UCloud技术公告牌”

https://www.ucloud.cn/
专栏二维码
产业英特尔UCloudNLPUAI-ServiceCaffe2人脸识别TensorFlow云计算
1
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

云计算技术

云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

MXNet技术

MXNet是开源的,用来训练部署深层神经网络的深度学习框架。它是可扩展的,允许快速模型训练,并灵活支持多种语言(C ++,Python,Julia,Matlab,JavaScript, Go,R,Scala,Perl,Wolfram语言)

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

推荐文章
暂无评论
暂无评论~