周志华揭牌英特尔-南大联合研究中心:探索DNN与GPU之外的「广义深度学习」

英特尔与南京大学联合成立了一个「人工智能联合研究中心」。9 月 12 日,英特尔中国研究院院长宋继强与南京大学人工智能学院院长周志华在南京为这个名为「英特尔-南京大学人工智能 IPCC 中心」的机构揭了牌。

「我想通过和英特尔的合作,不仅会进一步推动我们在人工智能机器学习算法方面的研究,同时也会进一步扩大这些研究对芯片硬件架构方面进一步发展的影响」,周志华表示,「此外,因为英特尔已经给各行各业的用户提供了技术支持和服务,通过这次合作,也有可能进一步把我们的研究成果进一步推向产业化应用,提供更好的发展空间。」

周志华与宋继强曾经是南京大学计算机科学与技术系的九年同窗,如今这两位昔日校友又分别以学界和业界的身份走到一起,一位带来了对深度神经网络结构的可替代方法的深入思考——「深度森林」,另一位带来了以英特尔至强系列处理器为代表的「一片多核」硬件架构,目标是给更大、更需要可解释性的任务提供不被数据规模局限的、更易训练也更容易分析的算法解决方案。

深度神经网络之外的深度学习

「很多外界的人有两个有失偏颇的观点。第一,会倾向于认为人工智能这一波进步完全是深度学习带起来的,但是其实深度学习只是背后的一部分,比如 AlphaGo 背后更重要的是强化学习。第二,会倾向于认为深度学习就是深度神经网络。我们的探索就是试图告诉大家:深度学习不光是深度神经网络,还有很多别的东西。」在揭牌仪式之后的采访上,周志华对于深度森林工作的意义这样解释道。同时他也讲述了自己对于深度学习的发展趋势的判断:「在未来,完全基于深度神经网络的『狭义深度学习』的空间可能逐渐地变小,因为它有用的范围我们逐渐都知道了。但是广义的深度学习可能会长期存在下去,甚至变成以后的机器学习系统的一个基本配置。」

什么是「广义深度学习」?周志华将其定义为「由更深更大的由子模型组成的解决复杂问题的模型」,这里的子模型可能是神经网络,可能是随机森林,也可能是其他的结构。

深度森林算法提出在去年年初,gcForest 也于去年六月开源。「『没有免费午餐』定理严格证明了没有一种模型适用于全部的数据类型。深度神经网络在图像、语音数据上特别有效,而我们的前期研究发现,森林结构在符号数据、离散数据混合建模上可能有特长。」正如 IJCAI 论文结尾所言,团队认为这项新方法能够为使用深度学习方法解决更多任务打开一扇深度神经网络之外的大门。

在过去一年多的时间里,周志华团队也一直在从不同角度「敲门」。在会后的采访中,周志华分享了一些团队进行过的尝试的方向:一方面探索深度森林的能力边界,比如探索深度森林是否具有传统认为只有神经网络才具有的的自编码能力;一方面研究如何调动更多计算资源,更好利用其自身的高并行性的特点,做任务级的并行;最后在应用层面,他的团队也和蚂蚁金服等合作,检验深度森林算法在一个真实场景下的真实任务(从有大量离散特征的网上金融交易数据中进行非法套现检测)里效果如何。如今三方面都有不错的进展。

CPU 与其他硬件的深度学习加速之路

在应用层面上,没有一套硬件解决方案能够适用于所有的场景已经是一个共识了。宋继强介绍了英特尔中国研究院的主要方向:面向未来无处不在的具备完整的外界感知、理解决策、以及行为能力的自主前端设备。这些设备对算力的需求可以说是五花八门。英特尔如今最新的至强处理器通过加强了单精度和可变精度浮点数的计算能力来对深度学习应用做了适应性的调整,但是可以进行的尝试还有更多。

「同样的人工智能算法在 100 个行业就有 100 种甚至更多的不同使用方式,每一种使用方式都可能有最好的软硬件搭配的方法。在前端、云端、边缘的计算对于计算资源的功耗、尺寸、实时性的要求都不一样。英特尔给出的答案是『混搭』,用多个芯片内核通过高级的集成封装技术进行 2D 和 3D 层面高速互联,实现异构计算。」宋继强介绍道。

应用层面不能在硬件上以「一」待劳,学术研究方向也是如此。

「深度森林和现在的深度神经网络不一样的一个地方在于,它不适合用 GPU 加速。」周志华坦言。

在「更大的模型会带来更好效果」的广义深度学习基本假设之下,想要将深度森林做得更大,就要进行一些不一样的尝试。

「一种是我们和在工业界的合作伙伴一起做分布式的计算系统,而另一种就是能否用其他硬件提高其可扩展性。经过大量的前期调研,我们认为英特尔的一片多核的结构极有可能对加速这样的模型有特别的帮助。」

在软件优化之外,如果能够在算法研究的前期直接从指令集层面乃至芯片布局层面进行思考与优化,对于模型效果会有怎样的帮助?能不能同时思考软硬件问题以实现最佳性能与效率?这是世界上的各个研究机构都在思考的问题,周志华团队也不例外。

「深度森林主要基于树架构,每一个模型可以视为由多棵树组成。第一,能不能进行任务级的并行,能不能同时做多棵树?第二,树结构很难在 GPU 上运行,因为它中间涉及到很多分支选择,这让它与一个片上多个 CPU 的结构非常契合。」

团队已经进行了一些实验,「我们利用一块英特尔至强融核的芯片(KNL),对一个特殊版本的深度森林做出了 64 倍的加速。」

同时,他们也有很多更远大的构想,比如投入到大规模任务中,利用硬件加速提供更好的性能和效率:「受限于现在的计算架构,一个特别大的任务进来,内存马上耗光了,计算也算不下去了。但是实际从计算开销来说,一个森林的开销比一个神经网络要小。神经网络能通过 GPU 加速获得性能的大幅提升,那深度森林能不能利用合适的芯片架构,获得类似的帮助?」

即使现有的芯片架构都不能完美地解决这一问题,研究者也十分乐于为硬件开发者提供一些下一步设计上的启发。

计算机人才的硬件能力与硬件研发的人才需求

周志华看来,与英特尔的合作是让南大计算机学科「更进一步」方式。「原来南京大学的机器学习人工智能的团队主要在理论和算法方面做一些工作,在应用技术方面的研究主要也集中在软件方面。南京大学作为一所综合性大学,『硬件』一直是我们的计算机科学所欠缺的一条腿。这一步光靠我们自己很难再迈进,我们希望能通过和英特尔的合作,在软硬件结合方面往前走一步。」

LAMDA 实验室的一些研究生已经从培养前期就介入了与英特尔的合作,「他们在进行工作的过程中获得了很多英特尔资深工程师的指点,现在他们的底层硬件的理解和操作能力,要远远超过一般课程培养出来的学生。」

而能够「往前一步」的,除了以博士生为主的研究人员,当然也包含本科生。成立于今年 3 月的南京大学人工智能学院刚刚迎来了第一批入学的本科生,之前公开的一年级课表里,引人注目的是数学课:既包含了原先只有数学系学生需要学的《数学分析》和《高等代数》,也包含了原先只有计算机系学生需要学的《离散数学》。而本次周志华还透露,之后的专业课里还有一门是关于「智能芯片」。

「我们希望能够培养出人工智能领域高水平的人才,其中一条就是希望他们能够兼备人工智能需要的软硬件能力。我们在考虑引进一些与芯片、硬件设计相关的课程,其中有一门课就是关于智能芯片的,而英特尔的合作为我们这方面的人才培养提供了一个非常好的支持。」

这是南京大学的角度。而从英特尔的角度,硬件的设计需要考虑「未来的算法」,因此除了从学界获得前沿的算法动向,培养了解硬件、能够同时思考软硬件问题的研究者也同样重要。

宋继强说「硬件的设计周期是很长的,我需要预先知道哪些运算模块在未来会非常重要,通过联合实验室的方式,我们挑选能够『看到未来』的领域开拓者,让学界在英特尔的硬件上进行重要的工作负载尝试,从他们的方向上去寻找未来的方向,为我们的硬件架构设计提供很好的指导。」

英特尔与南大的人工智能联合研究中心的合作框架以三年为期,届时南大人工智能学院的全学年学生均已入学,而英特尔对于如何调整芯片设计思路以使其更适应广义深度学习时代的思路,也会更明朗地体现在通用 CPU、专用于神经网络加速的 NNP、 为终端深度学习模型提供专门算力的 VPU 等等芯片中。届时深度森林以及其他「广义深度学习」方法的能力范围,会随着算力的升级有怎样的提升呢?我们对此拭目以待。

产业英特尔南京大学周志华
1
相关数据
英特尔机构

英特尔是计算创新领域的全球领先厂商,致力于拓展科技疆界,让最精彩体验成为可能。英特尔创始于1968年,已拥有近半个世纪产品创新和引领市场的经验。英特尔1971年推出了世界上第一个微处理器,后来又促进了计算机和互联网的革命,改变了整个世界的进程。如今,英特尔正转型成为一家数据公司,制定了清晰的数据战略,凭借云和数据中心、物联网、存储、FPGA以及5G构成的增长良性循环,提供独到价值,驱动日益发展的智能互联世界。英特尔专注于技术创新,同时也积极支持中国的自主创新,与产业伙伴携手推动智能互联的发展。基于明确的数据战略和智能互联全栈实力,英特尔瞄准人工智能、无人驾驶、5G、精准医疗、体育等关键领域,与中国深度合作。面向未来,英特尔致力于做中国高价值合作伙伴,在新科技、新经济、新消费三个方面,着力驱动产业协同创新,为实体经济增值,促进消费升级。

https://www.intel.com/content/www/us/en/company-overview/company-overview.html
相关技术
周志华人物

周志华分别于1996年6月、1998年6月和2000年12月于 南京大学计算机科学与技术系获学士、硕士和博士学位。主要从事人工智能、机器学习、数据挖掘 等领域的研究工作。主持多项科研课题,出版《机器学习》(2016)与《Ensemble Methods: Foundations and Algorithms》(2012),在一流国际期刊和顶级国际会议发表论文百余篇,被引用三万余次。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

阿尔法围棋技术

阿尔法围棋是于2014年开始由英国伦敦Google DeepMind公司开发的人工智能围棋程序。AlphaGo是第一个打败人类职业棋手的计算机程序,也是第一个打败围棋世界冠军的计算机程序,可以说是历史上最强的棋手。 技术上来说,AlphaGo的算法结合了机器学习(machine learning)和树搜索(tree search)技术,并使用了大量的人类、电脑的对弈来进行训练。AlphaGo使用蒙特卡洛树搜索(MCTS:Monte-Carlo Tree Search),以价值网络(value network)和策略网络(policy network)为指导,其中价值网络用于预测游戏的胜利者,策略网络用于选择下一步行动。价值网络和策略网络都是使用深度神经网络技术实现的,神经网络的输入是经过预处理的围棋面板的描述(description of Go board)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

随机森林技术

在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。而"Random Forests"是他们的商标。这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林(random decision forests)而来的。这个方法则是结合Breimans的"Bootstrap aggregating"想法和Ho的"random subspace method" 以建造决策树的集合。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

推荐文章
暂无评论
暂无评论~